Bayes Theorem

Il teorema di Bayes è un teorema fondamentale nel campo della probabilità. È così importante che quando diedi l'esame di Complexity me lo dimenticai e giustamente presi una mazzata sulle gengive e mi ritirai per la vergogna, pur sapendo tutto il resto.

Questo articolo è perciò un promemoria per il me stesso del futuro, in modo che, cascasse il mondo, il teorema di Bayes rimarrà impresso a fuoco nella mia memoria.

Prima di enunciare il teorema, bisogna però ricordarsi di alcune definizione:

• spazio campionario = è l'insieme dei possibili risultati di un esperimento casuale

• evento casuale = un evento è un elemento dell'insieme delle parti dello spazio campionario. Quindi se lancio una moneta, un evento può essere "esce testa" oppure "esce croce"

• probabilità = è uguale al numero di risultati che ci piacciono, diviso il numero totale di possibili risultati

• eventi dipendenti ed eventi indipendenti = due eventi si dicono indipendenti, se il verificarsi di uno dei due, non influisce in nessun modo nel verificarsi del secondo. Ad esempio se lancio un dado, non è che se compare 1 allora i numeri successivi posso in qualche modo prevederli. Viceversa, due eventi sono dipendenti se il verificarsi di uno, influisce sul verificarsi del secondo. Ad esempio se tiro un pugno a un mio amico, posso prevedere che me ne arrivi un altro indietro.

Ebbene, cosa afferma il teorema di Bayes? Afferma che dati due eventi indipendenti A e B, la probabilità che si verifichi A, sapendo che si è verificato B, è uguale a:

• la probabilità che si verifichi A

• moltiplicata per la probabilità che si verifichi B sapendo che si è verificato A

• tutto diviso per la probabilità che si verifichi B

In matematichese:

Come si dimostra una cosa del genere? Ricordiamo che un evento condizionato è uguale alla probabilità dell'intersezione dei due eventi A e B, diviso la probabilità che si verifichi l'evento B. Ossia

Bello, ma quindi potremmo dimostrare il nostro teorema in questo modo:

1. guardo P(A∩B) come:

   

2. ma sappiamo che P(A∩B) = P(B∩A)

   

3. ma allora

   

Tutto molto bello, ma a cosa ci serve scrivere sta roba se sapevamo già come calcolare P(A∩B)? Semplicemente perchè magari non abbiamo la probabilità P(A∩B) o non sappiamo P(A|B) quindi questo teorema può tornare utile nel caso sia difficile calcolare una delle probabilità della formula che già conoscevamo. In particolare, vedremo che questo teorema torna utile nell'articolo sul Naive Bayes Method nel contesto dei recommender systems e nel calcolo dell'entropia per eventi indipendenti.