Computazione per l`interazione naturale: fondamenti

Computazione per l’interazione naturale:
fondamenti probabilistici
Corso di Interazione Naturale Prof. Giuseppe Boccignone
Dipartimento di Informatica
Università di Milano
[email protected]
boccignone.di.unimi.it/IN_2015.html
Regressione lineare
//modelli con rumore
• Assumiamo una generazione di punti con un processo rumoroso
come definiamo la precisione?
Probabilità
//assiomi:definizione formale
• L’insieme dei possibili valori osservati (risultati dell’osservazione di un
processo casuale) definisce uno spazio campione è un insieme di valori dallo spazio campione. La classe F
• Un evento A ⊆
dei possibili eventi soddisfa le proprietà seguenti:
• Su F è definita una misura di probabilità P : F → IR, che soddisfa le proprietà
seguenti:
Probabilità condizionata
• Sia B un evento a probabilità non nulla (P(B) > 0). La probabilità condizionata
di un evento A dato B è definita come
• Se P(A∩B) = P(A)P(B), e quindi P(A | B) = P(A), allora i due eventi sono detti
indipendenti.
Variabili aleatorie
• Una variabile casuale (o random) è una funzione
• Se, dato
può assumere soltanto valori interi, allora
X è una variabile casuale discreta, altrimenti viene detta continua.
Variabili aleatorie
• Una variabile casuale (o random) è una funzione
• Se, dato
può assumere soltanto valori interi, allora X è una
variabile casuale discreta, altrimenti viene detta continua.
• Una distribuzione (cumulativa) di probabilità è una funzione • tale che FX(x) = P(X ≤ x). Per tale funzione valgono le seguenti
Distribuzione di probabilità
• Se X può assumere un insieme finito di possibili valori, è possibile definire la
distribuzione (di massa) di probabilità • tale che pX(x) = P(X = x). Valgono:
Densità di probabilità
• Se X è continua e FX è derivabile ovunque, possiamo definire la densità di
probabilità
• Dalla definizione di derivata:
• Altre proprietà
Valore atteso
generica
• X variabile casuale discreta con distribuzione pX(x), g :
funzione, allora g(X) è variabile casuale e possiamo definire il suo valore atteso
come:
• X variabile casuale continua
Valore atteso: proprietà
Varianza
• La varianza di una variabile casuale X
• Vale allora:
• Inoltre
Distribuzioni utili
Distribuzioni discrete
//Bernoulli
• Probabilità che, data una moneta
con probabilità di “testa” uguale a
p, un suo lancio abbia “testa”
come esito.
=
• Media
• Varianza
Distribuzioni discrete
//Binomiale
• probabilità che, data una moneta
con probabilità di “testa” uguale a
p, n suoi lanci indipendenti diano
x volte “testa” come esito.
• Media
• Varianza
n=10,
p=0.25
Distribuzioni discrete
//Poisson
• probabilità che, dato un evento
che può avvenire in media
lambda volte per unità di tempo,
l’evento compaia x volte nell’unità
di tempo.
• Media
• Varianza
Distribuzioni continue
//Uniforme
• probabilità costante tra a e b, 0
altrove.
• Media
• Varianza
lambda = 2;
x = poissrnd(lambda,1,1000);
hist(x)
Distribuzioni continue
//Esponenziale
• probabilità che l’intervallo tra due
eventi successivi in un processo
di Poisson con parametro
abbia lunghezza x
• Media
• Varianza
Distribuzioni continue
//Normale o Gaussiana
• Media
• Varianza
Distribuzioni continue
//Normale o Gaussiana
• Media
• Varianza
>>
>>
>>
>>
>>
mu=0;
sigma=2;
x=-10:0.1:10;
y = normpdf(x,mu,sigma);
plot(x,y)
Distribuzioni continue
//Normale o Gaussiana
• Media
• Varianza
>>
>>
>>
>>
mu=0;
sigma=2;
x = normrnd(mu,sigma,1,100000);
hist(x)
Distribuzioni continue
//Beta
• Usata come a priori sul parametro della
Binomiale
• dove
è la funzione Gamma
• Media
• Varianza
Distribuzione Beta
in funzione degli iperparametri a,b
Distribuzioni continue
//Gamma
• Usata come a priori sulla varianza della
Normale o sulla Poisson
• dove
è la funzione Gamma
• Media
• Varianza
Distribuzione Gamma
in funzione degli iperparametri a,b
Estensione a due variabili casuali
//distribuzioni cumulative congiunte e marginali
• Date due variabili casuali continue X, Y , la distribuzione di probabilità
cumulativa congiunta è definita come
• Valgono le seguenti
• Data la distribuzione cumulativa di probabilità congiunta FXY (x, y) le
distribuzioni cumulative marginali di probabilità FX e FY sono definite come
Estensione a due variabili casuali
//distribuzioni di probabilità congiunte e marginali
• Date due variabili casuali discrete X, Y • valgono le seguenti
• Data la distribuzione di probabilità pXY (x, y) le distribuzioni marginali di
probabilità pX e pY sono definite come
Estensione a due variabili casuali
//distribuzioni di probabilità congiunte e marginali
Estensione a due variabili casuali
//distribuzioni di probabilità congiunte e marginali
Estensione a due variabili casuali
//densità di probabilità congiunte e marginali
• Se FXY (x, y) è dovunque derivabile rispetto sia a x che a y, allora la densità di
probabilità congiunta è definita come
• vale
• Data la densità di probabilità cumulativa fXY (x, y) le densità marginali di
probabilità fX e fY sono definite come
Estensione a due variabili casuali
//probabilità condizionate
• Date due variabili casuali X, Y discrete , la probabilità condizionata di X
rispetto a Y è definita come
• X, Y continue
Estensione a due variabili casuali
//probabilità condizionate
Estensione a due variabili casuali
//Teorema di Bayes
• X, Y discrete
• X, Y continue
Estensione a due variabili casuali
//indipendenza
• Due variabili casuali sono indipendenti se
• ovvero
Estensione a due variabili casuali
//indipendenza
Estensione a due variabili casuali
//valore atteso
• Date due variabili casuali X, Y discrete e una funzione
il valore atteso di g è
• X, Y continue
• Valgono le seguenti
Estensione a due variabili casuali
//covarianze
• Date due variabili casuali X, Y , la loro covarianza è definita
• come nel caso della varianza:
• Valgono inoltre:
Estensione a n variabili casuali
• Date n variabili causali X1,X2, . . . ,Xn
• valgono
• Per ogni Xi è definita la marginale
Estensione a n variabili casuali
//caso discreto
• Date n variabili casuali discrete, la distribuzione di probabilità congiunta
• per la quale valgono:
• La distribuzione di probabilità marginale è
Estensione a n variabili casuali
//caso continuo
• Se la F è derivabile, la densità di probabilità congiunta è definita
• quindi
• La densità marginale di probabilità è
Estensione a n variabili casuali
//regola del prodotto
• Dalla definizione di probabilità condizionate:
Estensione a n variabili casuali
//valore atteso
• Date una distribuzione f(x1, x2, . . . , xn) e una funzione
Estensione a n variabili casuali
//covarianza
• Dato un insieme X1,X2, . . . ,Xn di variabili casuali, è possibile definire il
vettore aleatorio
• Anche una funzione
è rappresentabile come vettore
Estensione a n variabili casuali
//covarianza
• Dato il vettore
che, per ogni coppia i, j
la sua matrice di covarianza è la matrice n x n tale
• ovvero:
Estensione a n variabili casuali
//covarianza
•
è matrice simmetrica:
• per definizione di covarianza •
è definita positiva:
• per qualunque vettore z:
• ma
Estensione a n variabili casuali
//il caso Gaussiano
• Un vettore aleatorio
e matrice di covarianza
ha una distribuzione normale di media
di dimensione n x n
forma quadratica di x
Estensione a n variabili casuali
//il caso Gaussiano
Estensione a n variabili casuali
//il caso Gaussiano
• I contorni di densità costante sono determinati dalla matrice di covarianza
• Per esempio in 2D
Forma generale
Forma diagonale
(allineata con gli assi)
Estensione a n variabili casuali
//il caso Gaussiano
Forma isotropa
(matrice identità)
Distribuzione Normale multivariata:
//il caso multivariato
• Consideriamo il caso della matrice di covarianza diagonale
• allora • ovvero
Distribuzione multivariata =
prodotto di n distribuzioni
gaussiane univariate, ognuna
relativa ad una coordinata xi
Distribuzione Normale multivariata:
//medie e covarianze
• Valgono le seguenti come nel caso univariato
Distribuzione Normale multivariata:
//somma di variabili gaussiane indipendenti
• Siano • La somma
è ancora distribuita normalmente
• Si noti che la distribuzione di z = x + y è cosa diversa dalla somma delle
distribuzioni di x e y (che in generale non è gaussiana).
Distribuzione Normale multivariata:
//congiunta, marginale e condizionata di v.a.g.
• Sia
con
• La distribuzione di x è la congiunta
Distribuzione Normale multivariata:
//congiunta, marginale e condizionata di v.a.g.
Distribuzione Normale multivariata:
//congiunta, marginale e condizionata di v.a.g.
• La distribuzione di x è la congiunta
• Marginali:
• Condizionate
Distribuzione Normale multivariata:
//congiunta, marginale e condizionata di v.a.g.
• La distribuzione di x è la congiunta
• Marginali:
• Condizionate
Distribuzione Normale multivariata:
//formula di Bayes
• Siano
• La probabilità a posteriori vale:
• Inoltre: