Funzione di verosimiglianza

Funzione di verosimiglianza
Osservato un determinato campione x1 ,K , xn estratto da una
popolazione X la cui distribuzione dipende da un parametro θ
La funzione di verosimiglianza L(θ ) indica la probabilità di
osservare il campione al variare del parametro θ
Poiché le osservazioni campionarie sono indipendenti e
identicamente distribuite possiamo scrivere la funzione di
verosimiglianza come prodotto delle probabilità delle singole
osservazioni campionarie:
L(θ ) = P (dati osservati; θ ) = P ( X1 = x1 ,K , X n = xn ; θ ) =
= P ( X1 = x1 ; θ )K P ( X n = xn ; θ ) =
n
∏ f ( xi ; θ )
i =1
dove f (xi ; θ ) corrisponde alla probabilità o alla densità a
seconda se X è discreta o continua.
Metodo di massima
verosimiglianza
Osservazione:
Nella funzione di verosimiglianza i dati campionari sono fissati,
mentre il valore del parametro incognito può variare.
Quindi la L(θ ) deve essere vista come una funzione del solo
parametro θ che ci indica quanto è plausibile uno specifico
valore del parametro ignoto, una volta che sia stato osservato
il campione.
Se θ1 e θ 2 sono due valori del parametro ignoto e se, dato il
campione, L(θ1 ) > L(θ 2 ) , diremo che il valore θ1 è più
verosimile di θ 2 , alla luce del campione osservato.
Metodo di massima
verosimiglianza
Il metodo di massima verosimiglianza per ottenere una stima
del parametro ignoto, consiste nel prendere il valore di θ che
massimizza la funzione di verosimiglianza L(θ ) .
Il valore che massimizza la L(θ ) è la stima di massima
verosimiglianza di θ ed è indicato con θˆ .
Per convenienza si utilizza massimizzare il logaritmo della L(θ )
detta log-verosimiglianza, log L(θ ).
La stima di massima verosimiglianza di θ è il valore θˆ che
massimizza la log L(θ ) , ossia
log L(θˆ) = sup log L(θ )
θ
Stimatore di massima
verosimiglianza
La stima di massima verosimiglianza di θ è la soluzione
dell’equazione di verosimiglianza: ∂ log L(θ ) ∂θ = 0
che nel punto θ = θˆ soddisfa ∂ 2 log L(θ ) ∂θ 2 = 0
Al variare del campione osservato si avrà in generale una
diversa stima di massima verosimiglianza del parametro. Si
ottiene perciò una v.c. detta stimatore di massima
verosimiglianza del parametro θ .
Se la popolazione è Normale con media µ e varianza σ 2
2
gli stimatori di massima verosimiglianza per µ e σ sono:
1 n
X = ∑ Xi
n i =1
1 n
σˆ = ∑ ( X i − X )2
n i =1
2
Esempio
Popolazione Bernoulliana con parametro
Campione osservato x1 ,K , xn
L(π ) =
n
∏ p(X i = xi ; π ) ==
i =1
x1 +L+ xn
n
xi
1− xi
(
)
π
1
−
π
=
∏
i =1
(1− x1 )+L+ (1− xn )
(1 − π )
= π x1 +L+ xn (1 − π )n − ( x1 +L+ xn )
=π
[ (
π
=
)]
∂
log π x1 +L+ xn (1 − π )n − ( x1 +L+ xn ) =
∂π
x1 + L + xn − nπ
=
=0
x1 + L + xn − nπ = 0
π (1 − π )
πˆ = x
∂ log L(π ) ∂π =