Inferenza Statistica Inferenza statistica - Introduzione

Inferenza Statistica
•
•
•
•
•
Introduzione all’inferenza statistica
Metodo dei minimi quadrati
q
Introduzione concetto Stimatori statistici
Stimatori col metodo dei momenti
Stima di parametri in modelli fisici
– Metodo dei Minimi Quadrati
• Modelli Lineari
• Modelli multilineari
Inferenza statistica - Introduzione
• N
elle precedenti lezioni sono stati introdotti gli strumenti
matematici (teoria della probabilità e variabili aleatorie)
fondamentali per affrontare il problema dell’inferenza statistica
• O
vvero, dato un campione, quali informazioni possiamo trarre sulla
popolazione da cui è tratto? E con quale affidabilità?
1
Teoria della probabilità. Definizione
popolazione e campione.
• R
iepilogo
Popolazione
P
Processo
deduttivo
C
ampione
Processo induttivo
Caratterizzazione
Campione: Statistica
descrittiva
Corrente
sezione
Caratterizzazione
Popolazione: Teoria della
probabilità e statistica
Inferenza parametrica
• N
ell’approccio classico, la caratterizzazione della popolazione incognita
passa per l’ipotesi di un modello matematico per la popolazione
stessa.
• O
vvero, si suppone che la casualità rispetti una legge dettata da un
certo tipo di variabile aleatoria.
• Della pdf caratterizzante il processo casuale non sono noti i
parametri.
• Lo scopo è determ
determinare
nare tal
tali parametr
parametri dalle informazioni
nformaz on fornite
forn te
dal campione.
• Per tale motivo, tale tipo di caratterizzazione prende il nome di
inferenza parametrica.
2
Inferenza parametrica
• Esempio: La popolazione genitrice il campione di dati sperimentali
è descritta da una g
gaussiana di media μ e varianza σ2 entrambe
non noti.
σ
Popolazione
μ
μ =?
σ2 = ?
• Media e varianza possono essere “ricavati” dalle caratteristiche
del campione di dati disponibile.
Inferenza parametrica
• Incominciamo a considerare il caso in cui la popolazione sia nota,
(per esempio: una variabile aleatoria Y di tipo Gaussiano di media
μY e varianza σY2)
σY
x
μY
• Un’osservazione
proveniente da tale
variabile aleatoria può
potenzialmente
assumere qualunque
valore reale, ma
plausibilmente
l
ibil
non sii
allontanerà molto dal
trend centrale
3
Inferenza statistica – Introduzione
intuitiva
• Il singolo risultato del processo aleatorio può essere visto come
l’estrazione di un risultato da un’ ”urna” in cui i valori più ricorrenti
sono nei pressi del trend centrale
x
μY
La maggior parte dei
risultati che si
possono osservare è
nei pressi del centro
Ma non possiamo
escludere risultati che
siano lontani dal centro
Inferenza statistica – Introduzione
intuitiva
• N
el caso in cui si ripetono più prove, la media dei risultati “attenua”
l’importanza dei valori individuali estremi
• La media del campione sarà nei pressi della media della
popolazione
x
μY
Y
4
Inferenza parametrica
Metodo dei minimi quadrati
• N
ell’ipotesi di VA di tipo normale la migliore “stima” della media può
essere ottenuta considerando il valore medio dei punti del
campione.
N
y=
∑y
i =1
i
N
• Tale stima prende il nome di MEDIA del campione di dati.
• Il valore
l
medio
di di un campione
i
di dati
d ti è
è, iinfatti,
f tti il valore
l
θ per
cui la somma delle distanze dei valori osservati da esso è minima:
N
Φ (θ ) = ∑ ( yi − θ )
2
i =1
Inferenza parametrica
Metodo dei minimi quadrati
• Infatti con alcuni banali passaggi:
∂ Φ (θ )
=0
∂θ
∂
∂θ
(∑ ( y − θ ) ) = −2∑ y + 2 N θ = 0
2
i
i
θ=y=∑
yi
N
5
Inferenza parametrica
Metodo dei minimi quadrati
• N
el caso in cui si abbianoNosservazioni tutte provenienti dallo
stessa popolazione (stessa variabile aleatoria) e indipendenti tra
esse, si parla di distribuzioni indipendenti identicamente
distribuite e si indica con l’acronimo i.i.d.
• Ciascun elemento del campione può essere visto come un esito di
una variabile aleatoria.
• L’operazione di somma è quindi da interpretare come una
operazione su VA e, in quanto tale, variabile aleatoria anche essa:
y=
∑y
i
N
Media aritmetica del
campione
Y =
∑Y
i
N
Variabile aleatoria Media
Inferenza parametrica
Introduzione concetto Stimatore
• Se i dati sperimentali sono tutti caratterizzati dalla stessa
distribuzione Yi~N(μ,σ2) quali sono le caratteristiche della VA
Media Y ?
⎡1
⎤
E [Y ] = E ⎢ (Y1 + Y2 + ... + YN )⎥ =
⎣N
⎦
1
(E[Y1 ] + E[Y2 ] + ... + E[YN ]) = 1 N μ = μ
N
N
• La media della variabile aleatoria coincide con il parametro media
della popolazione sotto esame.
• Questo risultato, nonostante sia intuitivo, non è affatto banale.
6
Inferenza parametrica
Introduzione concetto Stimatore
• Discorso analogo può essere fatto per la varianza della VA,
sfruttando le proprietà incontrate nel caso di trasformazioni
lineari:
⎛1
var⎜
⎝N
⎞ 1
∑ Yi ⎟⎠ = N 2
N
σ2
i =1
N
∑σ 2 =
• In conclusione, se Y~N(μ, σ2), la media aritmetica diNprove
sperimentali è una variabile aleatoria
⎛ σ2 ⎞
YN ~ ⎜⎜ μ , ⎟⎟
⎝ N ⎠
Inferenza parametrica
Introduzione concetto Stimatore
• Riepilogo:
• In termini statistici, valutare la media per un campione di dati
sperimentali,
i
li equivale
i l a considerare
id
il singolo
i
l esito
i di una altra
l
variabile aleatoria, caratterizzata dalla stessa media della
singola VA e con una varianza più piccola:
μˆ = μ Z = μY
σ Z2 =
σ Y2
n
• Con il cappuccio si intende “valore stimato del parametro μ”
• Tale
T l tipo
i di variabile
i bil aleatoria
l
i è un esempio
i di STIMAT
T M TORE per il
parametro media μ della VA di tipo gaussiano.
• N
ella inferenza puntuale l’obbiettivo è la ricerca degli stimatori
caratterizzati dalla minima varianza (e quindi la minore
incertezza nel risultato).
7
Criterio della Massima Verosimiglianza
Stimatore Media - Esempio
•
0.5
1.4
1.2
0.4
1.0
0.3
0.8
0.6
0.2
σ
0.4
0.1
0.2
σ
10
0.0
0.0
Distribuzione densità di
probabilità della VA
Y associata alla singola prova
sperimentale
Distribuzione densità di
probabilità della VA
stimatore media aritmetica
Y10
Inferenza statistica – Media come
variabile aleatoria
• Seguendo il grafico delle “urne”,
– osservare un valore di X equivale
q
a pescare
p
dall’urna a
sinistra,
– calcolare la media di un campione equivale a pescare dall’urna
più stretta a destra
μ
x
Variabile aleatoria X
X
XX
XX
XXX
XXX
X X X XX
Variabile aleatoria X
8
Inferenza parametrica
Introduzione concetto Stimatore
• Riepilogo:
• In termini statistici, valutare la media per un campione di dati
sperimentali,
i
li equivale
i l a considerare
id
il singolo
i
l esito
i di una altra
l
variabile aleatoria, caratterizzata dalla stessa media della
singola VA e con una varianza più piccola:
μX
σ =
2
X
σ x2
N
• Tale tipo di variabile aleatoria è un esempio di STIMATORE per il
p m t media
parametro
m di μ della
d ll VA di tip
tipo gaussiano.
ssi n
Inferenza parametrica
Introduzione concetto Stimatore
• Uno Stimatore è una funzione del campione di dati, non basato
sui parametri della popolazione.
• Lo stimatore è una funzione nota delle variabili aleatorie
• Il valore assunto da uno stimatore è quindi l’esito di una VA
• Come ogni altra VA, è possibile definire la distribuzione di uno
stimatore.
• N
on esiste un unico stimatore per i parametri di una VA.
VA
9
Stimatore media • La media aritmetica è una valida scelta per stimare il parametro
μ di una Gaussiana (in genere per il trend centrale dei risultati)
• Esistono
E i
anche
h delle
d ll alternative
l
i per individuare
i di id
il trend
d
centrale:
– La mediana
– La moda
• N
on tutti gli stimatori hanno le stesse “qualità”
• N
ella inferenza puntuale l’obbiettivo è la ricerca degli stimatori
picaratterizzati dalla minima varianza (e quindi la minore
incertezza nel risultato).
Inferenza parametrica
Introduzione concetto Stimatore
• Definizione:
• Una funzione di variabili aleatorie che non dipende
esplicitamente da parametri incogniti è definita statistica.
• Esempio:
X=
X 1 + X 2 + ... + X N
N
• È una statistica. Invece,
Z = (X − μ )
σ
• Nonè una statistica, a meno che i parametri μ e σ siano noti.
• Uno stimatore è quindi una statistica
10
Inferenza parametrica
Proprietà di uno Stimatore statistico
• Imparzialità: Uno stimatore si dice imparziale (unbiased) se il suo
valore atteso coincide con il valore vero del parametro
( )
E Θ̂ = Θ
• N
B sebbene il valore vero non sarà mai noto è possibile valutare il
verificarsi della imparzialità.
• Efficienza:E
za:E’ una misura della varianza dello stimatore
stimatore. Se
dispongo di più stimatori devo scegliere quello con varianza
minima ovvero quello con la massima efficienza.
Inferenza Parametrica
Proprietà di uno stimatore statistico
• Esempio – Confronto Stimatori media e mediana per il parametro
μ della VA Gaussiana:
E [Y ] = μ
E [Ymediana ] = μ
var[YN ] =
var[Ymediana ] =
σ2
N
π σ2
2 N
La media aritmetica e la mediana sono
entrambi stimatori imparziali per il
parametro μ della VA Gaussiana
La varianza dello stimatore media è
inferiore alla varianza della mediana
La media aritmetica è uno stimatore più
efficiente della mediana
11
Proprietà di uno stimatore
• Da notare che non sempre gli stimatori imparziali sono efficienti
e viceversa
• Esempio:
Stimatore V
(il più
efficace, ma
parziale)
p(v)
Stimatore U
(imparziale)
p(u)
μ
Inferenza parametrica
Proprietà di uno Stimatore statistico
• C
onsistenza: E’ una proprietà dello stimatore al variare del numero
di prove sperimentali. Uno stimatore si dice consistente se:
lim θˆ = θ
N →∞
• Lo stimatore ideale dovrebbe essere uniforme, imparziale e a
varianza minima possibile (acronimo: UMVUE, Uniform Minimum
Variance Unbiased Estimator)
• Si può dimostrare che lo stimatore media aritmetica per una
popolazione di tipo gaussiano è uno stimatore UMVUE.
12
Stimatori – Metodo dei Momenti
• Il metodo dei minimi quadrati (LS: Least Squares) non è il solo
modo di ottenere degli stimatori.
• Un altro metodo che può essere usato per ottenere uno
stimatore è il metodo dei momenti.
• Definizione:
• Momento k-esimo di un campione di dati
mk =
1
∑ yik
N i
• Momento centrale k-esimo di un campione di dati:
Mk =
1
k
∑ ( yi − y )
N i
Stimatori – Metodo dei Momenti
• Il metodo dei momenti è il metodo più semplice per la
determinazione dei parametri incogniti in una distribuzione
• Tale metodo ricava i valori dei parametri eguagliando i valori dei
momenti del campione di dati con le espressioni matematiche
relative.
• A titolo di esempio consideriamo il caso di una VA uniforme di cui
non siano noti i valori a ebe che abbia riportato in5misure i
seguenti
g
esiti:
– {2.44, 1.21, 2.04, 1.95, 1.82}
13
Stimatori – Metodo dei Momenti
• È possibile calcolare media e varianza per il campione di dati
sperimentali osservati e metterli a sistema con i valori teorici:
a+b
= 1.89
2
(a − b )2 = 0.198
M2 =
12
m1 =
• La stima di a e b sarà quindi a = 1.12 e b = 2.66
• In linea di principio, è possibile ricavare i valori di a e b da una
qualunque
l
coppia
i di momentii ii-esimi.
i i
• Questo approccio è possibile per una qualunque funzione di
distribuzione.
• O
vviamente, il tipo di VA deve essere nota
Stimatori – Metodo dei Momenti
• Altro esempio: Variabile aleatoria Y di tipo esponenziale.
fY ( y ) = λ exp(− λ y )
FY ( y ) = 1 − exp(− λ y )
• La funzione ha un solo parametro, λ.
• Media (momento primo) e varianza (momento centrale di ordine
2) sono tali che:
μ=
1
λ
σ2 =
1
λ2
14
Stimatori – Metodo dei Momenti
•
È utile osservare in questo caso che abbiamo a disposizione, per il
metodo dei momenti, due distinte formule per la valutazione del
parametro λ della
d ll di
distribuzione
ib i
esponenziale.
i l
•
Esempio: si consideri il caso di una campagna sperimentale per la
caratterizzazione del tempo di resistenza di un dato materiale soggetto
ad uno sforzo.
Tale tempo è una variabile aleatoria, dato che varia da campione a
campione esaminato
Supponiamo che5prove abbiano riportato i seguenti risultati
risultati:
•
•
{ 0.178 hr, 0.606 hr, 0.181 hr, 1.13 hr, 0.131 hr}
•
Si intende valutare il parametro λ della VA in esame
Stimatori – Metodo dei Momenti
VA di tipo esponenziale
• In questo caso è possibile determinare il parametro dalla media:
n
y=
∑x
i
i =1
= 0.446 =
n
1
λ
⇒
λ = 2.24
⇒
λ = 2.32
• o, analogamente, dalla varianza
n
s2 =
∑x
i =1
n
2
i
= 0.186 =
1
λ2
• È da notare che le due procedure portano a due stimatori
differenti con due differenti valutazioni del parametro in esame.
15
Metodo dei Momenti – Applicazione VA di
tipo Gaussiano
• N
el caso di una VA di tipo Gaussiano l’uguaglianza tra momenti
campionari e momenti della popolazione porta a risultati di facile
interpretazione:
N
m1 =
∑ yi
i =1
N
∑ ( yi − y )
N
M2 =
Il metodo dei momenti
fornisce anche una
stima ragionevole del
parametro varianza
della VA Gaussiana
=μ
2
i =1
N
=σ 2
Criterio della Massima Verosimiglianza
Stimatori Varianza.
• Si sono già analizzate le proprietà dello stimatore media.
• nel caso dello stimatore varianza:
σˆ N2 =
1
N
N
∑ (Y − μˆ )
i =1
2
i
• Si può innanzitutto osservare che lo stimatore σˆ N è dipendente
dallo stimatore μ̂
2
• L’espressione per lo stimatore suggerirebbe una relazione con
2
una variabile aleatoria di tipo χ
16
Stima di parametri
• Il caso più interessante è quello in cui la relazione attesa sia
lineare
• N el caso dell’esperienza della caduta di un oggetto esiste una
relazione di tipo lineare che correla velocità v con il tempo di
caduta t
v = v0 + gt
• Più in generale possiamo considerare relazioni del seguente tipo
y = β 0 + β1 x
• dove β0 (intercetta) e β1 (pendenza) sono costanti
Stima dei parametri
Caso dipendenza lineare
• In assenza di incertezza nell’osservazione di yi ci aspettiamo che
i punti (x,y), al variare delle condizioni operative xi si trovino
tutti su una retta.
35
30
25
Y
20
15
10
5
0
0
2
4
6
8
10
12
X
17
Stima dei parametri
Caso dipendenza lineare
• In realtà la presenza di errore impedisce che i punti siano
allineati.
40
35
30
Y
25
20
15
10
5
0
0
2
4
6
8
10
12
X
• La procedura che si può eseguire è ricercare quale è la retta
(tra le tante possibili) che approssima meglio i risultati
sperimentali.
Stima di parametri in modelli fisici
Metodo dei Minimi Quadrati: Modelli lineari
• Il modo migliore per descrivere i dati consiste nel cercare la
retta (di regressione) che renda minimo la somma di tutti i
quadrati delle distanze
y
yi
di
y= β0+β
β 1x i
x
18
Stima dei parametri - Caso dipendenza
lineare- Metodo dei minimi quadrati
• Per ciascun dato sperimentale è possibile misurare la
distanza del singolo dato dalla ipotetica retta. La misura
della distanza è misurata nella direzione verticale.
β0+ β1 x i
di = yi-β0−β1 xi
yi
xi
• I parametri β0 e β1 della retta non sono noti a priori
• È possibile calcolare quali siano i valori che minimizzano la
distanza complessiva dei punti
Stima di parametri in modelli fisici
Metodo dei Minimi Quadrati: Modelli lineari
• La somma di tutte le distanze tra le prove sperimentali e la retta
di equazione canonica generica y=β0+β1 x può essere scritta nella
forma:
2
∑ di2 = ∑ ( yi − β 0 − β1 xi ) = Φ(θ )
i
i
• Dove θ è il vettore dei parametri ignoti {β0, β1}
Definizione
• La funzione Φ(θ) è definita funzione obiettivo
La distanza
di = yi– β0 – β1 xi
di
yi =a+b xi
xi
è misurata lungo la verticale
perché è l’unica sorgente di
deviazioni dal valore vero
Questa distanza è funzione
solo delle incognite a e b
19
Stima dei parametri
Caso dipendenza lineare
Metodo dei minimi quadrati
Gauss:
• La retta deve essere determinata dai punti sperimentali in
modo tale che la somma dei quadrati delle distanze di questi
punti dalla linea retta sia minima, dove la distanza è misurata
nella direzione verticale.
Stima dei parametri Caso dipendenza lineare
Metodo dei minimi quadrati
• La somma di tutte le distanze tra le prove sperimentali e la retta
di equazione canonica generica y= β0+β1x può essere scritta nella
forma:
2
∑ d i2 = ∑ ( yi − β 0 − β1 xi ) = Φ(θ )
i
i
• Dove θ è il vettore dei parametri ignoti {β0, β1}
Definizione
• La funzione Φ(θ) è definita funzione obiettivo
20
Stima dei parametri - Caso dipendenza
lineare - Metodo dei minimi quadrati
• I valori θ che mi minimizzano la funzione Φ(θ) sono la migliore
stima dei parametri per la regressione lineare
• Una determinazione puntuale dei parametri passa sempre per
la ricerca dei minimi (o dei massimi) di una funzione
obiettivo.
• L’operazioni di determinazione dei valori che mi minimizzano
(o massimizzano) una funzione obiettivo è detta ottimizzazione
Stima dei parametri - Caso dipendenza
lineare - Metodo dei minimi quadrati
• nel caso della regressione lineare, è possibile ottenere una
soluzione analitica dei coefficienti β0 e β1 per cui la funzione
obiettivo è minima
• Data la funzione obiettivo:
Φ(θ ) = Φ(β 0 , β1 ) = ∑ ( yi − β 0 − β1 xi )
2
i
• Si può facilmente verificare che la funzione di β0 e β1 è un
paraboloide e quindi ammette una (ed una sola) coppia di valori
minima.
21
Stima dei parametri - Caso dipendenza
lineare - Metodo dei minimi quadrati
• Il minimo della funzione obiettivo è ricercato tramite gli zeri
delle derivate:
∂
∂ β0
Φ(β 0 , β1 ) =
∂
∂ β0
2
∑ ( yi − β 0 − β1 xi ) = 0
i
∂
∂
2
Φ(β 0 , β1 ) =
∑ ( yi − β 0 − β1 xi ) = 0
∂ β1
∂ β1 i
• I valori di β0 e β1 che annullano il sistema di equazioni lineari
sono delle stime puntuali dei valori veri della regressione
lineare.
Stima dei parametri
Caso dipendenza lineare - Metodo dei minimi
quadrati
• Derivando la funzione rispetto ai parametri
∂
∂ β0
Φ(β 0 , β1 ) = −2 ∑ ( yi − β 0 − β1 xi ) = 0
i
∂
Φ(β 0 , β1 ) = −2∑ ( yi − β 0 − β1 xi ) xi = 0
i
∂ β1
• Con semplici passaggi si ottiene:
N
N
β 0 N + β1 ∑ xi = ∑ yi
i =1
i =1
N
N
N
i =1
i =1
i =1
β 0 ∑ xi + β1 ∑ xi2 = ∑ yi xi
• Il sistema di equazioni precedenti è un sistema di equazioni
lineari.
22
Stima dei parametri – Caso dipendenza
lineare – Metodo dei Minimi Quadrati
• Le due equazioni lineari sono talvolta chiamate equazioni normali
e possono essere facilmente risolte per le costanti β0 e β1
1 N N
∑ xi ∑ yi
i =1
i =1
i =1
N
β1 `= N
2
N
1⎛
2
⎞
∑ xi − ⎜ ∑ xi ⎟
i =1
N ⎝ i =1 ⎠
N
∑ yi xi −
β 0 = y − β1 x
d
dove:
N
y=
∑
i =1
N
Le formule danno le migliori
stime possibili per i
coefficienti β0 e β1
N
yi
x=
∑x
i
i =1
N
Stima dei parametri - Caso dipendenza
lineare - Metodo dei minimi quadrati
• Si definisce la somma corretta dei quadrati delle x
N
S xx =
∑ (x − x )
2
i
i =1
• E la somma corretta dei prodotto x ed y
N
S xy =
N
∑ (x − x )( y − y ) = ∑ y (x − x )
i
i
i =1
i
i
i =1
• Con qualche passaggio si ottiene la formula equivalente:
v
S xy i =1
= N
β1 =
S xx ∑ ( x − xv )2
i
∑ yi ( xi − x )
N
i =1
23
Stima di parametri in modelli fisici
Metodo dei Minimi Quadrati: Modelli lineari
• I valori determinati β̂ 0 e β̂1 sono delle combinazioni lineari delle
variabili aleatorie yi
• Sono pertanto anche esse delle variabili aleatorie.
• Se si ripetono n esperimenti nelle stesse condizioni operative dei
precedenti esperimenti otterremo dei valori differenti per le
stime di β̂ 0 e β̂1
• Le stime dei parametri che tipo di variabili aleatorie sono? Sono
delle variabili aleatorie indipendenti?
• Le proprietà degli stimatori introdotti con il metodo dei Minimi
Quadrati saranno discusse nel seguito
Criterio della Massima Verosimiglianza
Modelli lineari – Proprietà stimatori
• È possibile determinare il valore atteso delle variabili aleatorie
relative a β0 e β1.
• Consideriamo dapprima la variabile aleatoria relativa a β1
• Possiamo scrivere:
βˆ1 =
S XY
= ∑ ci Yi
S XX
i
• Dove ci è uguale a:
ci =
(xi − x )
S XX
Tale
l termine è completamente
l
deterministico in quanto funzione
delle sole condizioni sperimentali
xi (che si suppone siano note con
precisione assoluta)
24
Criterio della Massima Verosimiglianza
Modelli lineari – Proprietà stimatori
• È possibile quindi calcolare il valore atteso dello stimatore:
• Passaggio 1
( )
⎛
⎞
E βˆ1 = E ⎜ ∑ ciYi ⎟ = ∑ ci E (Yi )
⎝ i
⎠ i
∑ ci E (β 0 + β1 xi ) = β 0 ∑ ci + β1 ∑ ci xi
i
i
i
Questo termine sarà
valutato nel passaggio 3
Questo termine sarà
valutato nel passaggio 2
Criterio della Massima Verosimiglianza
Modelli lineari – Proprietà stimatori
• Passaggio 2
(xi − x )
∑ c = ∑ (x − x )
∑
2
i
i
i
=
i
i
• Passaggio 3
x (x − x )
∑i ci xi = ∑i i Si =
XX
( )
E βˆ1 = β1
1
2
∑ (xi − x )
∑ (x − x ) = 0
i
i
i
∑ (x − x )(x − x )
i
i
i
S XX
=1
Lo stimatore β1 è imparziale
• In maniera analoga si dimostra che anche β0 è uno stimatore
imparziale
25
Criterio della Massima Verosimiglianza
Modelli lineari – Proprietà stimatori
• Parzialità stimatore varianza
• Si p
può dimostrare che:
( )
E σˆ 2
(
⎛
ˆ
ˆ
⎜ ∑ yi − β 0 − β1 xi
i
= E⎜
n
⎜
⎜
⎝
) ⎞⎟
2
⎟=
⎟
⎟
⎠
n−2 2
σ
n
• Lo stimatore varianza è parziale. Uno stimatore imparziale è:
∑ (y
i
s2 =
− βˆ0 − βˆ1 xi
)
2
i
n−2
Criterio della Massima Verosimiglianza
Modelli lineari – Varianza stimatori
• Dato che βˆ0 e βˆ1 sono delle variabili aleatorie è possibile
calcolare p
per esse la varianza.
• Per β1 è possibile scrivere:
n
β̂1 = ∑ ciYi
• Dove
ci =
i =1
(xi − x )
S xx
• È possibile scrivere per la varianza di
:
()
⎛ n
⎞ n
V β̂ = V ⎜ ∑ ciYi ⎟ = ∑ ci2V (Yi )
⎝ i =!
⎠ i =1
26
Criterio della Massima Verosimiglianza
Modelli lineari – Varianza stimatori
• Se si suppone per ciascuna yi la stessa varianza:
⎛
⎞
⎜
⎟
2
n
n ⎜
⎟
(
)
−
x
x
i
V βˆ1 = σ 2 ∑ ci2 = σ 2 ∑ ⎜
⎟=
2
n
i =1
i =1 ⎜ ⎛
2⎞ ⎟
⎜ ⎜ ∑ ( xi − x ) ⎟ ⎟
⎠ ⎠
⎝ ⎝ i =1
( )
1
⎛ n
2⎞
⎜ ∑ ( xi − x ) ⎟
⎝ i =1
⎠
n
(xi − x )2 =
2 ∑
i =1
σ2
S xx
• Domanda: come è possibile ridurre la varianza dello stimatore
(ovvero, ottenere una stima più precisa)?
Criterio della Massima Verosimiglianza
Modelli lineari – Varianza stimatori
• Considerazioni analoghe possono essere fatte per la variabile
aleatoria β0:
( )
σ 2 x 2σ 2
+
V βˆ0 =
n
S xx
• Come è possibile ridurre l’incertezza nella stima della variabile βˆ0
?
27
Criterio della Massima Verosimiglianza
Modelli lineari – Proprietà stimatori
• Per quanto riguarda la covarianza si può dimostrare che:
σ 12 = − x
σ2
S XX
• la covarianza può essere negativa. Le varianze non possono,
ovviamente, essere negative. La matrice di covarianza deve
essere definita positiva.
• Va notato che tutte le varianze contengono il valore vero della
varianza sperimentale. Per arrivare a stime bisogna sostituire la
stima di tale varianza.
Metodo dei Minimi Quadrati – Legge
polinomiale
• Spesso accade che una variabile y sia esprimibile come una legge
polinomiale di una seconda variabile x
y = β 0 + β1 x + β 2 x 2 + ... + β n x n
• Per esempio, ci aspettiamo che l’altezza y di un corpo che cade
sia una funzione quadratica del tempo
1
y = y0 + v0t − gt 2
2
• dove y0 e v0 sono l’altezza e la velocità iniziali e g è l’accelerazione
di gravità
28
Metodo dei Minimi Quadrati – Legge
polinomiale
• Per semplicità di trattazione ci limitiamo a considerare solo il
caso di
d una legge
l
d tipo quadratico:
di
d
y = β 0 + β1 x + β 2 x 2
• Anche in questo caso è possibile determinare i valori di β0, β1
e β2 che rendano minima la somma delle distanze tra i valori
osservati yi ed i valori predetti dal modello β0+β1xi
Φ(β 0 , β1 , β 2 ) = ∑ ( yi − β 0 − β1 xi − β 2 xi2 )
N
2
i =1
Metodo dei Minimi Quadrati – Legge
polinomiale
• Differenziando la funzione obiettivo rispetto ai parametri A, B e
C si perviene al seguente sistema di equazioni lineari che può
essere risolto sfruttando i metodi tradizionali (esempio: metodo
di Cramer)
β0 N
β 0 ∑ xi
+
β1 ∑ xi
i
+ β1 ∑ xi2
+ β 2 ∑ xi2
i
+ β 2 ∑ xi3
=
∑ yi
=
∑ xi yi
i
i
i
i
i
i
i
i
i
β 0 ∑ xi2 + β1 ∑ xi2 + β 2 ∑ xi4 = ∑ xi2 yi
• Il problema può essere generalizzato per una legge polinomiale
qualunque (anche se i calcoli diventano sempre più complicati
all’aumentare dell’ordine)
29
Metodo dei Minimi Quadrati – Dipendenza
lineare dai parametri
• In presenza di una dipendenza lineare dai parametri è possibile
considerare qualunque dipendenza non lineare dalle variabili
• Esempio:
y = A sin x + B cos x
• è una legge lineare in z1=sinx e z2 = cosx
• Può essere pertanto risolta con una procedura assolutamente
analoga al caso precedente
Metodo dei Minimi Quadrati –
Linearizzazione: Funzione esponenziale
• Una delle più importanti funzioni nella fisica è la funzione
esponenziale
i l
y = Ae Bx
• Dove A e B sono delle costanti.
• Parecchi problemi fisici sono descritti da questo semplice
modello, che è chiaramente non lineare nei parametri
• L’applicazione diretta della formula per la ricerca del minimo
della funzione obiettivo non ammette soluzione analitica:
Φ( A, B ) =
∑ (y − Ae )
i
Bxi 2
i
30
Metodo dei Minimi Quadrati –
Linearizzazione: Funzione esponenziale
• È comunque possibile trasformare la relazione lineare tra yed x
in una relazione lineare, per la quale è quindi possibile applicare
la regressione lineare:
• Per ottenere la “linearizzazione” si fa semplicemente il logaritmo
della dipendenza
ln yi = ln A + Bxi
• Si ricade quindi in un problema che può essere trattato con la
classica
class
ca regress
regressione
one lineare
l neare
ln yi = z i = ln A + Bx
Metodo dei Minimi Quadrati –
Linearizzazione: Funzione esponenziale
• La linearizzazione attrae per la sua semplicità ed è usato
frequentemente.
• Tuttavia, il metodo non è del tutto legittimo da un punto di vista
rigoroso.
• La derivazione del metodo era basata sull’ipotesi che i valori
misurati y1,…, yNerano tutti ugualmente incerti.
• O
ra stiamo ottenendo la regressione usando la variabile z=ln(y). Se
i valori misurati yi sono tutti ugualmente incerti, i valori di zi
corrispondenti
p
non lo sono
31
Metodo dei Minimi Quadrati –
Linearizzazione: Funzione esponenziale
• La trasformazione altera l’errore e questo fatto ha delle
conseguenze
Log(r)
r
• L’errore si amplifica per r piccoli e si riduce per r grandi.
Metodo dei Minimi Quadrati –
Linearizzazione
• È possibile considerare differenti linearizzazioni per differenti
modelli
Ax
1 B1 1
⇒
=
+
B+ X
y Ax A
y = Ax B
⇒ ln y = ln A + B ln x
1
1
y=
⇒
= B + Ae − x
−x
y
B + Ae
• etc.
• In
I tuttii i casii non di
dimentichiamoci
i hi
i che
h lla procedura
d
non è
perfettamente rigorosa
y=
32
Metodo dei Minimi quadrati: Regressione
Multipla
• Fin qui abbiamo discusso soltanto osservazioni di due variabili x
ed y e la loro relazione.
• In molti problemi reali ci sono più di due variabili che devono
essere presi in considerazione. Per esempio nello studiare la
pressione P di un gas, si trova che essa dipende dal volume V e
dalla temperatura T e si deve analizzare P come una funzione di
VeT
• L’esempio più semplice di dipendenza da più variabili è il
seguente:
z = f ( x, y ) = θ 0 + θ1 x + θ 2 y
Metodo dei Minimi quadrati: Regressione
Multipla
• In maniera analoga al caso della regressione polinomiale, la
ricerca dei parametri A, B e C passa per la risoluzione di un
sistema di equazioni lineari
θ0 N
θ 0 ∑ xi
+
+
θ1 ∑ xi
i
θ1 ∑ x
i
i
2
i
θ 0 ∑ yi + θ1 ∑ xi yi
i
i
+
θ 2 ∑ yi
i
∑ zi
i
= ∑ xi zi
θ 2 ∑ yi2
= ∑ yi zi
i
i
+ θ 2 ∑ xi yi
+
i
=
i
33