Minimi Quadrati

Capitolo 8
Stima dei Parametri
Lo scopo dello studio dei fenomeni fisici è quello di scoprire le leggi che legano le grandezze
oggetto di indagine e di misurare il valore delle costanti che compaiono della formulazione di
leggi fisiche note. Il primo passo in questa analisi consiste nell’ipotizzare una relazione matematica tra le grandezze fisiche che caratterizzano il fenomeno osservato. Questa funzione
matematica costituisce il cosiddetto “modello matematico”, brevemente “modello”. Con
modello si intende una forma matematica (lineare, quadratica, esponenziale,. . . o una loro
combinazione) della quale fanno parte un certo numero di parametri incogniti λ1 , λ2 , . . . , λk
(che alle volte saranno indicate con Λ per brevità). La stima del valore di questi parametri è,
in molti casi, l’obiettivo principale dello studio del fenomeno fisico. Una volta specificato un
modello, i dati raccolti permettono di stimare i parametri con i metodi che verranno esposti
nei prossimi paragrafi.
La stima del valore dei parametri che caratterizzano una popolazione statistica è un’importante capitolo della statistica detto teoria degli stimatori. La teoria degli stimatori si
divide in puntuale, quando valuta il valore di un parametro, e in stima di intervallo, quando
assegna un intervallo di valori che includa il parametro cercato con un prefissato livello di
fiducia1
Come esempio si consideri un esperimento in cui per stimare l’accelerazione di gravità
locale si studia il moto di un grave in caduta libera; le grandezze fisiche osservate sono un
certo numero di distanze percorse dal grave in corrispondenza di tempi fissati (si , ti ), i =
1, . . . , N . La teoria, in particolare il secondo principio della dinamica, stabilisce che queste
grandezze soddisfano la relazione2 s = gt2 /2 dove g è l’accelerazione di gravità; il modello
matematico da adattare ai dati sarà quindi una forma quadratica: s = λ1 + λ2 t + λ3 t2
dove il parametro λ1 tiene conto di una eventuale valore non nullo della reale coordinata
di inizio del moto, λ2 tiene conto di un’eventuale velocità iniziale non nulla e infine λ3 è
il parametro che stima l’accelerazione di gravità diviso 2. Se i dati sperimentali sono in
numero sufficiente (possibilmente in numero molto maggiore dei parametri Λ) la teoria degli
estimatori (in particolare la stima puntuale) fornisce gli strumenti per stimare i parametri dai
dati sperimentali.
Nei paragrafi successivi saranno esposti i due metodi più usati per la stima puntuale dei
parametri: il metodo dei minimi quadrati e il metodo di massima verosimiglianza.
1
Si parla di fiducia e non di probabilità perché nell’interpretazione frequentista della probabilità i parametri
delle teorie hanno valori fissi per quanto non noti e quindi non ammettono una distribuzione di probabilità.
L’interpretazione soggettivista della probabilità al contrario, ammette che i parametri incogniti in quanto tali
abbiano una distribuzione di probabilità.
2
Supponendo velocità iniziale e coordinata di inizio del moto nulle
85
86
CAPITOLO 8. STIMA DEI PARAMETRI
8.1
Metodo dei Minimi Quadrati
In questo paragrafo illustriamo metodo dei minimi quadrati, uno dei metodi di stima puntuale
più utilizzati in fisica e non solo. Consideriamo un esperimento nel quale siano state acquisite
N coppie di valori (xi , yi ) di due grandezze fisiche X e Y tra le quali si ipotizza che esista
una relazione funzionale3 Y = f (X|Λ), (il modello). Come già detto la funzione f dipenderà
anche da un certo numero di parametri Λ : {λk }; ad esempio se la relazione funzionale è
lineare avremo: f (X|λ1 , λ2 ) = λ1 + λ2 X, se è quadratica: f (X|λ1 , λ2 , λ3 ) = λ1 + λ2 X +
λ3 X 2 , se è esponenziale: f (X|λ1 , λ2 ) = λ1 exp(λ2 X) e così via. Supponiamo inoltre le
grandezze yi siano affette dalle incertezze uyi mentre le incertezze sulle grandezze xi possano
essere ritenute trascurabili.
Fatte queste premesse, possiamo enunciare il Principio dei Minimi Quadrati: la stima
migliore dei parametri incogniti Λ è quella che minimizza la seguente espressione:
R=
N
X
(yi − f (xi |Λ) )2
i=1
(8.1)
u2yi
somma R degli scarti quadrati tra il valore sperimentale e quello previsto dal modello (il valore
“teorico”) diviso per la stima della varianza di yi (u2yi ). Per ottenere la stima di parametri
f(x)
x
Figura 8.1: La somma delle distanze al quadrato tra i punti “sperimentali” e i corrispondenti valori teorici
(quelli sulla curva) deve essere minima per la definizione della migliore curva secondo il Metodo del Minimi
Quadrati.
Λ si deve trovare il minimo dell’espressione (8.1) vista come funzione dei parametri, ovvero
si deve risolvere il seguente sistema:
∂R
∂R
∂R
=
= ... =
=0
∂λ1
∂λ2
∂λm
(8.2)
dove m è il numero dei parametri da determinare. Se indichiamo con Λo = {λ1o , λ2o , . . . λmo }
la soluzione del sistema (8.2), la funzione f (X, Λo ) è completamente determinata e generalmente viene indicata con il termine gergale di fit4 dei dati.
Si noti il principio dei minimi quadrati non richiede alcuna condizione sulla distribuzione
di probabilità delle grandezze yi ; tuttavia se le yi hanno distribuzioni gaussiane con valore
3
La relazione matematica da utilizzare può derivare da considerazioni teoriche legate all’analisi del
fenomeno che si studia oppure può essere suggerita dagli andamenti fenomenologici sperimentali
4
Il termine inglese fit si può tradurre, in questo contesto, con: procedura di adattamento di una curva
teorica ai dati sperimentali
87
CAPITOLO 8. STIMA DEI PARAMETRI
medio f (xi |Λo ) e deviazione standard uyi allora l’espressione che si ottiene dalla (8.1) quando
Λ = Λo è per definizione una variabile che segue la distribuzione del χ2 (vedi il paragrafo
5.9.6), e potremo scrivere5 :
N
X
(yi − f (xi |Λo ) )2
(8.3)
χ2 =
u2yi
i=1
In questo caso, utilizzando le tabelle precompilate della distribuzione del χ2 , si potranno fare
considerazioni probabilistiche sulla qualità del fit ottenuto6 , come sarà mostrato nel capitolo
9.
8.2
Minimi quadrati e fit lineare
L’applicazione più semplice del metodo dei minimi quadrati si ha quando la funzione che si
vuole adattare all’insieme delle N coppie di dati (xi , yi ± uyi ) è lineare. Il modello teorico
in questo caso è rappresentato da una retta: y = a + bx (per raccordarsi con la notazione
precedente: λ1 = a e λ2 = b), nel piano xy e la funzione R da minimizzare si scrive come:
R=
N
X
wi (yi − a − bxi )2
i=1
dove per semplificare la notazione si sono introdotti i pesi wi delle misure yi definiti dalla
relazione: wi = 1/u2yi . In valori di a e b che minimizzano R sono quelli che annullano le
derivate di R rispetto ai due parametri:

N
X

∂R


=−2
wi (yi − a − bxi ) = 0


 ∂a
i=1
(8.4)
N

X

∂R



wi xi (yi − a − bxi ) = 0
 ∂b = − 2
i=1
Per alleggerire la notazione poniamo:
S0 =
X
wi , Sx =
X
wi xi , Sxx =
X
wi x2i , Sxy =
Con queste posizioni il sistema precedente si scrive:
(
X
wi xi yi , Sy =
aS0 + bSx = Sy
aSx + bSxx = Sxy
X
wi yi (8.5)
(8.6)
La soluzione del sistema precedente è:
a=
1
(Sxx Sy − Sx Sxy ) ,
∆
b=
1
(S0 Sxy − Sy Sx )
∆
(8.7)
dove
∆ = S0 Sxx − (Sx )2
Si verifica facilmente che i valori trovati corrispondono al minimo di R. Riassumendo, le
relazioni (8.7) sono le stime dei parametri a e b con il metodo dei minimi quadrati.
5
In molti testi, anche se in modo improprio e che può generare confusione, l’espressione (8.1) è indicata
con il simbolo χ2 anche nel caso generale in cui la distribuzione delle yi non sia normale.
6
Se la distribuzione cui appartengono le yi non è gaussiana ma è nota, il calcolo della qualità del fit
ottenuto è molto più complessa da ottenere
88
CAPITOLO 8. STIMA DEI PARAMETRI
Incertezza sui parametri a e b. I parametri a e b sono variabili aleatorie in quanto funzioni,
in particolare lineari, delle variabili aleatorie yi , quindi applicando la formula di propagazione
delle incertezze (7.10) si ha per l’incertezza su parametro a:
u2a
N
X
=
j=1
=
∂a
∂yj
!2
u2yj
N
∂Sy
∂Sxy
1 X
Sxx
− Sx
= 2
∆ j=1
∂yj
∂yj
!2
N
(Sxx wj − Sx wj xj )2
1 X
1
= 2
=
wj
∆ j=1
wj
N Sxx
1 2
1 X
2
2
2
2
2
S
w
+
S
w
x
−
2S
S
w
x
=
S
S
+
S
S
−
2S
S
xx x j j
xx x =
xx j
x j j
xx 0
x xx
2
2
∆ j=1
∆
∆
e per l’incertezza sul parametro b:
u2b
=
N
X
j=1
=
∂b
∂yj
!2
u2yj
N
1 X
∂Sxy
∂Sy
= 2
S0
− Sx
∆ j=1
∂yj
∂yj
!2
N
1
1 X
(S0 wj xj − Sx wj )2
= 2
=
wj
∆ j=1
wj
N 1 2
1 X
S0
2
2
2
2
2
w
−
2S
S
w
x
=
+
S
w
x
S
S
−
2S
S
S
+
S
S
j
0
x
j
j
j
0
0
xx
x
j
0
x =
x
0
2
2
∆ j=1
∆
∆
Riassumendo le incertezze standard sui parametri a e b ottenuti con il metodo dei minimi
quadrati sono:
s
s
Sxx
S0
ub =
(8.8)
ua =
∆
∆
Caso delle incertezze uguali. Nel caso in cui tutte le incertezze sulle yi siano uguali
(uyi = uy ) le posizioni (8.5) si semplificano, utilizzando il peso w = 1/u2y , in
S0 = wN, Sx = w
X
xi , Sxx = w
X
x2i , Sxy = w
X
xi yi , Sy = w
X
yi
(8.9)
Si verifica facilmente che in questo caso il valore di entrambi i parametri a e b, dati dalle
(8.7), non dipende dal valore dell’incertezza uy . Le incertezze su a e b date dalle (8.8) in
questo caso divengono:
ua = uy
8.2.1
Esempi
s
N
P 2
x
P 2 iP
xi − (
xi )2
ub = uy
s
N
N
P 2
P
xi − ( xi )2
Consideriamo un esperimento con cui si vuole misurare la costante elastica di una molla
elicoidale. L’esperimento si esegue nel seguente modo: la molla viene sospesa e se ne misura
l’allungamento rispetto alla sua posizione di riposo in funzione della massa che è agganciata
all’estremo libero della molla. Nell’esperimento si misurano, con un’incertezza trascurabile,
la massa del peso (variabile x) che si aggancia all’estremo libero della molla e il conseguente
allungamento (variabile y) con la sua incertezza uy . Nella tabella seguente sono riportate 5
coppie di misure delle grandezze x e y.
x (g)
50
100
150
200
250
(y ± uy ) (mm)
50 ± 2
91 ± 4
120 ± 6
174 ± 8
225 ± 11
90
CAPITOLO 8. STIMA DEI PARAMETRI
In conclusione la stima puntuale dei parametri a e b con il metodo dei minimi quadrati è:
a = (8 ± 4) mm
b = (0.81 ± 0.04) mm g−1
Dal valore di b si risale alla costante k della molla attraverso la relazione k = bg.
L’incertezza su k si ottiene propagando unicamente quella b, solo se si assume per g un
valore la cui incertezza8 sia tale che ug ≪ gub /b. La giustificazione di questa condizione è
lasciata al lettore.
8.2.2
Minimi quadrati e Media pesata
Supponiamo di avere n misure yi di una stessa grandezza fisica, ciascuna con una propria
incertezza ui . Supponiamo inoltre che queste misurazioni siano state eseguite con diverse
modalità per cui le varie incertezze sono differenti, come ad esempio mostrato nella figura
8.3. Applichiamo il metodo dei minimi quadrati per ottenere una stima della grandezza che
tenga conto di tutte le misurazioni eseguite con le loro incertezze. In questo caso la funzione
f (x|Λ) si riduce ad una costante, λ, il cui valore corrisponde al valore della grandezza cercata.
La funzione R da minimizzare è
R=
n
X
(yi − λ)2
i=1
u2i
derivando e annullando la relazione precedente si ha:
n
n
n
X
X
X
∂R
yi
1
yi − λ
=
−2
−
λ
= −2
2
2
∂λ
ui
u
u2
i=1 i
i=1 i
i=1
!
=0
Da cui introducendo i pesi wi = 1/u2i otteniamo la nota formula della media aritmetica
pesata:
P
wi yi
y≡λ= P
wi
Y
1
2
3
4
5
Figura 8.3: Misure ripetute con incertezze differenti.
8
in tutti i casi in cui nelle formule appaiono grandezze di riferimento (come l’accelerazione di gravità),
l’incertezza è sostanzialmente determinata dal numero di cifre significative che si utilizzano nei calcoli