Stima parametrica classica - LaDiSpe

01AYS - FONDAMENTI DI AUTOMATICA
Stima parametrica classica
proff. Marina Indri e Michele Taragna
Dip. di Automatica e Informatica
Politecnico di Torino
Anno Accademico 2003/2004
Versione 1.2
Identificazione classica (I)
Ipotesi #1: il sistema S è descritto da un modello parametrico M
che dipende da un vettore di parametri “veri” non noti po ∈ n:
S = M (po)
Ipotesi #2: su S si ha solo un numero limitato N di informazioni
sperimentali, corrotte da un rumore di misura non noto eN ∈ N ,
costituito da una sequenza aleatoria con momenti del I e del II ordine
noti:
E eN
=0
valor medio
E eN · eN
T matrice di covarianza
=
e nota
1
Identificazione classica (II)
Problema di stima parametrica:
data la relazione:
z N = F (po) +
eN
rumore
dati
funzione
non noto
nota
noti
trovare una stima p
di po mediante un algoritmo di stima (stimatore)
φ applicato ai dati z N :
o
N
∼
p = p
= φ z
2
Esempio (I)
Stima della resistenza di un resistore reale
Si effettuano N misure di tensione-corrente supponendo che:
• la caratteristica statica del resistore sia lineare e quindi il modello
del dispositivo sia dato dalla legge di Ohm:
vR = R · iR
• le misure siano corrotte da un rumore casuale eN = [e1, . . . , eN ]T
Si ottiene cosı̀ il sistema di equazioni:
vR,1 = R · iR,1 + e1
vR,2 = R · iR,2 + e2
...
vR,N = R · iR,N + eN
3
Esempio (II)
In forma matriciale:





vR,1
vR,2
...
vR,N
zN


 
 
 =
 
iR,1
iR,2
...
iR,N
L






 · [R ] + 


po
e1
e2
...
eN





eN
è nella forma standard:
z N = F (po) +
dati
noti
con:
funzione
nota
eN
rumore
non noto
F (po) = L · po = funzione lineare del parametro non noto po
di R mediante un algoritmo di stima
Obiettivo: trovare una stima R
(stimatore) φ applicato ai dati z N: ∼R
= φ zN =
R
4
Proprietà delle stime statistiche (I)
eN è una variabile aleatoria
⇓
z N = F (po) + eN è una variabile aleatoria
p
= φ z N
⇓
è una variabile aleatoria
Problema: come si misura la “bontà” della stima p
?
Per confrontare due differenti algoritmi di stima che portano a due
diverse stime p
e p̃, paragono le densità di probabilità delle rispettive
stime sulla base delle seguenti caratteristiche:
• correttezza;
• efficienza;
• consistenza
5
Proprietà delle stime statistiche (II)
Esempio di d.d.p. della stima p^ : d.d.p. normale o gaussiana ( µ=2, σ=1)
0.4
0.35
0.3
f(p)
0.25
0.2
0.15
0.1
0.05
0
−2
−1
0
p^1
1
p^2
2
3
4
p^
5
Area = Probabilità(p
1 ≤ p
≤ p
2)
6
Proprietà delle stime statistiche (III)
valor medio
della stima
valore vero
dei parametri
0.45
0.4
~
f(p)
^
f(p)
0.35
0.3
0.25
f(p)
• Correttezza (o non polarizzazione)
confronto i momenti del I ordine e
scelgo p
in modo che:
po
E (p
) =
0.2
0.15
0.1
0.05
~ ≠ po
E(p)
^ = po
E(p)
0
−2
2
4
6
8
10
p
0.8
0.7
Σ ^ < Σ~
p
p
0.6
^
f(p)
0.5
f(p)
• Efficienza
se entrambe le stime sono corrette,
confronto i momenti del II ordine e
scelgo p
in modo che:
≤
p̃
p
0
0.4
0.3
~
f(p)
0.2
0.1
~ = po
^ = E(p)
E(p)
0
−2
−1
0
1
2
p
3
4
7
5
Proprietà delle stime statistiche (IV)
p
= 0
N →∞
lim
10
9
8
7
N = 10000
6
f(p)
• Consistenza
sia per stime efficienti
sia per stime non efficienti,
guardo se vale la seguente
proprietà asintotica:
5
4
3
N = 1000
2
N = 100
1
N = 10
0
1
1.2
1.4
1.6
1.8
2
2.2
2.4
2.6
2.8
p
8
3
Stima di massima verosimiglianza (I)
Si riescono a trovare stimatori corretti, efficienti, consistenti?
Definisco funzione di verosimiglianza la d.d.p. condizionata
f ( z| p) = d.d.p. dei dati z se fossero generati dal sistema M (p)
e definisco stima di massima verosimiglianza:
p
M V = arg maxn f
p∈
N
z = z p
la stima corrispondente al valore dei parametri per cui i dati misurati
z N sono i più probabili
9
Stima di massima verosimiglianza (II)
0.25
0.2
f(z | p)
0.15
0.1
0.05
0
−2
0
2
4
z
z
N
6
8
10
10
Proprietà della stima di massima verosimiglianza
p
M V è una stima:
• asintoticamente corretta: E p
M V
−−−−−−→ po
N →∞
• asintoticamente efficiente: p
M V ≤ p̃
∀p̃ se N → ∞
• consistente: lim
MV = 0
N →∞ p
• asintoticamente gaussiana (per N → ∞)
11
Calcolo della stima di massima verosimiglianza (I)
Nel caso di errori gaussiani:
f eN
1
1 N T −1 N
exp − e
=
N (0, e)
= · e ·e
2
(2π )N · det ( e)
distribuzione
normale o gaussiana
Caso generale: F (p) = generica funzione non lineare dei parametri
z N = F (p) + eN
⇓
f z N p = N F (p) , e = eN =z N −F (p)
T −1 N
1 N
exp − 2 z − F (p) · e · z − F (p)
N
(2π) · det
e
1
12
Calcolo della stima di massima verosimiglianza (II)
f
N
z p è una funzione esponenziale in p
⇓
T N− F p
p
M V = arg maxn f z N p = arg minn z N − F (p) · −1
·
z
( )
e
p∈
p∈
R(p)
Problema: bisogna trovare il minimo globale di R(p) al variare di p,
che però può avere minimi locali se F (p) è una generica funzione non
lineare dei parametri; gli usuali algoritmi di ottimizzazione non lineare
non garantiscono di arrivare al minimo globale
13
Calcolo della stima di massima verosimiglianza (III)
Caso particolare: F (p) = funzione lineare dei parametri = Lp
z N = Lp + eN
⇓ T −1
N
N
R (p) è quadratica in p : R (p) = z − Lp · e · z − Lp
⇓
esiste un solo minimo di R (p)
⇓
−1 −1 T −1 N
M
V
T
GM =
p
= L
L
L
z
=
stima
di
Gauss-Markov
=
p
e
e
= stima dei minimi quadrati pesati con la covarianza degli errori
2
e = σ e IN (errori indipendenti identicamente distribuiti):
−1
M
V
GM
T
p
= p
= L L
LT z N = stima dei minimi quadrati
Nel caso
14
Proprietà della stima di Gauss-Markov
p
GM è una stima:
• corretta: E p
GM
• efficiente:
= po
≤
p̃
p
GM
• consistente:
∀p̃
GM = 0
p
N →∞
lim
• gaussiana
15