Slide Minimi Quadrati

Claudio Estatico
([email protected])
Interpolazione
e
Approssimazione
ai minimi quadrati
1
Interpolazione e Minimi quadrati
Interpolazione e
approssimazione ai minimi quadrati
1)
2)
3)
4)
L’approssimazione di funzioni: interpolazione
e migliore approssimazione.
Esistenza e unicità del polinomio interpolatore. Calcolo del polinomio interpolatore.
Migliore approssimazione mediante polinomi.
Esistenza e unicità del polinomio ai minimi
quadrati. Calcolo del polinomio ai minimi
quadrati. Retta e parabola ai min. quad.
2
Interpolazione e Minimi quadrati
Approssimazione di funzioni
Sia data la tabulazione
xi , yi
per i = 0,1,..., n
di una funzione y=f(x), con f:R→
→R, di cui non si conosce la
sua espressione analitica.
L’obiettivo è trovare una “nuova” funzione p(x), p: R→
→R ,
dotata di una rappresentazione analitica “semplice”, che
approssimi la funzione f(x) (in modo tale che p(x) possa
essere utilizzata al posto della f(x)).
3
Interpolazione e Minimi quadrati
Esempio
Si rileva la temperatura in una stanza ogni secondo
nell’arco delle 24 ore. Si hanno quindi a disposizione
3600*24=86400 dati, ovvero le coppie
xi , yi
per i = 0,1, ... , 86400
in cui la variabile x si riferisce ai secondi, e la y alle
corrispondenti temperature.
4
Interpolazione e Minimi quadrati
La conoscenza, in forma analitica, di una funzione p(x) di
forma semplice che approssima la funzione vera f(x) a
partire dai punti di tabulazione (xi, yi), per i=1,…,n,
permette un trattamento efficiente del modello matematico
che esprime il fenomeno, specie al calcolatore.
Infatti
•per memorizzare la funzione basta memorizzare la legge
che definisce p(x), generalmente dipendente da meno
parametri rispetto a f(x).
•posso approssimare, tramite la p(x), la f(x) anche in
qualsiasi altro punto esterno alle ascisse xi di tabulazione.
5
Interpolazione e Minimi quadrati
Osservazione
Si arriva allo stesso problema quando di una funzione f(x)
si conosce la sua espressione analitica ma questa è
complicata da calcolare, da derivare o da integrare.
Allora, in tal caso, tramite una tabulazione di f(x) si vuole
determinare un “nuova” funzione p(x) dotata di una
rappresentazione analitica “semplice” da valutare, da
derivare o da integrare, che possa essere utilizzata al posto
della f(x).
6
Interpolazione e Minimi quadrati
Tecniche per la soluzione del problema
Interpolazione
si cerca quella funzione (in una fissata famiglia di funzioni)
che in opportuni punti (detti nodi) assume gli stessi valori
della funzione da approssimare.
Migliore approssimazione
si cerca quella funzione (in una fissata famiglia di funzioni)
la cui “distanza” dalla funzione da approssimare risulta
essere minima.
7
Interpolazione e Minimi quadrati
Interpolazione
funzione f(x) da approssimare,
conosciuta attraverso una sua
tabulazione (xi, yi)
Punti (detti nodi di interpolazione) in cui la funzione f(x)
e la sua approssimazione p(x) devono coincidere
8
Interpolazione e Minimi quadrati
Interpolazione polinomiale
Si cerca il polinomio p(x)∈
∈Pn , dove Pn rappresenta
l’insieme dei polinomi di grado ≤ n, del tipo
p( x) ≡ a0 + a1 x + a2 x 2 ... + an x n
tale che
p( xi ) = yi , i = 0,1,2,..., n
Risultato fondamentale: il polinomio p(x), detto polinomio
interpolatore, esiste ed è unico.
9
Interpolazione e Minimi quadrati
Esistenza ed unicità del polinomio interpolatore (n=3)
Trova
p( x) ≡ a0 + a1 x + a2 x 2 + a3 x 3
tale che
p ( xi ) = yi , i = 0,1,2,..., n , ossia tale che
a0 + a1 x0 + a2 x02 + a3 x03 = y0
a0 + a1 x1 + a2 x12 + a3 x13 = y1
a0 + a1 x2 + a2 x22 + a3 x23 = y2
a0 + a1 x3 + a2 x32 + a3 x33 = y3
Questo è un sistema lineare 4×
×4 in cui le incognite sono i 4
parametri a0, …, a3 che definiscono il polinomio.
10
Interpolazione e Minimi quadrati
Il determinante della matrice del sistema è
1 x0
1 x1
x02
x12
x03
x13
1 x2
1 x3
x22
x32
x23
x33
determinante di
Vandermonde
il quale è ≠0 nel caso in cui xi ≠ xk per i≠
≠k (nodi distinti).
Pertanto la soluzione esiste ed è unica, e quindi il
polinomio interpolatore esiste ed è unico.
11
Interpolazione e Minimi quadrati
Approssimazione mediante
polinomio di grado 3
funzione f(x) da approssimare,
conosciuta attraverso una
sua tabulazione xi, yi , i=0,1,2,3
punti in cui la funzione ed
il polinomio devono coincidere
12
Interpolazione e Minimi quadrati
Esistenza ed unicità del polinomio interp. (caso generale)
Trova
tale che
p( x) ≡ a0 + a1 x + a2 x 2 + ... + an x n
a0 + a1 x0 + ... + an x0n = y0
a0 + a1 x1 + ... + an x1n = y1
....
a0 + a1 xn + ... + an xnn = yn
Questo è un sistema lineare (n+1)×
×(n+1) in cui le incognite
sono gli n+1 parametri a0, …, an
13
Interpolazione e Minimi quadrati
Il determinante della matrice del sistema è
1
1
x0
x1
x 02
x12
...
...
x 0n
x1n
1
x2
x 22
...
x 2n =
...
...
...
...
...
1
xn
x n2
...
x nn
determinante di
Vandermonde
∏ (x
0≤i< j≤ n
j
− xi )
il quale è ≠0 nel caso in cui xi, ≠ xk per i≠
≠k (nodi distinti).
Pertanto la soluzione esiste ed è unica, e quindi il
polinomio interpolatore esiste ed è unico. Possiamo
riassumere il risultato tramite il teorema seguente: 14
Interpolazione e Minimi quadrati
Teorema (esistenza e unicità)
Dati gli n+1 punti, detti nodi di interpolazione,
( xi , yi ), per i = 0,1, 2 ,... , n, xi ≠ xk se i ≠ k ,
esiste ed è unico il polinomio interpolatore p∈
∈Pn, ossia il
polinomio p∈
∈Pn tale che
p( xi ) = yi , i = 0,1, 2,..., n
15
Interpolazione e Minimi quadrati
Osservazione
Sulla base di quanto visto, per trovare il polinomio
interpolatore su n+1 nodi è sufficiente risolvere un sistema
lineare in n+1 incognite.
La soluzione del sistema ci fornisce i coefficienti del
polinomio.
Esistono tuttavia delle formule che danno in modo diretto
il polinomio interpolante, senza la necessità di risolvere il
sistema di Vandermonde.
16
Interpolazione e Minimi quadrati
Polinomio ai minimi quadrati
Si cerca quel particolare polinomio di grado n la cui
“distanza” dai punti della tabulazione è minima.
Questo problema rientra in una classe più ampia di
problemi, detta “migliore approssimazione”
famiglia di
funzioni
funzione da
approssimare
a
b
si minimizza
la distanza
17
Interpolazione e Minimi quadrati
Consideriamo una tabulazione {f(x0), f(x1),,…, f(xm)}}
sull’insieme degli m+1 nodi {x0, x1,…, xm} in [a,b].
L’obiettivo è determinare un polinomio p(x)∈
∈Pn , dove Pn
rappresenta l’insieme dei polinomi di grado ≤ n, del tipo
pn ( x) ≡ a0 + a1 x + a2 x 2 + ... + an x n
tale che la distanza
1/ 2

2
 ∑ ( pn ( xi ) − f ( xi )) 
 i =1

m
sia minima tra tutti i polinomi di grado ≤ n.
Si osservi che si sommano i quadrati delle distanze in ogni
punto, da cui il nome “ai minimi quadrati”.
18
Interpolazione e Minimi quadrati
Nel caso P1(x)=a+bx, ossia si cerca la retta ai minimi
quadtati nell’insieme di tutte le rette, graficamente si ha
famiglia di rette:
p(x)=a+bx
a
Si determinano i parametri a,b
che minimizzano la distanza:
min g(a,b)=[∑i (f(xi)-(a+bxi))2]1/2
b
funzione f(x) da
approssimare nota
attraverso una sua
tabulazione f(xi)
19
Interpolazione e Minimi quadrati
Nel caso P2(x)=a+bx+cx2, ossia si cerca la retta ai minimi
quadtati nell’insieme di tutte le rette, graficamente si ha
famiglia di parabole:
p(x)=a+bx+cx2
a
Si determinano i parametri a,b,c che
minimizzano la distanza:
min g(a,b,c)=[∑i (f(xi)-(a+bxi+cxi2))2]1/2
b
funzione f(x) da
approssimare nota
attraverso una sua
tabulazione f(xi)
20
Interpolazione e Minimi quadrati
Esistenza e unicità del polinomio
ai minimi quadrati
Consideriamo una tabulazione {f(x0), f(x1),,…, f(xm)}}
sull’insieme degli m+1 nodi {x0, x1,…, xm} in [a,b].
Sia m>=n.
Allora il polinomio p(x)∈
∈Pn , dove Pn rappresenta l’insieme
dei polinomi di grado ≤ n, che approssima i valori della
tabulazione ai minimi quadrati
esiste ed è unico.
21
Interpolazione e Minimi quadrati
Costruzione del polinomio ai minimi quadrati
Il polinomio ai minimi quadrati si può facilmente
determinare risolvendo un sistema lineare associato.
In particolare, data la tabulazione {f(x0), f(x1),,…, f(xm)}}
sull’insieme degli m+1 nodi {x0, x1,…, xm}, il polinomio
p(x)∈
∈Pn del tipo p( x) ≡ a0 + a1 x + a2 x 2 ... + an x n
si ottiene
risoilvendo il sistema lineare quadrato (n+1)*(n+1)
t
t
seguente
V Va = V y
dove V è la matrice rettangolare (m+1)*(n+1) di Vandermonde contenenti i valori Vi , j = xij−−11 , ed y è il vettore
colonna di m+1 elementi contenente i valori yi=f(xi) per
i=0,1,…,m.
22
Interpolazione e Minimi quadrati
Riassumendo, dal sistema lineare V tVa = V t y
con 1 x x 2 L x n 
 y0 
0
0
0


 
2
n
1 x1 x1 L x1 
 y1 
y =  y2 
V = 1 x2 x22 L x2n 


 
M M
 M 
M
M
M 


2
n  a  
1 x m x m L x m   0   y m 
 a1 
si ottiene così il vettore a =  a2  contenente i coefficienti
 
del polinomio di migliore  M 
a 
approssimazione
 n
pn ( x) = an x n + L + a2 x 2 + a1 x + a0
23
Interpolazione e Minimi quadrati
t
Poiché la matrice V V è non singolare per ogni n,m>0, si
ottiene che il polinomio ai minimi quadrati esiste ed unico.
Questo giustifica l’esisitenza e unicità già osservata.
Vediamo un paio di esempi:
• caso n=1: Retta ai minimi quadrati (detta anche retta di
regressione lineare);
• caso n=2: Parabola ai minimi quadrati.
24
Interpolazione e Minimi quadrati
Retta ai minimi quadrati (n=1)
La matrice del sistema lineare
quindi
1

1
 1 1 1 1 1 
t
 1
V V = 
 x0 x1 x2 K xm   M

1

1
ed il termine noto V y = 
 x0
t
V Va = V y
t
t
x0 

x1 
 s1,1

x2 = 
  s1, 2
M 

xm 
1
1
x1
x2
diviene
s1, 2 

s2 , 2 
 y0 
 
 y1 
1 1     c1 
 y2 =  
K xm     c 2 
 M 
 y  25
 m
Interpolazione e Minimi quadrati
ossia il sistema quadrato 2X2
 s1,1

 s1, 2
Sa = c
del tipo
s1, 2  a0   c1 
  =  
s2, 2  a1   c2 
che, una volta risolto, consente di determinare i due
coefficienti a1 a0 della retta
p1 ( x) = a1 x + a0
che risulta essere la retta ai minimi quadrati, o retta di
regressione lineare.
26
Interpolazione e Minimi quadrati
Parabola ai minimi quadrati (n=2)
La matrice del sistema lineare V Va = V y diviene
quindi
1 x0 x02 


2
 1 1 1 L 1  1 x1 x1   s1,1 s1, 2 s1,3 




t
2
V V =  x0 x1 x2 L xm  1 x2 x2 =  s2,1 s2, 2 s2,3 


s

 x2 x2 x2 L x2   M M

s
s
M
1
2
m
 0
 3,1 3, 2 3,3 

2 
 y0 
1
x
x
m
m

 
 1 1 1 L 1   y1   c1 

   
t
ed il termine noto V y =  x0 x1 x2 L xm  y2 =  c2 
 
 x2 x2 x2 L x2   M   c 
m
1
2
 0
 3
 y  27
 m
t
t
Interpolazione e Minimi quadrati
ossia il sistema quadrato 3X3
 s1,1

 s2,1
s
 3,1
s1, 2
s2 , 2
s3, 2
Sa = c
del tipo
s1,3  a0   c1 
   
s2,3  a1  =  c2 
s3,3  a2   c3 
che, una volta risolto, consente di determinare i tre
coefficienti a2 a1 a0 della parabola
p2 ( x) = a2 x 2 + a1 x + a0
che risulta essere la parabola ai minimi quadrati.
28