Corso Avanzato di Statistica - Regressione semplice

Corso Avanzato di Statistica
R EGRESSIONE SEMPLICE
Posa D., De Iaco S.
[email protected]
[email protected]
D IP. TO
DI
U NIVERSITÀ del S ALENTO
S CIENZE E CONOMICHE E M ATEMATICO -S TATISTICHE
FACOLTÀ DI E CONOMIA
a.a. 2008/2009
2
Corso Avanzato di Statistica - Analisi della dipendenza
Modello di regressione lineare semplice
Con riferimento ad un generico campione casuale di numerosità n,
{(Xi , Yi ), i = 1, 2, . . . , n},
il modello di regressione, in corrispondenza della generica unità i−esima,
viene espresso nel modo seguente:
Yi = β0 + β1 Xi + εi ,
i = 1, 2, . . . , n.
3
Corso Avanzato di Statistica - Analisi della dipendenza
Ipotesi classiche
1. Esistenza di una dipendenza lineare di Y da X con parametri fissi:
Yi = β0 + β1 Xi + εi ,
i = 1, 2, . . . , n.
2. Valore atteso degli errori nullo:
E (εi ) = 0,
i = 1, 2, . . . , n.
3. Varianza degli errori finita e costante (omoschedasticità degli errori):
V ar (εi ) = σ 2 < ∞,
i = 1, 2, . . . , n.
La varianza degli errori σ 2 rappresenta uno dei parametri del modello di regressione.
4. Assenza di correlazione tra i residui:
Cov (εi , εj ) = 0,
i, j = 1, . . . , n, i 6= j.
4
Corso Avanzato di Statistica - Analisi della dipendenza
Inoltre, se si ipotizza che la v.a. ε segua una distribuzione normale, con
valore atteso nullo e con varianza σ 2 , allora la v.a. Y presenta distribuzione
normale, con valore atteso (β0 + β1 Xi ) e varianza σ 2 , ovvero
εi ∼ N (0, σ 2 ) ⇒ Yi ∼ N (β0 + β1 Xi , σ 2 ).
Infatti, risulta:
E(Yi ) = E(β0 + β1 Xi + εi ) = β0 + β1 Xi + E(εi ) = β0 + β1 Xi ;
V ar(Yi ) = E[Yi − E(Yi )]2 = E(εi )2 = V ar(εi ) + [E(εi )]2 = σ 2 ,
essendo
E(εi ) = 0 e
V ar(εi ) = σ 2 .
5
Corso Avanzato di Statistica - Analisi della dipendenza
Stimatori dei parametri
B0 = Ȳ − B1 X̄;
B1 =
n
P
Xi − X̄
i=1
n
P
i=1
n
X
1
1
Xi e Ȳ =
n i=1
n
medie campionarie di X e Y .
dove X̄ =
n
X
Yi − Ȳ
Xi − X̄
2
,
Yi , rappresentano, rispettivamente, le
i=1
Per semplicità, si assumerà la seguente notazione:
D(X) =
n
X
i=1
(Xi − X̄)2 .
6
Corso Avanzato di Statistica - Analisi della dipendenza
Caratteristiche fondamentali degli stimatori B0 e B1
1. Linearità degli stimatori
B0 =
n
X
ui Yi ,
B1 =
n
X
vi Yi .
i=1
i=1
2. Momenti del primo ordine
E(B0 ) = β0 ,
E(B1 ) = β1 .
3. Momenti del secondo ordine
X̄ 2
1
2
2
;
+
Var (B0 ) = σB0 = σ
n D(X)
2
=
Var (B1 ) = σB
1
σ2
;
D(X)
2
.
Cov (B0 , B1 ) = −X̄ · σB
1
7
Corso Avanzato di Statistica - Analisi della dipendenza
Dimostrazione 1. Linearità degli stimatori
Siano
dove
Xi − X̄
, i = 1, 2, . . . , n,
D(X)
n
n
n
X
X
X
Xi (Xi − X̄).
Xi2 − nX̄ 2 =
(Xi − X̄)2 =
D(X) =
ui =
i=1
i=1
i=1
È possibile osservare che:
•
n
X
i=1
•
n
X
i=1
ui =
n
X
i=1
u i Xi =
(Xi − X̄)
=
D(X)
n
P
n
X
(Xi − X̄) Xi
i=1
D(X)
(Xi − X̄)
i=1
D(X)
n
P
=
= 0;
Xi (Xi − X̄)
i=1
D(X)
=
D(X)
= 1.
D(X)
8
Corso Avanzato di Statistica - Analisi della dipendenza
Segue dimostrazione 1. Linearità degli stimatori
Lo stimatore B1 può essere espresso come segue:
B1
=
=
n
P
i=1
n
X
i=1
Xi − X̄
Yi − Ȳ
D(X)
ui (Yi − Ȳ ) =
=
n
X
Xi − X̄
D(X)
i=1
Yi − Ȳ =
n
n
X
X
ui =
ui Yi − Ȳ ui Yi .
i=1
i=1
i=1
| {z }
n
X
=0
Quindi, B1 è combinazione lineare delle Yi .
9
Corso Avanzato di Statistica - Analisi della dipendenza
Segue dimostrazione 1. Linearità degli stimatori
Lo stimatore B0 può essere espresso come segue:
n
n
B0
= Ȳ − B1 X̄ =
=
=
X
1X
ui Yi =
Yi − X̄
n i=1
i=1
n
n
X
X
1
Yi −
X̄ ui Yi =
n
i=1
i=1
n X
1
i=1
n
− X̄ui
Yi =
n
X
i=1
1
dove vi = − X̄ui , i = 1, 2, . . . , n.
n
Quindi, B0 è una combinazione lineare delle Yi .
vi Yi
10
Corso Avanzato di Statistica - Analisi della dipendenza
Dimostrazione 2. Non distorsione degli stimatori
E(B1 ) = E
n
X
i=1
ui Yi
!
=
n
X
i=1
ui E (Yi ) =
n
X
ui (β0 + β1 Xi ) =
i=1
n
n
X
X
= β0 ui +β1
ui Xi = β1 ;
i=1
i=1
| {z }
| {z }
=0
=1
E(B0 ) = E(Ȳ − B1 X̄) = E(Ȳ ) − X̄E(B1 ) = β0 + β1
X̄ − β1
X̄ = β0 ,
essendo
E(Ȳ )
=E
n
1 P
Yi
n i=1
= β0 + β1 X̄.
=
n
n
1 P
1 P
(β0 + β1 Xi ) =
E(Yi ) =
n i=1
n i=1
11
Corso Avanzato di Statistica - Analisi della dipendenza
Dimostrazione 3. Momenti del secondo ordine
• Var (B0 ) = Var
=
= σ2
2i=1
vi Yi
!
= Var
"
n X
1
i=1
n
#
− ui X̄ Yi =
n X
2
1
2 2
− ui X̄ Var (Yi ) =
+ ui X̄ − ui X̄ σ 2 =
2
n
n
n
i=1 !
n
n
X
X
1
X̄ 2
2
2
2 1
2
;
ui = σ
+ X̄
+
ui − X̄
n
n i=1
n D(X)
i=1
n X
1
i=1
n
X
• Var (B1 ) = Var
n
X
i=1
ui Yi
!
=
n
X
i=1
u2i Var(Yi ) =
σ2
;
D(X)
12
Corso Avanzato di Statistica - Analisi della dipendenza
Segue dimostrazione 3. Momenti del secondo ordine

• Cov (B0 , B1 ) = Cov
n
X
vi Yi ,
i=1
n
X
j=1

n
n X
X
vi uj Cov (Yi , Yj )=
uj Yj =
i=1 j=1
"
#
n
X
Xi − X̄
Xi − X̄ X̄
1
σ 2 X̄
2
=σ
,
−
=−
= −X̄σB
1
n
D(X)
D(X)
D(X)
i=1
2
essendo
Cov (Yi , Yj ) = 0, se i 6= j,
Cov (Yi , Yi ) = Var (Yi ) = σ 2 .
Corso Avanzato di Statistica - Analisi della dipendenza
Teorema (di Gauss-Markov)
Assumendo le ipotesi del modello di regressione lineare
semplice, gli stimatori B0 e B1 ai minimi quadrati sono
efficienti (presentano minima varianza) nella classe degli
stimatori lineari e non distorti di β0 e β1 .
Tali stimatori vengono denominati Best Linear Unbiased
Estimators (B.L.U.E.).
13
14
Corso Avanzato di Statistica - Analisi della dipendenza
Dimostrazione. Efficienza degli stimatori
Sia B̃1 uno stimatore lineare e non distorto di β1 , ovvero
n
X
di Yi ;
B̃1 =
i=1
E(B̃1 ) = β1 .
In tal caso, i coefficienti di devono soddisfare i seguenti vincoli di non
distorsione:
n
n
X
X
di Xi = 1.
di = 0 e
i=1
i=1
15
Corso Avanzato di Statistica - Analisi della dipendenza
Segue dimostrazione. Efficienza degli stimatori
Se si esprime lo stimatore B̃1 come segue:
B̃1 =
n
X
di Yi =
n
X
ui Yi +
si ottiene:
"
Var(B̃1 ) = Var B1 +
= Var(B1 ) +
n
X
n
X
#
(di − ui )Yi =
i=1
(di − ui )2 Var(Yi ) + 2
n
X
(di − ui )Cov(B1 , Yi ) =
i=1
i=1
= Var(B1 ) + σ
(di − ui )Yi ,
i=1
i=1
i=1
n
X
2
n
X
i=1
2
(di − ui ) + 2σ
2
n
X
i=1
(di − ui )ui .
Segue dimostrazione. Efficienza degli stimatori
essendo
n
X
uj Yj =
Cov(B1 , Yi ) = Cov(Yi , B1 ) = Cov Yi ,
j=1
=
n
X
uj Cov(Yi , Yj ) = ui Cov(Yi , Yi ) = ui σ 2 ,
j=1
dal momento che
Cov (Yi , Yj ) = 0, se i 6= j,
Cov (Yi , Yi ) = Var (Yi ) = σ 2 .
Cov(Yi , Yj ) = E[(β0 + β1 Xi + εi )(β0 + β1 Xj + εj )] − E[(β0 + β1 Xi + εi )]E[(β0 + β1 Xj + εj )] =
=E[(β0 + β1 Xi )(β0 + β1 Xj ) + (β0 + β1 Xi )εj + (β0 + β1 Xj )εi + εi εj )] − (β0 + β1 Xi )(β0 + β1 Xj )=
= (β0 + β1 Xi )(β0 + β1 Xj ) + 0 + 0 + 0 − (β0 + β1 Xi )(β0 + β1 Xj ) = 0.
17
Corso Avanzato di Statistica - Analisi della dipendenza
Segue dimostrazione 3. Efficienza degli stimatori
Inoltre, dal momento che:
n
X
(di − ui )ui =
i=1
i=1
=
1
D(X)
n
X
di Xi
−X̄
i=1
| {z }
=1
risulta:
n
X
Var(B̃1 ) = Var(B1 ) + σ 2
n
X
di
i=1
| {z }
−
n
di
Xi − X̄ X 2
ui =
−
D(X)
i=1
D(X)
[D(X)]
2
=
1
1
−
= 0,
D(X) D(X)
=0
n
X
i=1
(di − ui )2 ⇒ Var(B̃1 ) ≥ Var(B1 ).
Tabella di riepilogo: test parametrici e non parametrici per β0
Tabella di riepilogo: test parametrici e non parametrici per β1