Corso Avanzato di Statistica R EGRESSIONE SEMPLICE Posa D., De Iaco S. [email protected] [email protected] D IP. TO DI U NIVERSITÀ del S ALENTO S CIENZE E CONOMICHE E M ATEMATICO -S TATISTICHE FACOLTÀ DI E CONOMIA a.a. 2008/2009 2 Corso Avanzato di Statistica - Analisi della dipendenza Modello di regressione lineare semplice Con riferimento ad un generico campione casuale di numerosità n, {(Xi , Yi ), i = 1, 2, . . . , n}, il modello di regressione, in corrispondenza della generica unità i−esima, viene espresso nel modo seguente: Yi = β0 + β1 Xi + εi , i = 1, 2, . . . , n. 3 Corso Avanzato di Statistica - Analisi della dipendenza Ipotesi classiche 1. Esistenza di una dipendenza lineare di Y da X con parametri fissi: Yi = β0 + β1 Xi + εi , i = 1, 2, . . . , n. 2. Valore atteso degli errori nullo: E (εi ) = 0, i = 1, 2, . . . , n. 3. Varianza degli errori finita e costante (omoschedasticità degli errori): V ar (εi ) = σ 2 < ∞, i = 1, 2, . . . , n. La varianza degli errori σ 2 rappresenta uno dei parametri del modello di regressione. 4. Assenza di correlazione tra i residui: Cov (εi , εj ) = 0, i, j = 1, . . . , n, i 6= j. 4 Corso Avanzato di Statistica - Analisi della dipendenza Inoltre, se si ipotizza che la v.a. ε segua una distribuzione normale, con valore atteso nullo e con varianza σ 2 , allora la v.a. Y presenta distribuzione normale, con valore atteso (β0 + β1 Xi ) e varianza σ 2 , ovvero εi ∼ N (0, σ 2 ) ⇒ Yi ∼ N (β0 + β1 Xi , σ 2 ). Infatti, risulta: E(Yi ) = E(β0 + β1 Xi + εi ) = β0 + β1 Xi + E(εi ) = β0 + β1 Xi ; V ar(Yi ) = E[Yi − E(Yi )]2 = E(εi )2 = V ar(εi ) + [E(εi )]2 = σ 2 , essendo E(εi ) = 0 e V ar(εi ) = σ 2 . 5 Corso Avanzato di Statistica - Analisi della dipendenza Stimatori dei parametri B0 = Ȳ − B1 X̄; B1 = n P Xi − X̄ i=1 n P i=1 n X 1 1 Xi e Ȳ = n i=1 n medie campionarie di X e Y . dove X̄ = n X Yi − Ȳ Xi − X̄ 2 , Yi , rappresentano, rispettivamente, le i=1 Per semplicità, si assumerà la seguente notazione: D(X) = n X i=1 (Xi − X̄)2 . 6 Corso Avanzato di Statistica - Analisi della dipendenza Caratteristiche fondamentali degli stimatori B0 e B1 1. Linearità degli stimatori B0 = n X ui Yi , B1 = n X vi Yi . i=1 i=1 2. Momenti del primo ordine E(B0 ) = β0 , E(B1 ) = β1 . 3. Momenti del secondo ordine X̄ 2 1 2 2 ; + Var (B0 ) = σB0 = σ n D(X) 2 = Var (B1 ) = σB 1 σ2 ; D(X) 2 . Cov (B0 , B1 ) = −X̄ · σB 1 7 Corso Avanzato di Statistica - Analisi della dipendenza Dimostrazione 1. Linearità degli stimatori Siano dove Xi − X̄ , i = 1, 2, . . . , n, D(X) n n n X X X Xi (Xi − X̄). Xi2 − nX̄ 2 = (Xi − X̄)2 = D(X) = ui = i=1 i=1 i=1 È possibile osservare che: • n X i=1 • n X i=1 ui = n X i=1 u i Xi = (Xi − X̄) = D(X) n P n X (Xi − X̄) Xi i=1 D(X) (Xi − X̄) i=1 D(X) n P = = 0; Xi (Xi − X̄) i=1 D(X) = D(X) = 1. D(X) 8 Corso Avanzato di Statistica - Analisi della dipendenza Segue dimostrazione 1. Linearità degli stimatori Lo stimatore B1 può essere espresso come segue: B1 = = n P i=1 n X i=1 Xi − X̄ Yi − Ȳ D(X) ui (Yi − Ȳ ) = = n X Xi − X̄ D(X) i=1 Yi − Ȳ = n n X X ui = ui Yi − Ȳ ui Yi . i=1 i=1 i=1 | {z } n X =0 Quindi, B1 è combinazione lineare delle Yi . 9 Corso Avanzato di Statistica - Analisi della dipendenza Segue dimostrazione 1. Linearità degli stimatori Lo stimatore B0 può essere espresso come segue: n n B0 = Ȳ − B1 X̄ = = = X 1X ui Yi = Yi − X̄ n i=1 i=1 n n X X 1 Yi − X̄ ui Yi = n i=1 i=1 n X 1 i=1 n − X̄ui Yi = n X i=1 1 dove vi = − X̄ui , i = 1, 2, . . . , n. n Quindi, B0 è una combinazione lineare delle Yi . vi Yi 10 Corso Avanzato di Statistica - Analisi della dipendenza Dimostrazione 2. Non distorsione degli stimatori E(B1 ) = E n X i=1 ui Yi ! = n X i=1 ui E (Yi ) = n X ui (β0 + β1 Xi ) = i=1 n n X X = β0 ui +β1 ui Xi = β1 ; i=1 i=1 | {z } | {z } =0 =1 E(B0 ) = E(Ȳ − B1 X̄) = E(Ȳ ) − X̄E(B1 ) = β0 + β1 X̄ − β1 X̄ = β0 , essendo E(Ȳ ) =E n 1 P Yi n i=1 = β0 + β1 X̄. = n n 1 P 1 P (β0 + β1 Xi ) = E(Yi ) = n i=1 n i=1 11 Corso Avanzato di Statistica - Analisi della dipendenza Dimostrazione 3. Momenti del secondo ordine • Var (B0 ) = Var = = σ2 2i=1 vi Yi ! = Var " n X 1 i=1 n # − ui X̄ Yi = n X 2 1 2 2 − ui X̄ Var (Yi ) = + ui X̄ − ui X̄ σ 2 = 2 n n n i=1 ! n n X X 1 X̄ 2 2 2 2 1 2 ; ui = σ + X̄ + ui − X̄ n n i=1 n D(X) i=1 n X 1 i=1 n X • Var (B1 ) = Var n X i=1 ui Yi ! = n X i=1 u2i Var(Yi ) = σ2 ; D(X) 12 Corso Avanzato di Statistica - Analisi della dipendenza Segue dimostrazione 3. Momenti del secondo ordine • Cov (B0 , B1 ) = Cov n X vi Yi , i=1 n X j=1 n n X X vi uj Cov (Yi , Yj )= uj Yj = i=1 j=1 " # n X Xi − X̄ Xi − X̄ X̄ 1 σ 2 X̄ 2 =σ , − =− = −X̄σB 1 n D(X) D(X) D(X) i=1 2 essendo Cov (Yi , Yj ) = 0, se i 6= j, Cov (Yi , Yi ) = Var (Yi ) = σ 2 . Corso Avanzato di Statistica - Analisi della dipendenza Teorema (di Gauss-Markov) Assumendo le ipotesi del modello di regressione lineare semplice, gli stimatori B0 e B1 ai minimi quadrati sono efficienti (presentano minima varianza) nella classe degli stimatori lineari e non distorti di β0 e β1 . Tali stimatori vengono denominati Best Linear Unbiased Estimators (B.L.U.E.). 13 14 Corso Avanzato di Statistica - Analisi della dipendenza Dimostrazione. Efficienza degli stimatori Sia B̃1 uno stimatore lineare e non distorto di β1 , ovvero n X di Yi ; B̃1 = i=1 E(B̃1 ) = β1 . In tal caso, i coefficienti di devono soddisfare i seguenti vincoli di non distorsione: n n X X di Xi = 1. di = 0 e i=1 i=1 15 Corso Avanzato di Statistica - Analisi della dipendenza Segue dimostrazione. Efficienza degli stimatori Se si esprime lo stimatore B̃1 come segue: B̃1 = n X di Yi = n X ui Yi + si ottiene: " Var(B̃1 ) = Var B1 + = Var(B1 ) + n X n X # (di − ui )Yi = i=1 (di − ui )2 Var(Yi ) + 2 n X (di − ui )Cov(B1 , Yi ) = i=1 i=1 = Var(B1 ) + σ (di − ui )Yi , i=1 i=1 i=1 n X 2 n X i=1 2 (di − ui ) + 2σ 2 n X i=1 (di − ui )ui . Segue dimostrazione. Efficienza degli stimatori essendo n X uj Yj = Cov(B1 , Yi ) = Cov(Yi , B1 ) = Cov Yi , j=1 = n X uj Cov(Yi , Yj ) = ui Cov(Yi , Yi ) = ui σ 2 , j=1 dal momento che Cov (Yi , Yj ) = 0, se i 6= j, Cov (Yi , Yi ) = Var (Yi ) = σ 2 . Cov(Yi , Yj ) = E[(β0 + β1 Xi + εi )(β0 + β1 Xj + εj )] − E[(β0 + β1 Xi + εi )]E[(β0 + β1 Xj + εj )] = =E[(β0 + β1 Xi )(β0 + β1 Xj ) + (β0 + β1 Xi )εj + (β0 + β1 Xj )εi + εi εj )] − (β0 + β1 Xi )(β0 + β1 Xj )= = (β0 + β1 Xi )(β0 + β1 Xj ) + 0 + 0 + 0 − (β0 + β1 Xi )(β0 + β1 Xj ) = 0. 17 Corso Avanzato di Statistica - Analisi della dipendenza Segue dimostrazione 3. Efficienza degli stimatori Inoltre, dal momento che: n X (di − ui )ui = i=1 i=1 = 1 D(X) n X di Xi −X̄ i=1 | {z } =1 risulta: n X Var(B̃1 ) = Var(B1 ) + σ 2 n X di i=1 | {z } − n di Xi − X̄ X 2 ui = − D(X) i=1 D(X) [D(X)] 2 = 1 1 − = 0, D(X) D(X) =0 n X i=1 (di − ui )2 ⇒ Var(B̃1 ) ≥ Var(B1 ). Tabella di riepilogo: test parametrici e non parametrici per β0 Tabella di riepilogo: test parametrici e non parametrici per β1