Inferenza statistica

Inferenza statistica
Stefano Tonellato
Dipartimento di Statistica
Università Ca’ Foscari Venezia
Anno Accademico 2007-2008
Informazioni
Parte I
Informazioni preliminari
Informazioni
Informazioni sul docente
Nome: Stefano Tonellato
e-mail: [email protected] (= [email protected])
Orario di ricevimento:
Lunedı̀ dalle ore 13:30 alle ore 16:30;
Dipartimento di Statistica, primo piano, studio n. 19
Telefono: vietato, a meno di casi di straordinaria gravità
(pericolo di morte, guerra, invasione di marziani o apparizione
di fantasmi)
Informazioni
Modalità d’esame
1 Prova scritta (esercizi)
2
Prova orale (discussione della prova scritta, accertamento
della comprensione dei concetti fondamentali)
Informazioni
Prerequisiti
Statistica I e Statistica II (propedeutici)
Matematica I e Matematica II (contenuti dati per noti)
Informazioni
Programma del corso
1
Concetti fondamentali di calcolo delle probabilità. Richiami
sulle variabili casuali e considerazione di alcune particolari
distribuzioni di probabilità
2
Stima dei parametri di un modello statistico e misure di
qualità degli stimatori. Definizione di modello statistico e di
stimatore; proprietà degli stimatori (molto dovrebbe essere
noto dai corsi di Statistica I e Statistica II).
3
Principio di verosimiglianza e stima di massima
verosimiglianza.
4
Ipotesi statistiche, test e funzione di potenza.
5
Test basati sul rapporto di verosimiglianza.
Informazioni
Riferimenti bibliografici
Testo di riferimento
D. Piccolo, Statistica, II ed., Il Mulino, pp. 969, Bologna, 2000.
(Capp. 12-19, 22, 24)
Letture integrative
A. M. Mood, F. A. Graybill, D. C. Boes, Introduzione alla
Statistica, McGraw-Hill, pp. 564, Milano, 1991.
A. Azzalini, Inferenza statistica. Una presentazione basata sul
concetto di verosimiglianza, Springer, pp. 367, Milano, 2001.
Introduzione al corso
Parte II
Introduzione
Introduzione al corso
Scopi del corso
Riprendere ed approfondire alcuni concetti chiave
dell’inferenza statistica. Vogliamo rispondere alle seguenti
domande
Stima dei parametri: che cos’è?
Verifica di ipotesi: che cos’è?
Fornire un metodo che permetta di attuare delle procedure
inferenziali. Vogliamo rispondere alle seguenti domande:
Stima dei parametri: come si potrebbe fare?
Verifica di ipotesi: come si potrebbe fare?
Non esiste un unico modo di procedere, ovvero non esiste un
unico metodo: per questo usiamo il condizionale.
Introduzione al corso
Esempio (statistica descrittiva)
Un’urna (popolazione di riferimento) contiene 5000 palline. Ne
esaminiamo completamente il contenuto e scopriamo che essa si
compone di:
2000 rosse
1700 bianche
1300 nere
La statistica descrittiva fornisce una sintesi di ciò che si è osservato
Introduzione al corso
Esempio (calcolo delle probabilità)
Si estrae a caso una pallina dall’urna considerata nell’esempio
precedente:
la probabilità che essa sia rossa è uguale a
la probabilità che essa sia bianca è uguale
la probabilità che essa sia nera è uguale a
2000
5000
1700
a 5000
1300
5000
Il calcolo delle probabilità quantifica l’aleatorietà dell’esito di un
esperimento casuale.
Introduzione al corso
Esempio (inferenza statistica)
Supponiamo di sapere soltanto che l’urna che stiamo considerando
contiene un numero ignoto di palline che possono essere rosse,
bianche oppure nere. Nulla sappiamo circa la percentuale dei
diversi tipi di palline presenti nell’urna
Si estraggono a caso e con reinserimento quattro palline dall’urna
con il seguente risultato: due palline rosse, una pallina bianca una
pallina nera
Sulla base di queste estrazioni e basandoci sulle frequenze relative
dei risultati osservati, stimiamo che, in seguito ad un’estrazione
casuale dall’urna, le probabilità di osservare rispettivamente una
pallina rossa, bianca o nera siano rispettivamente pari a 12 , 41 , 41
Introduzione al corso
Abbiamo estratto un campione casuale(4 palline) dalla
popolazione di riferimento (l’urna)
Abbiamo stimato le probabilità ignote di tre eventi utilizzando
le frequenze relative delle realizzazioni campionarie ad essi
corrispondenti (intutitivamente sembra logico agire cosı̀)
Abbiamo di fatto esteso all’intera popolazione l’informazione
fornitaci dal campione osservato (inferenza statistica, in
particolare stima di parametri ignoti)
Le stime ottenute non corrispondono alle probabilità dei tre
eventi
Introduzione al corso
Obiettivo fondamentale
Dobbiamo definire un metodo che ci consenta di costruire in modo
coerente delle procedure che permettano di:
estendere le informazioni che abbiamo acquisito dal campione
a tutta la popolazione;
limitare, nei limiti del possibile, i danni indotti da tali
procedure.
Variabili casuali
Parte III
Concetti fondamentali di calcolo delle probabilità
Variabili casuali
Ruolo delle variabili casuali
In prima battuta possiamo affermare che le variabili casuali
costituiscono dei possibili modelli adatti a rappresentare il
comportamento aleatorio dei fenomeni che ci interessano.
Vedremo nel seguito che esse avranno un’importanza
fondamentale nella valutazione dell’informazione che possiamo
trarre dalle osservazioni di cui disponiamo relativamente ai
fenomeni che ci interessano.
Variabili casuali
Spazio degli eventi
Sia Ω l’insieme (di numerosità non necessariamente finita) di tutti i
possibili risultati di un esperimento il cui esito sia incerto.
Evento elementare
Lo indicheremo con ω e rappresenterà un generico elemento di Ω
Evento
È un generico sottoinsieme di Ω: E ⊆ Ω.
Variabili casuali
Esempio (Lancio di un dado)
Nel lancio di un dado con le facce numerate da 1 a 6,
Ω = {1, 2, 3, 4, 5, 6}.
Gli eventi elementari sono:
ωi = {i},
i = 1, 2, . . . , 6
Un esempio di evento è:
E
= {Esce un numero pari e maggiore di 2}
= {4, 6} ⊆ Ω.
Variabili casuali
σ-algebra
F è una famiglia di eventi, cioè di sottoinsiemi di Ω. Deve godere
di alcune proprietà fondamentali. Qui ci interessa ricordare che F
rappresenta una lista di eventi dei quali ci interessa misurare il
grado di incertezza.
Variabili casuali
Se disponiamo di una coppia (Ω, F), possiamo costruire una
misura di probabilità:
Misura di probabilità
Una misura di probabilità, che chiameremo P, è una funzione
definita sugli eventi della “lista” F tale che:
1
P(E ) ≥ 0, ∀E ∈ F
2
P(Ω) = 1
3
Sia {Ei }, i = 1, 2, . . . , una successione
P∞di eventi tale che
∞
Ei ∩ Ej = ∅ ∀i 6= j, P(∪i=1 Ei ) = i=1 P(Ei )
Variabili casuali
Spazio di probabilità
La terna
(Ω, F, P)
rappresenta uno spazio di probabilità.
Variabili casuali
Definizione
Sia (Ω, F, P) uno spazio di probabilità assegnato e sia X (ω)
un’applicazione tale che:
a) ∀ ω ∈ Ω, X (ω) = x ∈ R;
b) ∀ x ∈ R, {ω ∈ Ω : X (ω) ≤ x} ∈ F.
L’applicazione X (ω) si dice variabile casuale.
Variabili casuali
Conseguenza della definizione:
per la variabile casuale X (ω) (che d’ora in poi chiameremo
semplicemente X ), una volta fissati due numeri reali arbitrari, a e
b, con a ≤ b, saremo sempre in grado di calcolare
P(X ∈ [a, b])
P(X ∈ (a, b))
P(X ∈ [a, b))
P(X ∈ (a, b])
P(X = a) (P(X 6= a))
P(X ≤ a) (P(X < a))
P(X ≥ a) (P(X > a))
Variabili casuali
Definizione
Una v.c. X che assume valori in un insieme finito,
IX = {x1 , x2 , . . . , xk },
o infinitamente numerabile,
IX = {x1 , x2 , . . . },
di valori, si dice discreta.
Variabili casuali
Definizione
La funzione
f (x) =
P(X = x) se x ∈ IX
0
altrimenti
si dice funzione di probabilità di X .
Proprietà di f (x)
0 ≤ f (x) ≤ 1
P
x∈IX f (x) = 1
Variabili casuali
Definizione
La funzione
F (x) = P(X ≤ x)
si dice funzione di ripartizione di X .
Proprietà di F (x)
limx→−∞ F (x) = 0, limx→∞ F (x) = 1
F (x) è non decrescente
F (x) è continua a destra e i suoi punti di discontinuità
coincidono con gli elementi di IX .
Variabili casuali
Definizione
Una v.c. X che assume valori in un insieme infinito e non
numerabile,
IX = [a, b] ⊆ R,
si dice assolutamente continua se esiste la funzione
F (x) = P(X ≤ x)
dotata delle seguenti proprietà:
limx→−∞ F (x) = 0, limx→∞ F (x) = 1
F (x) è non decrescente
F (x) è continua
Variabili casuali
Definizione (Funzione di densità di probabilità)
Se F (x) è una funzione derivabile,
f (x) =
dF (x)
dx
si dice funzione di densità di probabilità ed ha le seguenti proprietà:
f (x) ≥ 0;
R∞
−∞ f (x)dx = 1;
∀c, d ∈ R, c ≤ d,
Z
P(c ≤ X ≤ d) =
d
f (x)dx.
c
Variabili casuali
Definizione
La media di una variabile casuale X è definita come
 P

x∈I (X ) xf (x) se X è discreta
E (X ) =
 R
se X è continua
I (X ) xf (x)dx
Definizione
La varianza di una variabile casuale X è definita come
 P
2

x∈I (X ) (x − E (X )) f (x) se X è discreta


Var (X ) =
R

se X è assolutamente

 I (X ) (x − E (X ))2 f (x)dx
continua
Variabili casuali
Definizione
Sia X una variabile casuale. Il momento dall’origine di ordine
r , r = 1, 2, . . . , è definito come
µr = E (X r ).
Il momento centrato di ordine r , r = 1, 2, . . . , è definito come
µ̄r = E [(X − E (X ))r ].
Variabili casuali
Definizione
Sia p ∈ R, 0 ≤ p ≤ 1, e sia X una variabile casuale. Il quantile di
ordine p di X è definito come
xp ∈ R : F (xp ) ≥ p e 1 − F (xp ) ≤ 1 − p.
Se X è discreta, allora
xp = inf {x ∈ R : F (x) ≥ p}.
Se X è assolutamente continua, allora
xp = F −1 (p).
Variabili casuali
Definizione (Variabili casuali stocasticamente indipendenti)
Siano Xi , i = 1, . . . , n, n variabili casuali. Esse saranno
stocasticamente indipendenti se e solo se la loro funzione di
probabilità (densità di probabilità) congiunta sarà uguale al
prodotto delle funzioni di probabilità (densità di probabilità)
marginali delle singole variabili, ovvero:
fX1 ,...,Xn (x1 , . . . , xn ) =
n
Y
i=1
fXi (xi ) ∀(x1 , . . . , xn ) ∈ Rn .
Variabili casuali
Media e varianza di combinazioni lineari di variabili casuali
Siano Xi , i = 1, . . . , n, n variabili
P casuali con E (Xi ) = µi ∈ R e
Var (Xi ) = σi2 ∈ R+ e sia Y = ni=1 ai Xi , ai ∈ R. La media di Y
è data da
n
X
ai µi .
E (Y ) =
i=1
Inoltre,
Var (Y ) =
n
X
ai2 σi2 + 2
j
n X
X
i=1
ai aj Cov (Xi , Xj ).
j=1 i=1
Se Cov (Xi , Xj ) = 0 ∀i 6= j, allora
Var (Y ) =
n
X
i=1
ai2 σi2 .
Variabili casuali
Convergenza in probabilità
Una successione di variabili casuali Yn , n = 1, 2, . . . , converge in
probabilità alla variabile casuale Y se
lim P(|Yn − Y | < ε) = 1 ∀ ε > 0
n→∞
Si usa la simbologia
P
Yn −→ Y .
P
In particolare, se c ∈ R, Yn −→ c significa che
lim P(|Yn − c| < ε) = 1 ∀ ε > 0
n→∞
Variabili casuali
Legge debole dei grandi numeri, Khincine
Si consideri una successione di variabili casuali Yi , i = 1, 2, . . . ,
indipendenti,
identicamente distribuite con E (Yi ) = µ, e sia
P
Sn = ni=1 (Yi ). Allora
Ȳn =
Sn P
−→ µ
n
Variabili casuali
Convergenza quasi certa
Una successione di variabili casuali Yn , n = 1, 2, . . . , converge
quasi certamente alla variabile casuale Y se
P( lim |Yn − Y | = 0) = 1
n→∞
Si usa la simbologia
q.c.
Yn −→ Y .
q.c.
In particolare, se c ∈ R, Yn −→ c significa che
P( lim |Yn − c| = 0) = 1.
n→∞
Variabili casuali
Legge forte dei grandi numeri, Kolmogorov
Si consideri una successione di variabili casuali Yi , i = 1, 2, . . . ,
indipendenti, identicamente
P distribuite con E (Yi ) = µ e
E (|Yi |) < ∞, e sia Sn = ni=1 (Yi ). Allora
Ȳn =
Sn q.c.
−→ µ
n
Variabili casuali
Convergenza in distribuzione
Una successione di variabili casuali Yn , n = 1, 2, . . . , converge in
distribuzione alla variabile casuale Y se
lim n → ∞FYn (y ) = FY (y )
per ogni Y ∈ R in cui FY (y ) è continua.
Si usa la simbologia
D
Yn −→ Y .
Variabili casuali
Teorema centrale del limite, Lindeberg e Lévy
Si consideri una successione di variabili casuali Yi , i = 1, 2, . . . ,
indipendenti, identicamente
Pdistribuite con E (Yi ) = µ e
Var (Yi ) = σ 2 , e sia Sn = ni=1 (Yi ). Allora
Zn =
Sn /n − µ D
√
−→ N(0, 1)
σ/ n