Verifica d`ipotesi

STATISTICA A – K
(63 ore)
Marco Riani
[email protected]
http://www.riani.it
Verifica d’ipotesi
Esempio di logica di un test
statistico
• Prova d’esame con 10 quesiti a quiz
• 4 possibili risposte per ogni quesito
• Ipotesi da confutare: studente risponde a
caso (oppure è preparato)
• Se (non) è preparato ci attendiamo tante
(poche) risposte giuste
• Problema: quante risposte giuste: 7, 8?
• X = numero di risposte esatte ⇒ v.a.
• Come si distribuisce X se lo studente non
è preparato?
Distribuzione X se studente non ha
studiato e risponde a caso
X ~ B(10, 0,25),
n=10, π =1/4=0,25
10 
10 − s
s
P ( X = s ) =  0,25 (1 − 0,25)
 s
E(X) = 2,5
VAR(X) = 1,875
π =0,25=ipotesi sulla popolazione
s=0,…,10= numero di risposte esatte
nell’esperimento campionario osservato
• Obiettivo:
quali valori di X (numero di risposte
esatte), sotto l’ipotesi che lo studente
non abbia studiato (π =0,25),
conducono a ritenere che lo studente
sia effettivamente preparato?
⇓
• Strumento: distribuzione campionaria
della variabile aleatoria X, sotto la
stessa ipotesi.
Distribuzione campionaria X
(quando π=0,25)
P(X=s) =
10 
 
s
0,25s· (1-0,25)10-s
P(X=0) = 0,7510 = 0,0563
P(X=1) = 10 ·0,25 ·0,759 = 0,1877
10 
P(X=2) =  2 ·0,252·0,758 = 0,281568
≈0,98
10 
P(X=3) =  3  ·0,253 ·0,757 =0,250282
10 
P(X=4) =  4  ·0,254 ·0,756 =0,145998
10 
P(X=5) =  5  ·0,255 ·0,755 =0,058399
10 

P(X=6) =  6  ·0,256 ·0,754 =0,016222
10 
P(X=7) =  7  ·0,257 ·0,753 =0,003090 ecc
P(X ≥ 6)=P(X=6)+P(X=7)+P(X=8) +P(X=9)
+P(X=10) = 0,016222+ 0,003090+
0,000386+ 0,000029+ 0,000001=0.019728
<2%
Se X ≥ 6 ⇒ o lo studente è preparato o si
è verificato un evento raro (con
probabilità < 2% lo studente, pur
impreparato, è molto fortunato).
Se X ≥ 6 posso quindi rifiutare l’ipotesi
che lo studente non ha studiato.
Sono però consapevole che potrei
commettere un errore (errore di tipo 1) nel
caso il risultato X≥6 sia ottenuto da uno
studente fortunato e impreparato.
Però sono tutelato dal fatto che tale errore ha
prob (P-value) molto bassa di accadere.
Ecco perché ho scelto proprio X ≥ 6.
Se avessi infatti scelto X ≥ 5 :
P(X ≥ 5)= P(X≥6)+P(X=5)=0,0197+ 0,058=0,078
Strategia
Nelle indagini statistiche (approccio
diretto) un tetto massimo (alpha) per
questa probabilità (errore di tipo 1) e’
fissato dal committente.
In genere 1% o 5%.
Formalizzazione di un test
θ = parametro ignoto dell’universo (ad es.: µ, π)
(π=probabilità di rispondere correttamente ai quiz)
T = indice campionario (ad es: P) ⇒ statistica test
(è variabile aleatoria)
(X=numero risposte corrette nel test)
⇒ ipotesi da sottoporre a
verifica
H0: θ = θ0
(π =0.25)
θ0 = valore fissato a priori in base al problema
(non dipende dai dati)
H0 = ipotesi nulla
H0
e
H1
• H1 = ipotesi alternativa ⇒ ipotesi che
contraddice H0
H1: θ ≠ θ0 ⇒ alternativa bilaterale
H1: θ > θ0 ⇒ alternativa unilaterale
destra
H1: θ < θ0 ⇒ alternativa unilaterale
sinistra
La scelta di H1 è di tipo logico e non
dipende dai dati
Esempio
• Ipotesi alternativa = lo studente è
preparato:
H1: π > 0,25
(lo studio aumenta la probabilità di
rispondere correttamente)
• Distribuzione campionaria di T ⇒
suddivisa in 2 zone:
• zona di rifiuto di H0 (“regione critica”) =
insieme di valori di T a cui è associata
una piccola probabilità di verificarsi se
H0 è vera;
• zona di accettazione di H0 = comprende
i restanti valori di T.
Esempio: T = X = n. di risposte
esatte
0.30
0.25
P(X = s)
0.20
0.15
0.10
0.05
0.00
0
accetto
1
2
3
4
5
6
7
8
9
X = numero di risposte esatte rifiuto
Zona di rifiuto: X ≥ 6
10
• In pratica si osserva lo specifico valore
T=t
Se:
• t cade nella zona di rifiuto ⇒ si ritiene
H0 falsa (e H1 vera)
• t cade nella zona di accettazione ⇒ non
si può ritenere H0 falsa (“accetto” H0)
Se accetto H0…
• Il valore osservato di T può cadere (con
probabilità elevata) nella zona di
accettazione anche se H0 è in realtà falsa.
• Esempio:
se π = 0,70 n=10
P(X<6) = 0,150
“Accetto” H0 ⇒ non posso rifiutarla
(accettazione per “insufficienza di prove”)
⇓
Non è una prova che H0 sia vera
Conclusioni (p. 89)
Realtà
H0 è vera
Accetto H0
Decisione
corretta
Rifiuto H0
Errore di
prima
specie
H0 è falsa
Errore di
seconda
specie
Decisione
corretta
Livello di significatività (α) = probabilità di
commettere un errore di prima specie
Interpretazione:
principio del campionamento ripetuto
Approccio “diretto”
• si fissa α sufficientemente piccolo
(ad es: α = 0,05; α = 0,01)
• si definiscono le corrispondenti zone di
rifiuto e di accettazione tramite la
distribuzione campionaria della v.a. T
• si prende una decisione in base al
valore osservato nel campione T = t
Esempio: T = X = n. di risposte
esatte
0.30
0.25
P(X = s)
0.20
0.15
0.10
0.05
0.00
0
accetto
1
2
3
4
5
6
7
8
9
X = numero di risposte esatte rifiuto
Zona di rifiuto: X ≥ 6
10
Approccio “inverso”
• Livello di significatività osservato
(P-value) = probabilità che la v.a. T
assuma valori più estremi di quello
osservato nel campione (tobs) quando
H0 è vera.
Esempio:
Osservo nel campione 8 risposte esatte.
P - value di 8 = P(X ≥ 8 π = 0.25) =
= P(X = 8) + P(X = 9) + P(X = 10) =
10 
10 
10 
8
2
9
10
=  0,25 ·0,75 +  0,25 ·0,75 +  0,25 =
8
9
10 
= 0.000416
fortissima evidenza contro H0
P - value
• H1 unilaterale destra H1: θ > θ0
P-value = P{T ≥ tobs, dato che θ = θ0}.
f(t)
P-value Pr(T>tobs)
tobs
P - value
• H1 unilaterale sinistra H1: θ < θ0
P-value = P{T ≤ tobs, dato che θ = θ0}.
f(t)
Pr(T<tobs)
tobs
P - value
• H1 bilaterale: H1: θ ≠ θ0
• P-value = P{T ≥ |tobs|, dato che θ = θ0}
+ P{T ≤ −|tobs|, dato che θ = θ0}
Pr(T<-|tobs|)
Pr(T>|tobs|)
-|tobs|
+|tobs|
Significato P-value:
evidenza campionaria contro H0 ⇒ se il P-value
è piccolo rifiuto H0
v. Tabella Pag. 92 del libro di
inferenza
TEST SULLA MEDIA
(grandi campioni)
H0: µ = µ0
(µ0 = valore prefissato, in es.
confezioni µ0 =200 g)
Consideriamo come statistica-test la media campionaria
che, sotto H0, gode delle seguenti proprietà:
E( X ) = µ0
VAR( X ) =
σ2
n
Z(X ) =
X − µ0
σ
n
~ N (0,1)
Quindi la media campionaria standardizata secondo H0 è
distribuita secondo N(0,1).
Rifiutiamo H0 quando osserviamo medie campionarie
lontane da µ0 → medie campionarie standardizzate
lontane da 0→ sulle code della distribuzione → legate
a probabilità basse.
Ad esempio: H1: µ ≠ µ0
α/2
1-α
-z(α/2)
0
Rifuto
accettazione
α/2
+z(α/2)
Rifiuto
• Calcolo sui dati di:
Scostamento
standardizzato:
x
z( x ) =
s
2
cor
s( X ) =
s cor
n
x − µ0
s cor
n
Se
α/2
1-α
α/2
Accetto H0
Se
-z(α/2)
Rifuto
0
accettazione
+z(α/2)
Rifiuto
Rifiuto H0
2 approcci
H 1: µ ≠ µ 0
• APPROCCIO DIRETTO: si fissa α (livello
di significatività)
• APPROCCIO INVERSO: si fornisce il p
value
Esempio 1: macchina riempitrice
tarata su 200 g
H0: µ = 200
H1: µ ≠ 200
Campione=100 confezioni
scor = 8 g
x = 199 g
z( x ) =
x − µ0
s cor
n
s( X ) = 0,8 g
199 − 200
z( x ) =
= −1,25
0,8
Approccio diretto
si fissa α = 0,05
1,96
0,025
-1,96 -1,25 0
⇒
0,025
z(0,025) =
z( x ) =
199 − 200
= −1,25
0,8
+1,96
-1,25 non è un valore estremo ⇒ cade
infatti nella zona di accettazione ⇒ il
campione non dà evidenza per rifiutare
H0 e non possiamo dire che il processo
è fuori controllo
Approccio inverso: P-value
-1,25
0
+1,25
Pvalue alto (molto
maggiore di 5% o 1%)
⇒differenza tra media
campionaria =199g e µ0
= 200g non è
significativa
⇒il processo di
produzione è sotto
controllo
Esempio 2: valutazione orario flessibile
H0: µ = 6,3 giorni
H1: µ < 6,3 ⇒ si riduce l’assenteismo
α = 0,05
Campione =100 dipendenti:
x = 5,5 giorni, scor = 2,5
z( x ) =
x − µ0
s cor
n
s( X ) = 0,25
5,5 − 6,3
z( x ) =
= −3,2
0,25
Approccio diretto
H1: µ < 6,3
si fissa α = 0,05
5,5 − 6,3
z( x ) =
= −3,2
0,25
⇒
-z(0,05) = -1,64
0,05
-3,2 -1,64
-1,64
00
-3,2 è un valore estremo ⇒ cade infatti
nella zona di rifiuto ⇒ rifiutiamo H0 e
concludiamo che con l’orario flessibile
l’assenteismo si riduce
Approccio inverso
Calcolo del P-value
H1: µ < 6,3
• P-value = P{Z( X ) ≤ -3,2} = F(-3,2) = 0,00069
⇒valore molto basso (molto minore dell’
1%) ⇒ differenza tra X =5,5 giorni e µ0 = 6,3
giorni è significativa ⇒l’orario flessibile
porta a una riduzione dell’assenteismo
-3,2 -1,64
0
TEST SULLA MEDIA
piccoli campioni
TEST SULLA MEDIA (piccoli campioni)
Assunzione: distribuzione Normale dell’universo
H0: µ = µ0
(µ0 = valore prefissato, in es confezioni
µ0 = 200g)
Consideriamo come statistica-test la media campionaria
che, sotto H0, gode delle seguenti proprieta’:
E( X ) = µ0
, VAR( X ) =
σ2
n
X − µ0
Z(X ) =
scor / n
,
~ t(n − 1)
oppure
X − µ0
Z(X ) =
σ/ n
~ N(0,1)
TEST SULLA MEDIA (piccoli campioni)
• Valutare assunzione che il fenomeno considerato
presenti nell’ universo distribuzione Normale.
• Se σ2 è noto la media campionaria standardizzata
secondo H0 è Normale.
• Se invece σ non è noto e lo si stima con scor , la media
campionaria standardizzata si distribuisce secondo t(n1). Le zone di rifiuto e di “accettazione” devono quindi
essere definite con riferimento alla v.a. t(n − 1) (NON z)⇒
calcolo t(α):
F[-t(α/2)] = α/2
Rifiutiamo H0 quando osserviamo medie campionarie
lontane da µ0 → medie campionarie standardizzate
lontane da 0→ sulle code della distribuzione → legate a
probabilità basse.
Esempio 1: macchina riempitrice
tarata su 200 g
H0: µ = 200 (valore standard)
H1: µ ≠ 200 (valore fuori controllo)
Campione=12 confezioni
x =207,75g, scor = 11,14g,
Z(X ) =
X − µ0
scor / n
s ( X ) =3,22
207.75 − 200
= 2,41
z( x ) =
3.22
Distribuzione normale dei pesi ⇒
assunzione ragionevole
Approccio diretto
α = 0,05
⇒
t0,025 (11)= 2,201
oppure
α = 0,01 ⇒
t0,005(11) = 3,106
Nel campione:
z( x ) =
-3,106 -2,201
0
207,75 − 200
= 2,41
3,22
2,201 +3,106
• Se si vuole test con α = 0,05
z ( x ) = 2,41 è un valore estremo ⇒ cade
infatti nella zona di rifiuto⇒ rifiutiamo
H0 e concludiamo che il processo è
fuori controllo;
• Se si vuole test con α = 0,01
z ( x ) = 2,41 NON è un valore estremo ⇒
cade infatti nella zona di accettazione⇒
non possiamo rifiutare H0 e NON
possiamo concludere che il processo è
fuori controllo.
Approccio inverso: P-value
P-value = P{ Z (X ) ≥ +2,41} + P{ Z (X ) ≤ −2,41}
= 2⋅P{ Z (X ) ≥ +2,41}
Dalle tavole della t con 11 gradi di liberta’:
0,02 < P-value < 0,05
⇓
Discreta (ma non fortissima) evidenza contro
H0 ⇒ decisione incerta
Esercizio
• Il contenuto di nicotina di una certa marca di
sigarette è 0,25 milligrammi con una
deviazione standard di 0,015. Un’associazione
di consumatori sostiene che il contenuto di
nicotina dichiarato è al di sotto di quello
effettivo. Si effettui il test opportuno sapendo
che in un campione casuale di 20 sigarette si
è osservata una media campionaria pari a
0,264 milligrammi.
• Si ponga α=0,01
• Si calcoli il relativo p-value
Soluzione
H0: µ = 0,25 milligrammi
H1: µ > 0,25 ⇒ contenuto superiore a
quello dichiarato
x = 0,264
σ=0,015 noto a priori
n=20
Ip. di distribuzione normale
X − µ0
Z(X ) =
~ N (0,1)
σ/ n
0,264 − 0,25
Z(x) =
= 4,17
0,015 / 20
H1: µ > 0,25 α=0,01 F(2,33)=0,99
Densità della
v.c. normale
standardizzata
0,01
Zona di accettazione
0,264 − 0,25
Z(x) =
= 4,17
0,015 / 20
2,33
Zona di rifiuto
tobs=
= 4,17 cade nella
zona di rifiuto
Calcolo del p-value
P-value = P{
>4,17}
= 1-F(4,17) = 0,00002 ⇒valore
molto basso (molto minore dell’
1%)
P-value = P{
>4,17}
Esercizio
• Da una sperimentazione geologica vengono
estratte 10 piccole porzioni di roccia che
vengono successivamente sottoposte ad
analisi per verificare il contenuto percentuale
di cadmio. Si osserva una percentuale media
di 17,4 di cadmio con scor=4,2. L’estrazione
del minerale è economicamente conveniente
se il contenuto medio percentuale di cadmio è
maggiore di 15.
Esercizio (continua)
• Si definiscano l’ipotesi nulla e l’ipotesi
alternativa
• Si stabilisca se le osservazioni
campionarie supportano la convenienza
economica dello sfruttamento del
giacimento (si utilizzi α=0,01)
• Si calcoli e si commenti il p-value del test
Soluzione
H0: µ0 = 15 (percentuale di cadmio)
H1: µ0 > 15 ⇒ casi in cui è
conveniente estrarre il minerale
n=10
α=0,01
x = 17,4 scor=4,2
Ip. di distribuzione normale
X − µ0
Z(X ) =
~ t(9) scor / n
17,4 − 15 17,4 − 15
Z(x) =
=
= 1,807
1,3282
4,2 / 10
H1: µ > 15 α=0,01
Ft(9)(2,821)=0,99
0,01
Zona di accettazione
17,4 − 15
Z(x) =
= 1,807
4,2 / 10
2,821
Densità
della v.c. T
di Student
con 9 gradi
di libertà
Zona di rifiuto
tobs=
= 1,807 cade
nella zona di accettazione
Approccio inverso: P-value
P-value = P{ Z (X ) ≥ +1,807}
Dalle tavole della t con 9 gradi di libertà:
Ft(9)(1,833)=0,95
⇓
P-value leggermente superiore a 0,05
Il valore esatto del p-value è 0,052 ottenuto
tramite Excel e la funzione distrib.t
=distrib.t(1,807;9;1)
Esercizio
• Con riferimento all’esercizio precedente si
determini la probabilità dell’errore di
seconda specie assumendo α=0,01 e
µ=16
Soluzione
• Con riferimento all’esercizio precedente si
determini la probabilità dell’errore di
seconda specie assumendo α=0,01 e
µ=16
• Errore di seconda specie = accettare
un’ipotesi nulla falsa
• Obiettivo: calcolare la probabilità di
accettare l’ipotesi nulla quando µ=16
Errore di prima specie (α)
errore seconda specie (β) e
potenza del test (1-β)
xα = valore soglia che separa la zona di
accettazione dalla zona di rifiuto
Qual è il valore soglia xα che separa la zona di accettazione da
quella di rifiuto in termini di valori originari? α=0,01
0,01
Accetto
xα − 15
= 2,821
4,2 / 10
2,821
Densità
della v.c. T
di Student
con 9 gradi
di libertà
Rifiuto
Il valore soglia xα è 18,7467
Prob. di accettare l’ipotesi nulla quando µ=16 
prob. di trovare un valore più piccolo di 18,7467
quando µ=16
Prob. di accettare l’ipotesi nulla quando µ=16 =
prob. di commettere un errore di seconda specie
=β prob. di trovare un valore più piccolo di
18,7467 quando µ=16
Che probabilità è associata all’area in verde?
Devo calcolare
Ft(9) ((18,75-16)/1,3282)
=Ft(9) (2,07)=0,966
In Excel
=1-DISTRIB.T(2,07;9;1)
Esercizi da svolgere per
LUN 17 marzo
Esercizio
• Un fornitore di pneumatici sostiene che la
durata media di un certo tipo di pneumatici per
camion è di 45000 Km. Un’impresa sottopone a
test l’affermazione del produttore osservando
un campione di 56 pneumatici utilizzati dai
propri veicoli.
• Qual è la conclusione a cui giunge l’impresa se
trova una durata media di 43740 con un
scor=2749 km (si ponga α=0,01)
• Si calcoli il p-value
Esercizio
• Di seguito sono riportati i dati di durata (in
migliaia di Km) di un convertitore catalitico
in un campione di 15 osservazioni.
• 115,4 85,2 89,1 118,3 88,4 109,3 104,3
69,3 105,5 106,8 103,1 101,6 102,9 89,6
109,3
• Si verifichi l’ipotesi che la durata media sia
pari a 100 contro l’alternativa che essa sia
minore. Si assuma un livello di significatività
α=0,05. Si calcoli il p-value del test.
Esercizio
L’Istituto Superiore di Sanità ha stimato che le spese a carico del
Sistema Sanitario Nazionale per la riabilitazione di un paziente
che ha avuto un ictus è di 42372 euro. L’amministrazione di una
ASL, per verificare se i costi nella ASL sono in linea con la media
nazionale, ha raccolto le informazioni sul costo della riabilitazione
di 64 pazienti. Il costo medio è risultato pari a 44143 euro con
uno scarto quadratico medio (campionario) corretto di 9156 euro.
• (a) Calcolare l'intervallo di confidenza al livello del 99% per la
vera media dei costi nell’ASL considerata.
• (b) Dopo aver impostato l'ipotesi nulla e l'ipotesi alternativa, si
testi se la differenza tra il costo medio nazionale e il costo
medio stimato nell’ASL è significativa al livello di significatività
dell'1%. Commentare i risultati ottenuti.
• Come sarebbero cambiate le conclusioni se il livello di
significatività fosse stato del 10%?
Esercizio
Si assuma che la pressione sistolica media di un adulto sano
sia 120 (mm Hg) e lo scarto quadratico medio 5,6.
Assumendo che la pressione abbia una distribuzione normale
calcolare la probabilità che:
• selezionando un individuo sano scelto a caso questi abbia
una pressione sistolica superiore a 125;
• scegliendo a caso 4 individui, la media della loro pressione
sistolica sia superiore a 125;
• scegliendo a caso 25 individui, la media della loro
pressione sistolica sia superiore a 125;
• selezionando 6 individui sani quattro di essi abbiano una
pressione inferiore a 125.
Esercizio
• Si consideri la verifica di ipotesi sulla
media di una popolazione normale. Si
definisce la potenza di un test la
probabilità di rifiutare un’ipotesi nulla falsa
(ossia la probabilità di non commettere un
errore di seconda specie)
• Si considerino le seguenti ipotesi nulla e
alternativa
• H0: µ=µ0
• H1: µ=µ 1 (con µ 1 > µ 0)
Errore di prima specie (α)
errore seconda specie (β) e
potenza del test (1-β)
xα = valore soglia che separa la zona di
Quesiti
• Si dimostri che la potenza del test (1-β) è
– Funzione crescente della dimensione
campionaria (n)
– Funzione crescente della differenza
tra µ 1 e µ0
– Funzione decrescente di σ (standard
deviation dell’universo)
– Funzione crescente di α (probabilità di
commettere errore di prima specie)
Esercizio
• Per una generica voce di inventario di una
determinata impresa, sia X la differenza tra il
valore inventariato ed il valore certificato. Da un
campione di 120 voci un certificatore contabile
ha ottenuto x=25,3 s2cor=13240
• Si sottoponga a test l’ipotesi che l’inventario
non sia gonfiato specificando opportunamente
l’ipotesi alternativa (si ponga α=0,01)
• Si calcoli il p-value
• Si calcoli la prob. di rifiutare l’ipotesi nulla nel
caso in cui la vera media di X fosse pari a 30
Esercizio
• Un ricercatore desidera stimare la media
di una popolazione che presenta una
deviazione standard σ con un campione di
numerosità h in modo tale che sia uguale
a 0,90 la probabilità che la media del
campione non differisca dalla media della
popolazione per più dell'8% della
deviazione standard. Si determini h.
Esercizio
• Siano X1 e X2 due v.c. indipendenti con
distribuzione N(4,1) e N(5,4)
rispettivamente.
• Si rappresenti graficamente la densità
delle due distribuzioni
• Si calcoli P(X1<X2)
Esercizio
• Si consideri un dado a 20 facce tutte
uguali
• Qual è il valore atteso?
• Quante volte è necessario lanciarlo
affinché la probabilità di ottenere almeno
un 20 sia maggiore o uguale a 0.5?
• Lanciandolo 20 volte, qual è il numero
medio di 20 ottenuti?
• Pr di ottenere almeno una volta la faccia
20 in 20 lanci?
Esercizio
• Nel gioco del lotto un numero ha una
probabilità p di uscire ad ogni estrazione.
• Si scriva la densità della v.c. che descrive il
tempo di attesa dell’uscita del numero
all’estrazione k-esima (v. casuale geometrica),
k=1, 2, 3, ….
• Si dimostri che la somma delle probabilità è 1
• Si calcoli il valore atteso
• Si calcoli l’espressione che definisce P(X>k)