3.3 Verifica di ipotesi

Corso di Statistica
Verifica di ipotesi
Prof.ssa T. Laureti
a.a. 2012-2013
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
1
Il problema
Se si lancia 14 volte una moneta, il numero di volte in cui
può uscire “testa” è una v.c. binomiale, di parametri n=14
e, se la moneta è “perfetta”, π=0,5 . Si supponga di aver
effettuato veramente i 14 lanci e di aver ottenuto per 11
volte “testa”. Il risultato fa nascere dei dubbi sulla “bontà”
della moneta : un numero di teste uguale o superiore a
11 con una moneta “buona” ha soltanto il 2,87% di probabilità di verificarsi. Allora i casi sono due:
- o è vera l’ipotesi π=0,5 e si è verificato un evento raro,
anche se pur sempre possibile;
- o è vera l’ipotesi alternativa π>0,5 e , sotto questa
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
ipotesi, l’evento X ≥ 11 appare più “normale”.
Considerando che gli eventi poco probabili si verificano
raramente, è ragionevole dubitare che sia realmente
π=0,5 e accettare l’alternativa π>0,5.
Il procedimento logico descritto è un particolare test di
significatività.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
Bin(14;0,50)
p(x)
0, 20
0,15
0,10
0, 05
0
2
4
6
8
10
12
14
x
p(x)
0
0,0001
1
0,0008
2
0,0056
3
0,0222
4
0,0611
5
0,1222
6
0,1833
7
0,2094
8
0,1833
9
0,1222
10
0,0611
11
0,0222
12
0,0056
13
0,0008
14
0,0001
x
Teoria dei test statistici – Idea generale
Supponiamo che un’azienda sia
interessata a stabilire che il processo
produttivo sia sotto controllo ossia se le
scatole prodotte abbiano una lunghezza
media pari a 10 cm
Ipotesi: la lunghezza media è uguale a 10 cm
Si estrae un campione casuale di scatole
I dati portano a confutare l’ipotesi?
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
5
Teoria dei test statistici – Idea generale
L’ipotesi di base è come l’innocenza di un imputato e si dà
per buona
Quindi si cercano le prove contrarie nei dati raccolti.
Di solito si propone un’ipotesi alternativa che serve per
sapere in che direzione cercare le prove contrarie
L’ipotesi di partenza si chiama ipotesi nulla
Come si fa a valutare le “prove contrarie”?
Quando possiamo dire che l’ipotesi nulla va rifiutata?
L’idea è che l’ipotesi nulla va scartata
se i dati raccolti sono estremamente improbabili
sotto questa ipotesi
Dobbiamo utilizzare una statistica test
Definizione di ipotesi statistica
parametrica
Un’ipotesi statistica è un’affermazione o una
congettura riguardante un parametro θ della
popolazione
nell’esempio precedente
“la lunghezza media delle scatole prodotte è
di 10 cm” è un’ipotesi statistica sulla media
µ della popolazione
Sottoporre a test (o verifica) un’ipotesi
significa valutarne la plausibilità alla luce
delle informazioni campionarie
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
7
Ipotesi nulla e alternativa
Si considera una coppia di ipotesi (sistema di
due ipotesi):
ƒ ipotesi nulla (H0)
ƒ ipotesi alternativa (H1)
L’ipotesi nulla H0 coincide con lo stato attuale
delle cose o con l’attuale convinzione riguardo
ad un valore assunto da un parametro
L’ipotesi alternativa H1 è specificata come
ipotesi opposta e complementare a H0
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
8
Ipotesi semplici e composte
Ipotesi del tipo θ = θ 0 oppure θ = θ 1
sono dette ipotesi semplici
Ipotesi del tipo θ > θ 0 oppure θ < θ 0 o ancora
θ ≠ θ 0 sono dette ipotesi composte
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
9
Teoria dei test statistici – Idea generale
Nell’esempio siamo interessati a verificare se il
processo produttivo è sotto controllo (cioè se la
lunghezza media delle scatole è di 10 cm)
oppure se c’è qualche malfunzionamento nel
processo di produzione che determina differenze
significative (incrementi) della lunghezza media dal
valore di 10 cm (tali da rendere necessaria una
revisione del processo)
H0 : µ = 10 Ipotesi nulla
H1 : µ > 10 Ipotesi alternativa
Le “prove contrarie”
sono rappresentate
dalla presenza di
valori molto più
grandi
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
10
Teoria dei test statistici – Idea generale
Si estrae un campione di n=20 scatole
Sulla base dell’evidenza empirica (il risultato
campionario) si vuole capire se l’ipotesi nulla
possa essere ritenuta plausibile oppure no
Nel primo caso si accetta H0, nel secondo si
rifiuta H0 a favore di H1
Se il campione non fornisce sufficiente evidenza
contro H0, si conclude affermando che non
possiamo rifiutare H0 (quindi la accettiamo)
Altrimenti, si rifiuta H0 e si accetta H1
Serve una regola per decidere
Test di ipotesi
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
11
Teoria dei test statistici – Idea generale
Un test di ipotesi è una regola attraverso la quale
decidere se rifiutare l’ipotesi nulla sulla base di un
campione casuale
Il test si basa sul valore assunto da una statistica test.
La statistica test è una statistica campionaria la cui
distribuzione deve essere completamente nota sotto
l’ipotesi nulla.
L’insieme dei valori della statistica test che portano
all’accettazione dell’ipotesi nulla è chiamata regione di
accettazione.
L’insieme dei valori della statistica test che portano al
rifiuto dell’ipotesi nulla è chiamata regione di rifiuto.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
12
Teoria dei test statistici – Esempio
Se ipotizziamo che la popolazione sia Normale
(la lunghezza delle scatole) con media µ
incognita e varianza σ2 nota (σ2=36) per
verificare:
H0 : µ = 10
n=20
H1 : µ > 10
Si può considerare come statistica test la media
campionaria X che sotto l’ipotesi nulla si
distribuisce come una Normale con media µ = µ0
e varianza σ 2 n
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
13
Teoria dei test statistici – Esempio
Nel campione si osserva:
Statistica test
X − µ0
σ
P(X>0,74)=0,2296
n
X = 11
~ N(0,1)
X − µ0
σ
Non è un valore
anomalo sotto
l’ipotesi nulla
n
=
11− 10
6 20
= 0,74
Non si rifiuta H0
P(Z>0,74)=0,2296
P(Z>1,64)=0,05
z=1,64
z=0,74
14
Verifica di ipotesi sulla media
Si ipotizza che la media della popolazione sia un valore
µ = µ0
L’ipotesi nulla è: H 0 : µ = µ 0
In alternativa, si può considerare una delle tre ipotesi:
H1 : µ > µ 0 oppure H1 : µ < µ 0 oppure H1 : µ ≠ µ 0
La prima alternativa è unilaterale destra, la seconda è
unilaterale sinistra e la terza è bilaterale.
L’accettazione o il rifiuto di H 0 possono essere basati sul
confronto tra µ0 e una stima campionaria della media.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
15
Varianza della popolazione nota
Si considera (per ora) l’ipotesi di nullità H 0 : µ = µ0 , contro
l’alternativa unilaterale sinistra H1 : µ > µ0 .
Se è vera H 0 si ha:
X − µ0
Z=
∼ N(0,1)
σ/ n
E’ evidente che al crescere della differenza X − µ0 tale
variabile si collocherà sempre più sulla coda destra della
normale standardizzata. Ma valori alti di X − µ0 , e quindi
di Z ,evidenziano un allontanamento dall’ipotesi nulla
in quanto assai poco probabili e portano ad accettare
l’ipotesi alternativa. Si tratta, perciò, di definire un
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
16
quantile z α (valore soglia) della N(0,1) che isoli alla
sua destra un’area limitata pari a α , chiamato livello
di significatività, che esprime la probabilità che, se H è
0
vera, Z assuma un valore uguale o superiore ad esso.
⎛
⎞
X − µ0
= zα ⎟ = α
P⎜ Z ≥
σ/ n
⎝
⎠
La regola di decisione è perciò:
- se il valore empirico di Z è inferiore a z α si accetta H 0 ;
- se il empirico di Z è uguale o superiore a z α si
respinge H 0 in favore dell’alternativa H1 : µ > µ 0
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
17
Verifica dell’ipotesi H 0 : µ = µ 0 Varianza della popolazione nota
Z ∼ N(0,1)
1− α
0
Regione di accettazione
H 0 accettata
α
Z
zα
Regione di rifiuto
H 0 rifiutata
Le regioni di rifiuto possono essere espresse in una forma più esplicita, e del
tutto equivalente, in termini di valori della media campionaria. Nell’esempio si
ha:
x α ≥ µ0 + zα
σ
n
Per semplicità considereremo regioni di rifiuto in termini della statistica test
18
Regione di accettazione
e regione di rifiuto
Se il valore campionario cade nella regione di
accettazione A, si accetta H0
Se il valore campionario cade nella regione di
rifiuto R, si rifiuta H0 a favore di H1
La regione di rifiuto comprende valori della
statistica test che hanno una probabilità
molto bassa di verificarsi se H0 è vera (sono
quei valori che ci aspetteremmo di osservare
nel caso in cui H0 fosse falsa)
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
19
Test bilaterale e test unilaterale
Test di ipotesi
H0 : θ = θ 0
H1 : θ ≠ θ 0
H0 : θ ≥ θ 0
H1 : θ < θ 0
H0 : θ ≤ θ0
H1 : θ > θ0
Tipo di test
Bilaterale (due
aree di rifiuto)
Unilaterale sinistro
(area di rifiuto a
sinistra)
Unilaterale destro
(area di rifiuto a
destra)
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
20
Verifica di ipotesi sulla media Esempio (test unilaterale destro)
Si estrae un campione di media x = 6 e numerosità n=12
da un universo normale di varianza σ2 = 16.
Si vuole verificare l’ipotesi al livello 1 − α = 0,95
H0 : µ = 4
Z=
H1 : µ > 4
Poiché z 0,05 = 1, 645 :
6−4
= 1, 732 > 1, 645
16
12
si respinge H 0 e si accoglie H1 .
Z ∼ N(0,1)
Z=1,732
Cade nella regione di rifiuto
0,95
0, 05
0
H 0 accettata
1, 645
Z
H 0 rifiutata
21
Si supponga ora di voler condurre la verifica al livello di
significatività 1 − α = 0,99. Poiché z 0,01 = 2,326 e
Z=
6−4
= 1, 732 < 2,326
16
12
si accetta H 0 .
Z=1,732
Z ∼ N(0,1)
0,99
0
H 0 accettata
Cade nella regione di accettazione
0, 01
2,326
Z
H 0 rifiutata
La logica del test è, ovviamente, sempre la stessa. Si noti
che nel primo caso, con probabilità del 5%, si corre il rischio
di rifiutare H0 anche quando essa è vera; nel secondo caso
il rischio è dell’1%.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
22
Verifica di ipotesi sulla media Esempio (test bilaterale)
Si estrae un campione di media x = 9 e numerosità n=22
da un universo normale di varianza σ2 = 30 . Si vuole
verificare l’ipotesi :
H 0 : µ = 11
contro l’alternativa bilaterale :
H1 : µ ≠ 11
al livello 1 − α = 0,95 . Se è vera H0 le due soglie di rifiuto
saranno z 0,025 = ±1, 96
Statistica test nel campione
Z=
9 − 11
= −1, 71
30
22
Z=-1,71 cade nell’area di accettazione quindi si accetta H0
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
23
Verifica dell’ipotesi H 0 : µ = 11 vs. H1 : µ ≠ 11 1 − α = 0,95
0,95
0, 025
0, 025
X
-1,96
rifiuto
+1,96
accettazione
rifiuto
Z=-1,71
Si può verificare che, se si fosse operato a 1-α=0,90 l’ipotesi di nullità
sarebbe stata rifiutata.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
24
Verifica di ipotesi sulla media. Popolazione Normale.
Varianza nota- Esempio (test unilaterale a sinistra)
Un’industria automobilistica acquista un lotto di
batterie per autovetture della durata media di 4000
ore, secondo quanto ha dichiarato il costruttore
Gli acquirenti vogliono verificare al livello di
significatività del 5% sulla base di un campione di
30 autovetture che le batterie abbiano almeno una
durata di 4000 ore
Si conosce che la deviazione standard σ della
popolazione di batterie è pari a 141,42 ore
(σ2=141,422=20000), che la popolazione è normale
e che la media campionaria riscontrata è pari a
3985 ore.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
25
Verifica di ipotesi sulla media. Popolazione Normale. Varianza
nota- Esempio (test unilaterale a sinistra)
H0 : µ = 4000
H1 : µ < 4000
20000 ⎞
⎛
X ~ N ⎜ 4000 ,
⎟
30
⎝
⎠
z=
(3985 − 4000 ) = −0,58
20000
30
α=5%
zα=-1,64 0
z=-0,58
Poiché -0,58> -1,64 allora il manager non può rifiutare
l’ipotesi nulla al livello di significatività del 5%
la durata media delle batterie si può ritenere pari
almeno a 4000 ore, come dichiarato dal produttore 26
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
Verifica dell’ipotesi H 0 : µ = µ 0 . Popolazione normale
Varianza nota
Livello di significatività α
Tabella riassuntiva
Statistica test
Z=
X −µ
σ
n
Ipotesi
H1
~ N (0,1)
Zona di rifiuto H 0
(si accetta H1 )
H1 : µ > µ 0
z ≥ zα
H1 : µ < µ 0
−z ≤ −zα
H1 : µ ≠ µ 0
z ∉ (−z α /2 , + z α /2 )
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
Approccio del p-value
La conclusione di un test può dipendere
dalla scelta del livello di significatività α.
Un’ipotesi nulla rifiutata per α=0,10 potrebbe essere
accettata con α=0,01
L’approccio del p-value permette di
sganciare l’esito del test dalla scelta di α.
Il p-value è definito come la probabilità di
osservare un valore della statistica test
uguale o più estremo di quello osservato
effettivamente sul campione, dato che H0 è
vera
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
28
Approccio del p-value
Il p-value è chiamato anche “livello di
significatività osservato”
A differenza di α non è una quantità fissata a
priori
Misura quanto i dati campionari supportano
H0: più piccolo è il p-value, minore è il
supporto a favore di H0 (maggiore è l’evidenza
contro H0)
Si rifiuta H0 se p-value < α
Si accetta H0 se p-value > α
Per diversi livelli di α
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
29
Esempio-Approccio del p-value
Durata media delle batterie
z=
H0 : µ = 4000
H1 : µ < 4000
(3985 − 4000 ) = −0,58
p-value=P(z<-0,58)=1Ф(0,58)=0,29
Tale valore non mostra
evidenza nei dati contro
l’ipotesi nulla
20000
30
p-value
Si accetta H0
p-value>α=0,01;0,05;0,1
-1,64
-0,58
0
z
valore osservato z della statistica test
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
30
Esempio-Approccio del p-value
Un produttore di vernici assicura che il tempo
medio di asciugatura non è superiore a 15
minuti
La ditta acquirente prima di acquistare il
prodotto prova il prodotto su 200 pezzi per
verificare l’affermazione del produttore ad un
livello di significatività dell’1% e riscontra un
tempo medio di asciugatura pari a 15,8 minuti
E’ noto che la distribuzione dei tempi di
asciugatura è normale con una varianza pari a
10
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
31
Esempio-Approccio del p-value
H0 : µ = 15
H1 : µ > 15
z=
10 ⎞
⎛
X ~ N⎜15,
⎟
200
⎝
⎠
(15,8 − 15) = 3,58
α=1%
10
200
0
zα=2,33
z=3,58
Poiché 3,58> 2,33 allora il manager rifiuta l’ipotesi nulla ad un
livello di significatività dell’1%
i dati campionari smentiscono l’affermazione del produttore
Il tempo medio di asciugatura è significativamente superiore a
15 minuti
p-value=P(z>3,58)=1- Ф(3,58)=0,00017
Tale valore mostra una netta evidenza dei dati
contro l’ipotesi nulla. Si rifiuta H0
32
Verifica di ipotesi sulla media di una popolazione
Normale. Varianza non nota. Il test T
Sia X un carattere continuo con distribuzione Normale,
X~N(µ,σ2), in cui anche la varianza non è nota, e supponiamo di
disporre di un campione casuale di ampiezza n
► Siamo interessati a sottoporre a verifica empirica un’ipotesi
riguardante la media della popolazione µ, in una delle forme
ƒH0: µ = µ0 vs H1: µ > µ0
ƒH0: µ = µ0 vs H1: µ < µ0
ƒH0: µ = µ0 vs H1: µ ≠ µ0
Come nel caso di σ nota a priori, anche in questo contesto la
migliore statistica test è la media campionaria; tuttavia, proprio
perché σ non è nota la versione standardizzata Z è inutilizzabile
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
33
Verifica di ipotesi sulla media di una popolazione
Normale. Varianza non nota. Il test T
⇨Sostituendo σ con la deviazione standard
campionaria s si ottiene una statistica test T con
struttura analoga a Z ma che sotto H0 ha distribuzione t
di Student con n−1 gdl
T =
X −µ
s
n
~ t n −1
Il test si svolge in modo equivalente al caso di σ nota.
Per determinare il valore critico è necessario usare la
tavola della t invece della tavola della Normale
standard Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
34
Verifica dell’ipotesi H 0 : µ = µ 0 . Popolazione normale
Varianza non nota
Livello di significatività α
Tabella riassuntiva
Statistica test
T =
X −µ
s
n
~ t n −1
Ipotesi
H1
Zona di rifiuto H 0
(si accetta H1 )
H1 : µ > µ 0
t ≥ t α ,n −1
H1 : µ < µ 0
− t ≤ − t α ,n −1
H1 : µ ≠ µ 0 t ∉ (− t α /2;n −1 , + t α /2;n −1 )
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
35
Verifica di ipotesi sulla media di una popolazione
Normale. Varianza non nota.
L’approccio del p-value non è fattibile con la
tavola della t, perché tale tavola non consente di
determinare la probabilità a sinistra o a destra di un
punto arbitrario;
una soluzione approssimata è quella di usare la tavola
della Normale standard (l’approssimazione è tanto
migliore quanto più grande è n; altrimenti se si dispone
di un computer si può fare il calcolo esatto con la t)
Per grandi campioni si ricorda che, per il TLC:
T =
X −µ
s
n
N ( 0,1)
Quindi è possibile utilizzare
direttamente la Distribuzione
Normale se n è grande
(n>120)
36
Esempio- Test per la media di una popolazione
(varianza della popolazione non nota)
Il manager delle poste di Viterbo è interessato a
stabilire se il tempo medio di attesa dei clienti allo
sportello è rimasto invariato oppure è cambiato
nell’ultimo anno rispetto al precedente (quando era
pari a 30 minuti)
Assume un livello di significatività del 5% (α=0,05)
Su un campione di n=15 clienti osserva che il tempo
medio di attesa è pari a 30,2 minuti
Si ipotizza che il tempo di attesa segua una
distribuzione normale.
Supponiamo che il manager non conosca la varianza
σ2 della popolazione che deve quindi essere stimata
dal campione utilizzando la varianza campionaria
corretta s2
Ipotizziamo che S 2 = 32,8 da un campione di n=15
clienti
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
37
Esempio- Test per la media di una popolazione
(varianza della popolazione non nota, n piccolo)
H0 : µ = 30
H1 : µ ≠ 30
Tn −1 =
(X
− µ0 )
è la statistica test
S2
n-1=14 g.d.l.
n
Valore osservato della statistica test
t =
(30 ,2
− 30
32 ,8
15
)
− t α / 2 = −2,14
0
t α / 2 = 2,14
t=0,135
= 0 ,135
P(T14 > 2,14) =
α
= 0,025
2
–2,14 < 0,135 < 2,14
l’ipotesi nulla non può essere rifiutata al livello di significatività
del 5%
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
38
Esempio- Test per la media di una popolazione
(varianza della popolazione non nota, n grande)
Sempre considerando la
stima campionaria della
varianza,
se n=150 invece di n=15
Sotto H0 , per TLC
Valore osservato
della statistica test
X − 30
~ N(0,1)
32,8 150
z=
(x − 30)
32,8 150
=
− zα 2 = −1,96
zα 2 = 1,96
z=0,43
(30,2 − 30) = 0,43
32,8 150
–1,96 < 0,43 < 1,96 il manager non può rifiutare l’ipotesi nulla
al livello di significatività del 5%
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
39
Statistica test per la verifica di
ipotesi sulla media µ
Distribuzione popolazione
X ~ Normale
Varianza popolazione
X ~ f (X ) qualunque
Varianza popolazione
nota
non nota
(s2 stima
campionaria)
nota
non nota
(s2 stima
campionaria)
n piccolo
X−µ
~ N(0,1)
σ n
X−µ
~ Tn−1
s n
?
?
n grande
X−µ
X−µ
X−µ
X−µ
~ N(0,1)
~ N(0,1)
~ N(0,1)
~ N(0,1)
σ n
s n
σ n
s n
Dimens.
campion
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
40
Test per una proporzione
X è una v.c. dicotomica che può assumere i
valori 0 e 1 la cui distribuzione di probabilità
è una Bernoulli di parametro π
I sistemi di ipotesi possono essere:
H0 : π = π0
H0 : π = π0
H0 : π = π0
H1 : π ≠ π0
H1 : π > π0
H1 : π < π0
Per n grande la statistica test sotto H0
X − π0
è una normale standardizzata Z =
(in tal caso
la media campionaria=proporzione campionaria)
π 0 (1 − π 0 )
n
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
41
Esempio: test bilaterale
sulla proporzione
Si sono effettuati 1000 lanci di una moneta
e si è ottenuto 498 volte testa
Decidere se la moneta è truccata oppure no
ad un livello di significatività pari a 1%
H0 : π = 0,5
H1 : π ≠ 0,5
z=
0,498 − 0,5
= 0,0158
0,5(1 − 0,5)
1000
Si può concludere che ad un livello di
significatività del 1% la moneta non
sia truccata
α/2=0,5%
-2,58
α/2=0,5%
0
+2,58
z=0,0158
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
42
Esempio: test unilaterale sulla
proporzione
Un’industria farmaceutica asserisce che un
farmaco è efficace nel 95% dei casi
Su un campione di 300 persone il farmaco è
stato efficace su 230 unità
Si può concludere ad un livello di
significatività del 5% che l’affermazione sia
legittima?
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
43
Esempio: test unilaterale sulla
proporzione
H0 : π = 0,95
H1 : π < 0,95
230
= 0,76
300
0 ,76 − 0 ,95
= − 14 ,3
0 ,95 (1 − 0 ,95 )
300
x=
z
α=5%
-1,64
0
z
z=-14,3
Poiché -14,3 < -1,64 si rifiuta l’ipotesi nulla ad un livello di
significatività del 5%
i dati campionari smentiscono l’affermazione dell’industria
La proporzione di pazienti sui quali il farmaco è efficace è
significativamente inferiore al 95%
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
44
44
Tipi di errore e potenza dei test
Costruire un test significa individuare una partizione
dello spazio campionario Ω in due sottoinsiemi Ω A e Ω B
complementari e disgiunti; il primo viene chiamato zona
di accettazione e il secondo zona di rifiuto. Il sottospazio
Ω A contiene i campioni per i quali si accetta H 0 , mentre
il sottospazio Ω B contiene i campioni per i quali H 0 è
rifiutata a favore dell’alternativa H1 .
La verifica dell’ipotesi H 0 è un problema di decisione in
condizioni di incertezza e gli errori che si possono commettere sono di due tipi.
45
1. Se si rifiuta H 0 quando è vera si commette un
errore di primo tipo.
2. Se si accetta H 0 quando è falsa, si commette un
errore di secondo tipo.
La probabilità di commettere un errore di primo tipo
viene indicata con α ; la probabilità di commettere un
errore di secondo tipo viene indicata con β .
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
46
Decisione corretta ed errori
Decisione
Situazione effettiva
Accetto H0
H0 vera Decisione corretta
H0 falsa
Rifiuto H0
Errore I tipo
Prob (decisione
corretta)=1- α
Prob (errore I
Tipo)=α
Errore II tipo
Decisione corretta
Prob (errore II
Tipo)= β
Prob (decisione
corretta)=1- β
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
47
Tipi di errore: definizione
Errore di I tipo : si rifiuta H0 ma l’ipotesi
nulla è vera. La probabilità di commettere
un errore di primo tipo è uguale a α
P(rifiutare H 0 | H 0 vera) = α
rappresenta l’ampiezza della regione di
rifiuto. α è chiamato “livello di significatività”
Errore di II tipo: si accetta H0 ma l’ipotesi
nulla è falsa. La probabilità di commettere
un errore di secondo tipo è uguale a β
P(accettare H 0 | H 0 falsa) = β
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
48
Esempi.
1. Nel giudicare un imputato, un giudice può commettere
due tipi di errore. L’ipotesi da verificare è che la persona
sia non colpevole, contro l’alternativa che sia colpevole.
Se il giudice dichiara colpevole un innocente, commette
un errore di primo tipo (respinge H 0 quando è vera).
Se, invece, assolve un colpevole (accetta H 0 quando è
falsa) commette un errore di secondo tipo.
Le attuali giurisdizioni non attribuiscono lo stesso costo
ai due tipi di errore, valutando l’assoluzione di un
colpevole meno grave della condanna di un innocente.
Per minimizzare l’errore di primo tipo (condanna di un
innocente),il giudice adotterà criteri prudenziali che inevitabilmente aumenteranno la probabilità di commettere
un errore di secondo tipo (assoluzione di un colpevole).
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
49
2. Nelle sperimentazioni su nuovi farmaci l’ipotesi H 0 è:
“il nuovo farmaco è equivalente a quello attualmente in
uso”, contro l’ipotesi alternativa H1 “il nuovo farmaco è
più efficace”.
Gli errori possibili sono:
- di primo tipo, se si rifiuta a torto H 0 accogliendo
l’ipotesi che il nuovo farmaco sia più efficace;
- di secondo tipo, se si mantiene erroneamente il vecchio farmaco, quando quello nuovo è migliore.
Generalmente si procede con cautela, per cui, a parità
di altre circostanze, anche in questo caso l’errore di
1° tipo viene considerato più grave di quello di 2° tipo.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
50
Potenza del test
La quantità γ (H1)= 1- β rappresenta la
probabilità di rifiutare l’ipotesi nulla quando
questa è falsa e viene detta potenza del test
relativamente all’ipotesi H1
Al variare di H1 la γ (H1) assumerà il carattere
di funzione, e viene detta funzione potenza del
test
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
51
Errore di I e II tipo e Potenza del test (caso
ipotesi semplice)
T stimatore corretto di θ
H1 : θ = θ1
H 0 :θ = θ0
P ( rifiutare H0 | H 0 vera) = α
errore I tipo
P(accettare H0 | H0 falsa) = β
errore II tipo
P ( rifiutare H0 | H 0 falsa) = 1 − β
potenza del test
T | H 0 vera
T | H 0 falsa
θ0
Area di accettazione di H0
θ1
Area di rifiuto di H0
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
52
I rischi del processo decisionale e
la costruzione di un test
Per la verifica di una ipotesi sulla base di un
campione di numerosità fissata pari a n, non è
possibile minimizzare
contemporaneamente i due tipi di errore.
Si dovrà quindi operare in modo diverso;
infatti,
la
procedura
che
si
segue
generalmente è quella di fissare la misura
della probabilità di commettere un errore di
primo tipo (si stabilisce cioè il livello di
significatività α) e nell'individuare poi il test
che minimizza la probabilità di commettere
un errore di II tipo
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
53
I rischi del processo decisionale e
la costruzione di un test
In altre parole, fissato il livello di significatività α , si
cerca il test più potente, ossia, quello che ha il valore
di γ ( H1 ) più elevato
Si è già detto come la costruzione di un test si riduce
in effetti alla bipartizione dello spazio dei campioni in
due sottospazi di accettazione e di rifiuto.
Il miglior test per sottoporre a verifica un'ipotesi H0
sia quello che individua la migliore regione critica
R
Un famoso teorema (Neyman Pearson) attesta che
esiste, ed è sempre possibile individuare, la migliore
regione critica (nel caso di ipotesi semplici).
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
54
I rischi del processo decisionale e
la costruzione di un test
Si sceglie di fissare α ad un livello basso come il
rischio che si è disposti a tollerare (in genere 0,01 ;
0,05; 0,10)
Se si ritengono gravi le conseguenze di commettere
un errore di I specie, fisseremo un α piccolo (ad
esempio 0,01 invece di 0,05)
Ma quanto più piccolo è α, tanto più grande è β
Quando risulta prioritario contenere l’errore di II
specie, si può fissare α pari a 0,05 o a 0,10 piuttosto
che 0,01
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
55
I rischi del processo decisionale e
la costruzione di un test
Esempio: processo di produzione di scatole
regalo.
Il processo si considera sottocontrollo se la
lunghezza media di tali scatole è di 10 cm
(ipotesi nulla H0).
L’errore di I tipo consiste nel concludere che il
processo non è sottocontrollo quando invece lo
è (ovvero affermiamo che la lunghezza media è
variata quando invece è sempre di 10 cm).
L’errore di II tipo consiste nel concludere che il
processo è sotto controllo quando invece la
media delle lunghezze è variata realmente.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
56
I rischi del processo decisionale e
la costruzione di un test
La scelta del livello di significatività α dipende
dai costi che ciascuno dei due errori comporta.
Se costa tanto il cambiamento del processo
produttivo si dovrebbe essere molto certi della
sua necessità.
In tal caso l’errore di I specie è quello più grave
e dovrà essere il più piccolo possibile.
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
57
Passi per la verifica di ipotesi
1. Definizione del sistema di ipotesi
2. Scelta della statistica test
3. Scelta del livello α di significatività del test
e della numerosità campionaria n
4. Definizione della regione di rifiuto
5. Estrazione del campione
6. Calcolo del valore della statistica test sulla
base dei dati campionari
7. Si prende la decisione
Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti
58