14-Introduzione all`analisi della potenza statistica

Elementi di Psicometria con Laboratorio di SPSS 1
14-Introduzione all’analisi della potenza statistica
(vers. 1.2a, 11 dicembre 2015)
Germano Rossi1
[email protected]
1
Dipartimento di Psicologia, Università di Milano-Bicocca
2015-16
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
1 / 25
Analisi della potenza
È il capitolo 14 del libro di testo
Studiare fino a p.265
Leggere a p. 265 “La verifica d’ipotesi sulla media di una
popolazione”
Saltare “proporzione” a p. 270, “correlazione” a p.272
Leggere “differenza fra le medie” a p. 273, “medie appaiate” a
p.278, “come stimare” a p.279
Leggere “interpretazione” a p. 281
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
2 / 25
Introduzione
Ogni volta che si inizia a fare una ricerca ci si trova ad affrontare
diversi problemi: uno di questi è l’ampiezza del campione
Devo raccogliere almeno 100 soggetti? o ne bastano 30?
La ragione di questa domanda è duplice
Più piccolo è il campione, meno tempo (e fatica) è necessario per
raccogliere i dati
Più grande è il campione, più probabilità abbiamo di ottenere
risultati significativi
A questa domanda ci sono diverse risposte comuni (si ricordi che
la statistica ipotizza un campione casuale)
1
2
3
Almeno 30 per ogni gruppo formato dalle variabili indipendenti
Un campione il più grande possibile
Non si sa esattamente quanto dev’essere grande
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
3 / 25
Grandezza di un campione
La prima risposta fa riferimento alla teoria campionaria, per cui
con campioni di 30 o più osservazioni, la distribuzione
campionaria tende a distribuirsi normalmente anche se la
variabile non è normale
La seconda risposta dipende dall’idea che se il campione è molto
grande sia più facile trovare un risultato significativo
L’ultima risposta non è accettabile, salvo:
quando non si conosce assolutamente nulla sull’argomento di
ricerca
2 si hanno molte variabili indipendenti e molte dipendenti
3 si è interessati più ad una ricerca esplorativa che ad una ricerca
inferenziale vera e propria
1
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
4 / 25
Grandezza di un campione
La grandezza del campione dovrebbe quella che permette di
rispondere alle ipotesi di ricerca, considerando che:
il risultato dipende dalla dimensione dell’effetto che si studia (un
effetto “grande” verrà rilevato anche con poche osservazioni,
mentre uno “piccolo” necessita di più casi)
dal rischio di sbagliare la nostra decisione (cioè dall’errore di I e di
II tipo che utilizziamo); un α elevato produrrà più rifiuti di H0 e uno
più piccolo più rifiuti di H1
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
5 / 25
Relazioni fra errori e ipotesi
Risultato
ricerca
Accetto H0 ; rifiuto H1
Rifiuto H0 ; accetto H1
Realtà
H0 - Vera
H0 - Falsa
H1 - Falsa
H1 - Vera
Corretta
Errore II tipo
1−α
β
Errore I tipo
Corretta
α
1−β
Se α è la probabilità di rifiutare H0 quando è vera, 1 − α sarà la
probabilità di accettare H0 quando è vera
Analogamente se β è la probabilità di accettare H0 quando è falsa,
1 − β sarà la probabilità di rifiutare H0 quando è falsa
1 − β è chiamata potenza di un test e corrisponde alla probabilità di
rilevare una relazione veramente esistente nella realtà
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
6 / 25
Analisi della potenza
La potenza statistica di un test è la sua capacità di rifiutare un
ipotesi nulla falsa, perché noi, in genere, verifichiamo un’ipotesi
nulla rispetto ad una “gamma” di ipotesi alternative (ad es.
H1 : µ1 6= µ2 )
Come ricercatori, facciamo molti sforzi per organizzare e fare una
ricerca che ci dia conoscenze “sicure” e “affidabili”. Ma i nostri
sforzi sono vani se non riusciamo a trovare i risultati che ci
aspettiamo, o meglio, se non riusciamo a falsificare con maggior
sicurezza la nostra ipotesi.
Per molti anni, i ricercatori si sono focalizzati sul rischio di rifiutare
H0 quando è vera (atteggiamento conservatore)
Di recente ha acquisito importanza anche l’errore opposto.
Riassumiamo un momento le procedure di verifica d’ipotesi
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
7 / 25
Verifica d’ipotesi
All’inizio di una ricerca, partiamo generalmente da un’ipotesi che
è espressa a parole. Ad es. “A causa delle nuove tecnologie di
comunicazione veloce (e-mail, sms, chat, cellulari) gli studenti
passano meno tempo a stabilire relazioni personali dirette fra di
loro”.
Siccome qualcuno ha raccolto dati sul tempo trascorso in relazioni
personali negli anni precedenti (M=6 ore alla settimana; s=2),
posso raccogliere un nuovo campione da confrontare con il
precedente
Possiamo trasformare la nostra ipotesi verbale in ipotesi statistica:
H0 : µ = 6.0
H1 : µ < 6.0
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
8 / 25
Verifica d’ipotesi
Ricordiamo che noi verifichiamo l’ipotesi nulla confrontandola con
un’ipotesi alternativa.
L’ipotesi nulla è ciò che è noto o che si assume in base alla teoria
o alle ricerche precedenti.
Nel nostro esempio, la ricerca precedente, ci ha detto che gli
studenti universitari hanno speso circa 6 ore della settimana in
contatti faccia-a-faccia (più o meno 2 ore).
Così, la nostra ipotesi è che µ = 6.0.
L’errore α ci protegge dal prendere una decisione errata basata su
un campione “particolarmente anomalo” estratto dalla
popolazione corretta
La potenza di un test (1 − β) ci dice la probabilità di aver accettato
correttamente l’ipotesi alternativa
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
9 / 25
Concetti chiave della potenza
Ricordiamo che la potenza statistica di un test è la sua capacità di
rifiutare un ipotesi nulla falsa e che è legata al test statistico usato.
Ci sono 3 variabili legate alla potenza di un test:
1
Il livello di significatività cioè α:
più è severo (vicino a 0), più è difficile rifiutare l’ipotesi nulla (anche
quando è falsa).
all’aumentare di α aumenta la potenza del test. Tuttavia non
possiamo usare α molto grandi
un buon criterio (non troppo basso, né troppo alto) è α = 0.05 (per
ricerche esplorative possiamo usare valori leggermente maggiori)
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
10 / 25
Concetti chiave della potenza
2
L’ampiezza del campione cioè N
quando un campione è grande, è meno probabile fare errori di
campionamento
e trovare dati che portino a stime inaffidabili dei parametri della
popolazione.
L’errore standard è sempre basato su N e diminuisce all’aumentare
di N .
Quindi all’aumentare di N , aumenta la potenza
3
La dimensione dell’effetto nella popolazione cioè d o r;
la dimensione dell’effetto è misurabile in modo “grezzo” (la d o g
del t-test)
o in modo “standardizzato” (la φ del chi-quadro), cioè tramite una
correlazione
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
11 / 25
Concetti chiave della potenza
3
La dimensione dell’effetto nella popolazione cioè d o r;
ovvero quanto grande è il risultato che abbiamo ottenuto;
ricordiamo che d o r ha senso solo se H0 è falsa;
quindi possiamo considerare d o r come una misura di quanto è
falsa l’ipotesi nulla;
tanto più d o r è grande, tanto più H0 è falsa, tanto più aumenta la
potenza
4
Possiamo considerare la potenza statistica (cioè 1 − β) come un
quarto elemento
Essendo legati fra loro matematicamente; si può calcolare il
valore del quarto conoscendo il valore degli altri tre
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
12 / 25
Concetti chiave della potenza
Potenza (1 − β)
aumenta diminuisce
Riassumendo:
quando α
quando N
quando d o r
aumenta
aumenta
aumenta
diminuisce
diminuisce
diminuisce
La formula che lega i quattro indici è abbastanza complessa
per cui sono state predisposte delle tavole (Tavola D a p. 476) che
utilizzano α e una combinazione di d ed N chiamata δ:
δ = df (N )
dove f () indica “funzione di”
ed esistono dei software appositi (ad es. G*Power,
http://www.gpower.hhu.de/en.html che è free)
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
13 / 25
Uso dell’analisi di potenza
L’analisi di potenza viene usata, generalmente, per due obiettivi
1
a posteriori per determinare la potenza di un test: dal momento
che la ricerca viene effettuata su un certo campione (di ampiezza
N) e usando un certo livello α, e dai risultati ottenuti possiamo
calcolare d, ne consegue la possibilità di stimare la potenza di un
test, cioè la probabilità di aver fatto la scelta giusta;
2
a priori per determinare la numerosità del campione: se
vogliamo fare una ricerca che abbia una determinata potenza,
una volta stabilito un determinato α e ipotizzato un determinato d,
quale dev’essere l’ampiezza del campione?
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
14 / 25
Calcolare la potenza a priori
Ipotizziamo di voler fare una ricerca su un campione patologico
(ad es. pazienti di un servizio mentale)
Possiamo fare una ricerca veloce (in termini di tempo) su un
piccolo campione
oppure una ricerca che duri più tempo per poter raccogliere un
campione più grande
certamente non vogliamo fare una ricerca che non abbia
abbastanza “potenza” e che possa essere criticata
Decidiamo quindi una potenza minima che vogliamo raggiungere,
un effect size che ci aspettiamo e calcoliamo quanto dev’essere
ampio il campione da raccogliere.
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
15 / 25
Calcolare la potenza a posteriori
Abbiamo raccolto un certo campione su cui abbiamo misurato una certa
variabile
Abbiamo stabilito un livello α = .05
L’analisi dei dati, ci ha fornito i valori da utilizzare per il calcolo dell’effect
size
A questo punto abbiamo due strade (sia per l’approccio a priori sia per
quello a posteriori):
1
fare un calcolo a mano e usare le tavole (slide ??)
in questo caso ci serve solo di sapere qual è la funzione da applicare
ad N per trovare δ, e poi cercare il valore corrispondente alla potenza
sulla tavola D o E del libro
La funzione f (N ) cambia in base alla tecnica statistica utilizzata
2
usare il software G*Power (slide 21)
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
16 / 25
Potenza per la Media di una popolazione (a mano)
La funzione è f (N ) =
√
N
l’ipotesi alternativa coincide con il valore della media del campione
calcoliamo
troviamo δ = d ×
d = (µ1 − µ0 )/σ
√
N
Ipotizziamo di conoscere µ e σ della popolazione: µ = 84 e σ = 12; di aver
calcolato i seguenti valori su un campione di N = 60: M = 76.92; s = 15.05.
Le nostre ipotesi saranno: H0 : µ = 84
H1 : µ 6= 76, 92
√
d = (84 − 76, 92)/12 = 0.59
δ = 0.59 60 = 4.570
Se cerchiamo sulla tavola D un δ = 4.57 (4.5) troviamo una potenza statistica
di 0.99 Per α = .05 bidirezionale
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
17 / 25
Potenza per la Differenza delle medie (a mano)
r
n
2
Se N1 = N2 , allora n = N1
La funzione è f (N ) =
Se N1 6= N2 , allora
n=
2 × N1 × N2
N1 + N2
l’ipotesi alternativa coincide con il valore della media del campione
usiamo l’effect size di t (cioè g)
troviamo
r
δ=g
G. Rossi (Dip. Psicologia)
ElemPsico
n
2
2015-16
18 / 25
Differenza delle medie (a mano)
Facciamo riferimento alle slide 19-20 del cap. 11 per la variabile
Estr_pers
Avevamo: N=158 maschi e N=181 femmine, con t = −3.940
Calcoliamo l’effect size
r
r
N1 + N2
158 + 181
= 3.94
= 0.4289713
g=t
N1 × N2
158 × 181
quindi
n=
troviamo
2 × 158 × 181
= 168.7198
158 + 181
r
r
n
168.7198
δ=d
= 0.4289713
= 3.94
2
2
Dalla Tavola D, troviamo un potenza di 0.97
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
19 / 25
Stimare la numerosità (a mano)
per la differenza di due medie (campioni indipendenti) la funzione
da usare è:
2
δ
n=2
d
sulla Tavola E (p. 477), per un test a due code con α = 0.05 e una
potenza statistica di 0.90, δ = 3.24
Facciamo ancora riferimento alle slide 19-20 del cap. 11 per la
variabile Estr_pers
Vorremmo ottenere un d = .50 e perciò
n=2
3.24
.50
2
= 84
corrispondente ad un campione totale di 168
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
20 / 25
Calcolare la potenza di un test con G*Power
Facciamo riferimento alle slide 19-20 del cap. 11 per la variabile
Estr_pers
Avevamo: N=158 maschi e N=181 femmine, con t = −3.940
Abbiamo stabilito un livello α = .05, e calcoliamo l’effect size
r
r
N1 + N2
158 + 181
g=t
= 3.94
= 0.4289713
N1 × N2
158 × 181
In G*Power, scegliamo Test family = t-tests, Statistical test =
Means: Difference between two independent means (two
groups), Type of power analysis = post hoc: Compute
achieved power
Inseriamo in Effect size d = .43, in α err prob 0.05, in Sample
size group 1 158 e in Sample size group 2 181
Clicchiamo Calculate
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
21 / 25
Videata con G*Power
La potenza è 0.967
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
22 / 25
Numerosità del campione con G*Power
In G*Power, scegliamo Test family = t-tests, Statistical test = Means:
Difference between two independent means (two groups), Type
of power analysis = A priori: ...
Inseriamo Effect size d = .50, α err prob = 0.05, Power = .60, Allocation
ratio N2/N1 = 1
Clicchiamo Calculate: ci servono due campioni di 41 casi ciascuno
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
23 / 25
Numerosità del campione con G*Power
Cambiando ratio N2/N1, indichiamo di voler/poter usare campioni di diversa
numerosità
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
24 / 25
Interpretazione
Un risultato non significativo non è necessariamente vero: se
accettiamo per vera H0 , questo non significa che sia “realmente”
vera. Se la potenza di un esperimento è bassa (ad es. .50), beta
sarà alto (1 − .50 = .50); quindi avremo il 95% di probabilità
(1 − .05) che H0 sia vera, ma il 50% che sia falsa
Significatività con piccoli campioni: Nel caso del test t, t è
parte di g; se t è molto alto, anche g lo sarà, se g è alto anche la
potenza sarà alta (e beta sarà basso). Quindi un risultato t molto
alto è molto più importante se ottenuto su piccoli campioni che su
grandi campioni.
Grandi campioni e significatività: con grandi campioni è più
facile ottenere un t grande e quindi significativo; bisogna quindi
considerare d (o g) per sapere l’effettiva sicurezza da dare al
risultato raggiunto
G. Rossi (Dip. Psicologia)
ElemPsico
2015-16
25 / 25