Analisi delle medie (post ANOVA)
AMD
Marcello Gallucci
[email protected]
Lezione: 9
Problema
Se il test F è significativo, concludiamo che esiste una differenza fra le
medie dei gruppi
Ciò vuol dire che almeno due medie sono differenti, ma non
necessariamente che tutte le medie sono differenti
Chiameremo questo effetto Effetto principale (main effect)
Ci manca di sapere dove esattamente sono queste differenze
Disegni Fattoriali
Nelle maggior parte delle applicazioni di ricerca, il disegno di
ricerca prevede piu’ variabili indipendenti incrociate
Disegno fattoriale 3 (livello di stress) X 2 (genere)
Genere
Maschi
Femmine
Variabile
Controllo
G1
G2
Sperimentale
Stress Emotivo
G3
G4
Stress Cognitivo
G5
G6
Nei disegni fattoriali ogni gruppo di partecipanti
rappresenta una combinazioni di livelli delle
variabili indipendenti
Soluzione
Analisi dei contrasti
• Se abbiamo ipotesi specifiche da testare riguardanti gruppi di medie
Test post-hoc
• Se volgiamo confrontare tutte le medie con tutte le altre
Metodo dei contrasti
(trend analysis ed altro)
Medie
Guardo i dati: guardando il grafico delle medie, capisco casa accade
alla proporzione di errori per i diversi
carichi
Quali medie
sonocognitivi
diverse fra loro?
Come cambiano le medie all’aumentare del carico
Livello di
stress
cognitivo
Contrasti
Consideriamo l’effetto principale di condizione
Controllo è diverso da Emotivo?
Contrasti
Consideriamo l’effetto principale di condizione
Controllo è diverso da stress (Emotivo e
Cognitivo)?
Costruire un contrasto
Un contrasto è un set di coefficienti (pesi) che specificano un’ipotesi nulla
che volgiamo rifiutare
Controllo è diverso da Emotivo?
Controllo è diverso da stress (Emotivo e Cognitivo)?
1)
2)
Scriviamo tale relazione in modo tale che se le medie fossero tutte uguali
(l’ipotesi nulla), la somma delle medie sarebbe zero.
CONT −EMOT =0
EMOT + COGN
CONT −
=0
2
I coefficienti dei contrasti sono semplicemente i numeri che moltiplicano le medie
nella nostra ipotesi
Cont1
CONT
EMOT
COGN
1
-1
0
Cont2
CONT
EMOT
COGN
1
-1/2
-1/2
Contrasti in generale
In generale possiamo usare qualunque peso purchè descriva
un’ipostesi nulla
2
1.5
1
L= (−3 −1 0 1 3 )
0.5
0
-0.5
White Green
Red
Yellow
Blue
Linear
C
C=( −1 −1 0 1 1 )
-1
-1.5
-2
I pesi sommano sempre a zero
Contrasti Polinomiali
I contrasti polinomiali sono un set di pesi noto in quanto
sono ortogonali fra loro e studiano il trend delle medie
3
L= (−3 −1 1 3 )
2
Q=(−1 1 1 −1 )
1
0
C=( −1 1 −1 1 )
-1
-2
-3
White
Green
Red
Yellow
Linear
Quadratic
Cubic
Contrasti Polinomiali
Cioè ogni polinomio (contrast risponde ad una domanda)
3
L= (−3 −1 1 3 )
2
Q=(−1 1 1 −1 )
1
0
C=( −1 1 −1 1 )
-1
-2
-3
ieri
oggi
domani
dopo
Contrasti Polinomiali
Cioè ogni polinomio (contrast risponde ad uan domanda)
Lineare
3
L= (−3 −1 1 3 )
2
Q=(−1 1 1 −1 )
1
0
C=( −1 1 −1 1 )
-1
-2
-3
ieri
oggi
domani
dopo
C’è una tendenza nel trend a salire?
Contrasti Polinomiali
Cioè ogni polinomio (contrast risponde ad uan domanda)
3
Quadratico
L= (−3 −1 1 3 )
2
Q=(−1 1 1 −1 )
1
0
C=( −1 1 −1 1 )
-1
-2
-3
ieri
oggi
domani
dopo
C’è una tendenza nel trend ad
incurvarsi?
Contrasti Polinomiali
Cioè ogni polinomio (contrast risponde ad uan domanda)
3
L= (−3 −1 1 3 )
2
Q=(−1 1 1 −1 )
Cubico
1
0
C=( −1 1 −1 1 )
-1
-2
-3
ieri
oggi
domani
dopo
C’è una tendenza nel trend ad
incurvarsi in direzioni diverse?
Contrasti Polinomiali
L’insieme dei contrasti spiega (per quanto possibile nei dati) il trend
osservato nei dati
3
L= (−3 −1 1 3 )
2
1
Q=(−1 1 1 −1 )
0
C=( −1 1 −1 1 )
-1
-2
-3
ieri
oggi
domani
dopo
Effect sizes
Varianza
Within
Y
C
Y
Contrasto
Effetto
Principale
Varianza
B
Eta-quadro
Prendiamo la Fcontrast=
MS contrast
MS within
Interpretazione:
C
La varianza spiegata dal
contrasto dopo aver eliminato
Y
tutta la varianza spiegata dal
resto del modello
effect size=Eta quadro
r
2
contrast
=
F contrast
F contrast + df within
= pr 2 = pη 2
Contrasti ortogonali
Si preferisce utilizzare contrasti ortogonali fra loro (non correlati)
Il test dell’ipotesi inerente al contrasto non influenza il
test degli altri contrasti
Non c’è sovrapposizione di varianza con altri contrasti
Il pattern di medie viene decomposto in maniera chiara
Contrasti ortogonali
Due contrasti sono ortogonali se la somma dei prodotti dei loro pesi è
zero
Ortogonali
Gruppo
Linear
1
2
3
4
Quadro
-3
-1
1
3
prodotto
-1
1
1
-1
somma
3
-1
1
-3
0
Non ortogonali
Gruppo
Linear
1
2
3
4
Nuovo
-3
-1
1
3
prodotto
0
-2
1
1
somma
0
2
1
3
6
Contrasti ortogonali
L’idea che si possano stimare solo contrasti ortogonali è sbagliata
I contrasti ortogonali sono più comodi da interpretare
Ma qualunque set di contrasti che esauriscono i gradi di
libertà dell’effetto pricipale sono stimabili
Purchè siano fra loro non correlati 1
E la somma dei pesi sia 0 in ogni contrasto
Esempio dati
Disegno di ricerca: Abbiamo un esperimento in cui un tre set di parole
vengono somministrate ad un campione in sequenza (1 2 3 e 4) sotto
nel tempo. Si vuole stabilire se vi sia un peggioramento della
performance mnemonica (misurata in proporzione di errori)
Esempio
Risultati: Abbiamo un effetto significativo del fattore tempo, ora
vogliamo stabilire la forma dell’andamento delle medie nel tempo
Esempio
SPSS default: SPSS fornisce automaticamente i contrasti polinomiali
Come li interpretiamo
Esempio
SPSS default: SPSS fornisce automaticamente i contrasti polinomiali
Se il trend lineare è significativo, le medie
tendono ad aumentare (diminuire nel
tempo)
Esempio
SPSS default: SPSS fornisce automaticamente i contrasti polinomiali
Se il trend quadratico è significativo, le
medie tendono ad aumentare prima e
diminuire dopo
Esempio
SPSS default: SPSS fornisce automaticamente i contrasti polinomiali
Se il trend cubico è significativo, il grafico
delle medie contiene una parte a forma di S
Interpretazione alternativa
Ricordando i persi:
L= (−3 −1 1 3 )
Q=(−1 1 1 −1 )
C=( −1 1 −1 1 )
I contrasti si possono anche interpretare
non in base al tempo, ma in base alle
misure confrontate
Interpretazione alternativa
Ricordando i persi:
Lineare
I contrasti si possono anche interpretare
non in base al tempo, ma in base alle
misure confrontate
L= (−3 −1 1 3 )
In media, abbiamo che per ogni tempo in
più le medie aumentano?
Interpretazione alternativa
Ricordando i persi:
Quadratico
I contrasti si possono anche interpretare
non in base al tempo, ma in base alle
misure confrontate
Q=(−1 1 1 −1 )
In media, le medie T1+T4 sono diverse da
T2+T3
Interpretazione alternativa
Ricordando i persi:
Cubico
I contrasti si possono anche interpretare
non in base al tempo, ma in base alle
misure confrontate
Q 1 1 1 1
In media, le medie T1+T3 sono diverse da
T2+T4
Test post hoc
Esempio
Consideriamo il seguente esperimento: Abbiamo preparato una campagna
pubblicitaria utilizzando due testimonial: Un presentatore ed una soubrette.
Abbiamo mostrato gli spot con uno dei due testimonial o senza testimonial a tre
campioni di 30 tester (soggetti). Vogliamo stabilire se il gradimento del prodotto
sia diverso a seconda dei testimonial, e se i due testimonial hanno avuto lo stesso
Testimonial
impatto
Validi
Gradimento misurato con
una scala da 1 a 5
Nessuno
Conduttore
Soubrette
Totale
Statistiche descrittive
N
gradimento
Validi (listwise)
90
90
Minimo
1,00
Massimo
4,00
Media
2,2556
Deviazione
std.
,90642
Frequenza
30
30
30
90
Percentuale
33,3
33,3
33,3
100,0
Percentuale
valida
33,3
33,3
33,3
100,0
Percentuale
cumulata
33,3
66,7
100,0
Esempio: Risultati
Vogliamo stabilire se il gradimento del prodotto sia diverso per
soggetti che sono stati esposti a diversi testimonial o nessun testimonial
Risultati
3,00
2,50
gradimento
Testimonial
Nessuno
Conduttore
Soubrette
Totale
Media
1,9333
2,5333
2,3000
2,2556
N
30
30
30
90
Deviazione
std.
,90719
,89955
,83666
,90642
Media gradimento
Report
2,00
1,50
1,00
0,50
Vogliamo stabilire se c’è
un effetto testimonial
0,00
Nessuno
Conduttore
Testimonial
Soubrette
Esempio: ANOVA
Conduciamo una ANOVA con gradimento come VD e campagna
(1=nessun testimonial, 2=conduttore, 3=soubrette) come VI
Test degli effetti fra soggetti
Variabile dipendente: gradimento
df
2
1
2
87
90
89
Media dei
quadrati
2,744
457,878
2,744
,777
F
3,530
588,990
3,530
Sig. 2,50
,034
,000
2,00
,034
a. R quadrato = ,075 (R quadrato corretto = ,054)
Troviamo un effetto principale significativo
di “campagna”, dunque c’è stato un
effetto
Media gradimento
Sorgente
Modello corretto
Intercetta
campagna
Errore
Totale
Totale corretto
Somma dei
quadrati
Tipo III
5,489a
457,878
5,489
67,633
531,000
73,122
3,00
1,50
1,00
0,50
0,00
Nessuno
Conduttore
Testimonial
Soubrette
Esempio: ANOVA
Conduciamo una ANOVA con gradimento come VD e campagna
(1=nessun testimonial, 2=conduttore, 3=soubrette) come VI
3,00
conduttore e soubrette
sono differenti?
Media gradimento
2,50
2,00
1,50
1,00
Ispezionando le medie notiamo che
conduttore e soubrette sembrano aver
alzato il gradimento
0,50
0,00
Nessuno
Conduttore
Soubrette
Testimonial
soubrette è differente da
nessun testimonial?
Confronti a due a due
Per rispondere a queste domande, dobbiamo confrontare le
medie a due a due, e verificare quali sono le medie
significativamente diverse
3,00
conduttore e soubrette
sono differenti?
Media gradimento
2,50
2,00
1,50
1,00
Ispezionando le medie notiamo che
conduttore e soubrette sembrano aver
alzato il gradimento
0,50
0,00
Nessuno
Conduttore
Soubrette
Testimonial
soubrette è differente da
nessun testimonial?
Confronti Post-Hoc
I confronti post-hoc (a posteriori) servono a trovare le differenze tra i
gruppi, presi a due a due.
Ipotesi nulla ANOVA
3,00
H 0 : μ1 =μ 2=μ 3
H 01 : μ1 =μ 2
H 02 : μ1 =μ3
H 03 : μ 2=μ 3
Media gradimento
Ipotesi nulle Post-Hoc
2,50
2,00
H02
1,50
1,00
H01
0,50
H03
0,00
Nessuno
Conduttore
Testimonial
Scriviamo le medie come (mu) in quanto l’ipotesi riguarda la popolazione
Soubrette
Confronti Post-Hoc: SPSS
Esistono decine di confronti post-hoc!!!
Clicco qui
Finestra ANOVA
Tutti, in una maniera o in un’altra, cercano di
testare le differenze tra le medie a due a due
Noi usiamo “Tukey” e “REGWG”
Finestra Post-Hoc
Confronti Post-Hoc: Output
A seconda del confronto post-hoc, otteniamo due tipi di
Confronti multipli
output
Confronti multipli
Variabile dipendente: gradimento
HSD di Tukey
(I) Testimonial
Nessuno
Conduttore
Soubrette
gradimento
HSD di Tukeya,b
Ryan-Einot-Gabrielb
Welsch (Intervallo)
Testimonial
Nessuno
Soubrette
Conduttore
Sig.
Nessuno
Soubrette
Conduttore
Sig.
Differenza fra
medie (I-J)
Errore std.
-,6000*
,22765
-,3667
,22765
,6000*
,22765
,2333
,22765
,3667
,22765
-,2333
,22765
Basato sulle medie osservate.
N
30
30
30
30
30
30
*. La differenza fra medie è significativa al livello ,05.
Sottoinsieme
1
2
1,9333
2,3000
2,3000
2,5333
,247
,563
1,9333
2,3000
2,3000
2,5333
,111
,308
Sono visualizzate le medie per i gruppi di sottoinsiemi omogenei.
Basato sulla somma dei quadrati Tipo III
Il termine di errore è Media dei quadrati(Errore) = ,777.
a. Utilizza dimensione campionaria media armonica = 30,000
b. Alfa = ,05
(J) Testimonial
Conduttore
Soubrette
Nessuno
Soubrette
Nessuno
Conduttore
Sottoinsiemi Omogenei
Sig.
,027
,247
,027
,563
,247
,563
Intervallo di confidenza
95%
Limite
Limite
inferiore
superiore
-1,1428
-,0572
-,9095
,1762
,0572
1,1428
-,3095
,7762
-,1762
,9095
-,7762
,3095
Confronti Post-Hoc: Confronti multipli
Nei confronti multipli ogni gruppo è testato per le
differenze con ogni altro
Confronti multipli
Significatività
Nessuno è differente da
conduttore?
Significatività
Soubrette è diversa da
conduttore?
Confronti Post-Hoc: Sottoinsiemi Omogenei
I sottoinsiemi omogenei ci indicano quali gruppi hanno
medie non statisticamente differenti
Sottoinsiemi Omogenei
Nessuno e soubrette non
sono differenti
Soubrette e conduttore
non sono differenti
Confronti Post-Hoc: Output
Entrambi gli output ci indicano che l’effetto principale di “campagna”
è dovuto alle differenze tra i gruppi con Conduttore e Nessun testimonial,
mentre l’effetto della Soubrette non sembra essere significativamente
diverso dagli altri
Confronti multipli
Variabile dipendente: gradimento
HSD di Tukey
(I) Testimonial
Nessuno
Conduttore
Soubrette
(J) Testimonial
Conduttore
Soubrette
Nessuno
Soubrette
Nessuno
Conduttore
Differenza fra
medie (I-J)
Errore std.
-,6000*
,22765
-,3667
,22765
,6000*
,22765
,2333
,22765
,3667
,22765
-,2333
,22765
Basato sulle medie osservate.
*. La differenza fra medie è significativa al livello ,05.
Sig.
,027
,247
,027
HSD
di
,563
,247
,563
Intervallo di confidenza
95%
Limite
Limite
gradimento
inferiore
superiore
-1,1428
-,0572
-,9095
,1762
Testimonial
N
,0572
1,1428
a,b
Tukey
Nessuno
-,3095
,7762
Soubrette
-,1762
,9095
Conduttore
-,7762
,3095
Ryan-Einot-Gabrielb
Welsch (Intervallo)
Sig.
Nessuno
Soubrette
Conduttore
Sig.
30
30
30
30
30
30
Sottoinsieme
1
2
1,9333
2,3000
2,3000
2,5333
,247
,563
1,9333
2,3000
2,3000
2,5333
,111
,308
Sono visualizzate le medie per i gruppi di sottoinsiemi omogenei.
Basato sulla somma dei quadrati Tipo III
Il termine di errore è Media dei quadrati(Errore) = ,777.
a. Utilizza dimensione campionaria media armonica = 30,000
b. Alfa = ,05
Confronti Post-Hoc: Domanda
In generale, non siamo interessati ai calcoli specifici di ogni
confronto post-hoc.
In pratica ci basta capire come interpretarli
Vogliamo ora capire perchè non possiamo semplicemente
fare tutti i confronti usando dei semplici t-test
Capitalizzazione sul Caso
Ricordiamo che quando facciamo un test inferenziale
stimiamo la probabilità di commettere un errore rifiutando
l’ipotesi nulla quando è vera
VALORE-P
Il valore p indica il rischio che noi prendiamo quando
affermiamo che l’ipotesi nulla è falsa
Probabilità p
Se l’ipotesi nulla è falsa, ci
abbiamo azzeccato
Se l’ipotesi nulla è vera, abbiamo
commesso un errore, detto del Tipo I
-2
-1
0
1
2
Il problema del caso
Se l’ipotesi nulla è vera (non ci sono realmente delle differenze) e
rifiutiamo l’ipotesi nulla ogni volta che p<.05 (alpha critico), alla lunga
commettiamo il 5% di errore
Il 5% va bene, di più no!
Ciò è equivalente alla situazione in cui compriamo un biglietto di una
lotteria in cui ci sono 20 numeri in totale. Un numero su 20 esce, ogni
biglietto ha un numero. Abbiamo il 5% di probabilità di essere estratti e
95% di non essere estratti
Se il biglietto è estratto, le nostre conclusioni sono sbagliate!
Estrazioni multiple
Cosa succede se partecipiamo a due estrazioni
La probabilità di essere estratto aumenta! Più estrazioni si fanno, più
aumenta la probabilità di essere estratti
Cioè, anche se il biglietto ha il 5% di chance di essere estratto in una
estrazione, facendo varie estrazioni la probabilità di essere estratto
aumenterà
In maniera equivalente, più test facciamo, più aumenta la probabilità di
rifiutare l’ipotesi nulla anche se essa è vera
Cioè aumenta la probabilità di sbagliare.
Test multipli
A seconda di quanti test facciamo, la probabilità di ottenere
almeno una differenza significativa per caso
p. Nessun test
significativo
Criterio usato
Un test solo
ns=. 95
α=.05
Due test
Tre test
p. Almeno uno
significativo
α vero=.05
ns=. 95⋅. 95=. 9025
α vero=1−. 9025=. 09275
3
vero 1 .8573 .1423
ns=. 95 =. 8573
Test multipli
In generale, facendo K test, se rifiutiamo l’ipotesi nulla per
p<.05, il nostro errore diventa sempre maggiore e maggiore
di 0.05
Criterio usato
α=.05
α=C
p. Nessun test
significativo
ns k =. 95
ns k =C
k
k
p. di errore
α vero=1−. 95
α vero=1−C
k
k
Confronti post-hoc
In generale, i vari confronti post-hoc cercano di calcolare le
probabilità associate ai vari confronti in modo tale che
p. di errore
vero 1 C 0.05
k
Cioè cercando di fissare la probabilità di
ottenere almeno un test significativo
quando la differenze sono 0, uguale a
quella di come se facessimo un test solo
In pratica, i vari test post-hoc usano vari
espedienti per controllare questa
probabilità ai valori corretti
Fine
Fine della Lezione IX
