Minacce alla validità

Minacce alla validità
Minacce alla validità interna
• 1. Storia o Eventi esterni
• Determinarsi di eventi
extrasperimentali nell’intervallo
fra pre-test e post-test
2. Maturazione
• Modificazioni nei soggetti dovute
ad aumento dell’età,
apprendimenti, stati di salute
• E’ un problema critico per gli
studi in età evolutiva
3. Effetto delle prove
• I soggetti possono imparare come
eseguire le prove. La
modificazione è determinata dallo
stesso procedimento di ricerca.
4. Regressione statistica
• Tendenza dei punteggi estremi a
livellarsi verso la media a causa
della distribuzione casuale degli
errori di misura.
5. Selezione dei soggetti
• Differenti caratteristiche dei
soggetti assegnati a gruppi
diversi
6. Mortalità
• Differente composizione dei gruppi
fra pre-test e post-test per
abbandono o perdita dei soggetti
• Il punto fondamentale è che
l’abbandono della ricerca non può
essere considerato un evento casuale
7. Testing
• Influenze dell’applicazione di uno
stesso strumento di misura più
volte nel tempo
8. Strumentazione
• Cambiamenti nello strumento di
misura fra pre-test e post-test
Minacce alla validità di
costrutto
• 1. Inadeguata spiegazione
pre-operativa dei costrutti
• Carente definizione teorica dei
costrutti
1.a Debolezza della
connessione fra teoria e
esperimento
• Osservare con che frequenza un
soggetto si mangia le unghie non è
un buon metodo per la misura
dell’ansia…
2. Distorsioni per definizione
mono-operazionale del
costrutto
• Impoverimento del costrutto,
relativo a variabili o al
trattamento, per singola
definizione operazionale
3. Distorsioni dovute ad un
unico approccio metodologico
• Impoverimento del costrutto per
l’impiego di una singola procedura
di somministrazione
4. Interazione tra procedura
e trattamento
• Inquinamento della variabile
indipendente per effetto di
caratteristiche implicite nella
procedura di manipolazione
5. Diffusione o imitazione
del trattamento
• Influenze dell’intervento
sperimentale anche nel gruppo di
controllo per passaggio di
informazioni
6. Rifiuto di segregazioni
legate al trattamento
• Riluttanza dei responsabili
istituzionali ad accettare
l’esclusione di soggetti da un
trattamento che produce effetti
considerati desiderabili
7. Emulazione compensatoria
• Tentativo di ridurre o invertire le
differenze attese da parte del
gruppo di controllo per rivalità
con il gruppo sperimentale
8. Risentimento dei soggetti che
ricevono un trattamento meno
desiderabile
• Può riguardare anche coloro che sono
esclusi dal trattamento
9. Indovinare lo scopo
dell’esperimento
• Le risposte dei soggetti possono
essere influenzate da ipotesi
circa la reale natura della ricerca
10. Ansia da valutazione
• Reazione possibile nei soggetti
alla percezione di essere valutati
sul piano cognitivo oppure emotivo
11. Aspettative del
ricercatore ed effetti di
disturbo
• Effetto Rosenthal (1963) ovvero
l’effetto della profezia
autoavverantesi
• Si controlla con la tecnica del doppio
cieco cioè tenendo sia i soggetti che il
conduttore della ricerca all’oscuro
dell’ipotesi oggetto di studio
12. Aspettative dei soggetti
• Effetto Hawthorne
Il solo fatto di sapere di prendere
parte ad una ricerca può alterare
il comportamento dei soggetti
Minacce alla validità esterna
• Altri soggetti
• Altri tempi
• Altre situazioni
1. Interazione tra
trattamenti
• Difficoltà di generalizzare gli
effetti determinati da un
trattamento quando tali effetti
siano stati osservati nel contesto
di trattamenti diversi
2. Interazione tra testing e
trattamento
• Difficoltà di generalizzare al di
fuori della situazione di testing
impiegata
3. Interazione tra soggetti
selezionati e trattamento
• Difficoltà di generalizzare i
risultati a gruppi diversi da quello
considerato
4. Interazione tra setting e
trattamento
• Difficoltà di generalizzare al di
fuori del setting sperimentale
impiegato
5. Interazione tra storia e
trattamento
• Difficoltà di generalizzare a
situazioni o periodi di tempo
diversi da quelli sperimentali
Minacce alla validità
statistica
• 1. Basso potere statistico
• Scarsa probabilità di evidenziare
un effetto (errore di secondo
tipo o Beta)
2. Mancanza di ipotesi e problemi
di soglia nella stima dell’errore
• Confronti multipli tra variabili
effettuati in assenza di ipotesi
specifiche (errore di primo tipo o
Alpha)
3. Bassa attendibilità delle
misure
4. Bassa fedeltà dell’attuazione
del trattamento
• Scarsa standardizzazione delle
procedure per la manipolazione
della variabile indipendente
5. Modificazioni casuali del
setting sperimentale
Possono essere dovute anche alle differenze
nello stile di conduzione della ricerca da
parte dei diversi sperimentatori in essa
coinvolti.
6. Eterogeneità casuale
intragruppo dei soggetti
Si controlla aumentando la numerosità
dei gruppi oppure creando campioni
appaiati (vedi disegno di ricerca)