Creare un nuovo questionario Strumenti di indagine per la valutazione psicologica Da dove partire ● 2.2 – Mettere a punto un test psicologico ● Davide Massidda C'è davvero bisogno di un nuovo strumento di misura? Analisi della letteratura. Si può validare in italiano uno strumento già esistente ma in lingua straniera (necessaria back-translation). ● Gli item vengono creati da un pool di esperti. ● Somministrazione su larga scala del test. [email protected] Università di Cagliari, a.a. 2013/2014 Creare un nuovo questionario Lunghezza del test ● ● ● ● Dipende dal numero di scale (una scala è quella porzione di test volta a misurare un particolare costrutto latente). Aumentando il numero di item di una scala, l'errore accidentale dovrebbe compensarsi, con un conseguente aumento dell'attendibilità. Per uno stesso tratto latente possono esserci molte aree che richiedono approfondimento, con un conseguente aumento degli item. Chiaramente, il questionario non può essere troppo lungo (si rischia di ottenere misure poco attendibili). Creare un nuovo questionario Analisi dei dati ● Analisi dei dati mancanti: - Chi omette risposte? - In quali item si osservano omissioni? ● Valutare possibili differenze nelle risposte sulla base di variabili socio-demografiche o altre variabili critiche per il fenomeno sotto esame. ● Analisi di affidabilità e validità. ● Analisi della struttura fattoriale. ● Analisi delle proprietà degli item (approccio IRT). Attendibilità di un test x= τ+ ϵ E( ϵ)=0 ● ● cov ( τ , ϵ)=0 Un test è tanto più affidabile quanto più consente di ottenere delle misure esenti da errore. Un test affidabile è un test in cui la componente vera τ predomina nettamente sulla componente erratica ε. Valutare l'attendibilità Stabilità delle misure ● Test-retest ● Forme parallele Consistenza interna a ogni scala: gli item stanno misurando il medesimo costrutto? ● Split-half ● Indice α di Cronbach ● Correlazione item-totale Riduzione degli item ● ● ● Nel processo di validazione, talvolta si somministra un test con un numero di item più elevato di quello che si intende andare a inserire nella batteria finale. Solo gli item con le proprietà psicometriche “migliori” saranno candidati all'inserimento nella versione finale del test. In alcuni casi, il questionario viene addirittura proposto in due versioni: una completa e una ridotta. Riduzione degli item ● Esempio di procedura di selezione degli item: 1. si calcola l'indice α di Cronbach della scala; 2. a uno a uno, gli item vengono eliminati singolarmente e ogni volta si ricalcola l'indice α di Cronbach; 3. se l'eliminazione dell'item è associata a un aumento dell'alfa, allora l'item è da buttare. Validità di un test ● Lo strumento misura ciò che dovrebbe essere preposto a misurare? Validità di un test Validità di contenuto ● ● L'attendibilità è una condizione necessaria ma non sufficiente per la validità: non basta che uno strumento sia preciso, deve anche misurare ciò per cui è stato costruito. ● Capacità dello strumento di rappresentare accuratamente l’universo dei comportamenti legati al costrutto. Risponde alla domanda: la misura prende davvero in esame tutti i comportamenti legati al costrutto in esame? Validità di un test Validità di costrutto ● ● Definisce quanto la misura fornita dal test è connessa al costrutto che si propone di misurare. Può essere valutata come: Validità convergente: grado di accordo tra diverse misure dello stesso costrutto ottenute con metodi diversi. Validità discriminante: grado in cui misure di costrutti diversi riescono effettivamente a distinguere i costrutti. Validità di un test Validità di criterio ● ● Grado di associazione tra la misura e un concetto (criterio rilevante) in teoria connesso con il costrutto da misurare. Può assumere due forme specifiche: Validità concorrente: misura e criterio valutati in contemporanea (c'è una corrispondenza fra test e comportamento attuale?). Validità predittiva: il criterio viene valutato in un momento successivo (il test è in grado di predire un risultato futuro?). Validità di un test Validità di facciata ● ● Analisi della struttura fattoriale ● Corrispondenza tra ciò che sembra che il test stia misurando e ciò che effettivamente sta misurando. ● (Vedi differenza tra item overt e covert). ● Gli item possono essere raggruppati sulla base del tratto (fattore) latente che si suppone stiano misurando. Tutti gli item che sono espressione di un medesimo fattore latente saranno molto correlati fra loro e poco correlati con altri item. L'analisi fattoriale è una tecnica di riduzione dati: invece di utilizzare i punteggi dei singoli item (che sono tanti), si posso utilizzare i punteggi dei (pochi) fattori di cui essi sono espressione. Esempio di struttura fattoriale Approcci all'analisi fattoriale ● Ci sono due possibili approcci all'analisi della struttura fattoriale di un test psicologico: ➔ Esplorativo ➔ Confermativo Analisi della struttura fattoriale Analisi fattoriale esplorativa ● ● ● ● ● ● Analisi della struttura fattoriale Analisi fattoriale confermativa Sapendo che è stato un numero n di fattori latenti ad aver originato i dati, ne si stima il punteggio e si calcola quanto ogni item satura su ogni fattore. Alcuni item avranno forti saturazioni su un tratto, altri item su un altro tratto, altri item su un altro tratto ancora, ecc. Sulla base delle saturazioni, gli item potranno essere raggruppati. ● ● Non dobbiamo scoprire alcuna struttura fattoriale: la conosciamo già! (E ci mancherebbe: il questionario l'abbiamo costruito noi.) Quindi, a partire da come i soggetti hanno risposto agli item, si cerca di dedurre la struttura fattoriale. Quello che dobbiamo fare è verificare che il nostro modello sia sostenuto dai dati osservati: «Quanto è verosimile che siano proprio questi fattori, organizzati in questo modo, ad aver generato le risposte agli item?» La verità sta nel mezzo Alcune note sull'analisi fattoriale L'approccio migliore non è né quello esplorativo né quello confermativo. Si spezza in due campione: su metà si applica l'analisi esplorativa e sull'altra metà si valida, tramite un'analisi confermativa, il modello individuato (cross-validation). ● ● ● ● ● Il questionario è stato già in partenza costruito con una certa logica: le risposte a un gruppo di item sono generate da un certo fattore, le risposte a un altro gruppo di item da un altro fattore, e così via. Se il questionario è fatto bene, le due analisi convergeranno verso gli stessi risultati. Il fatto che due analisi diverse, su campioni diversi, diano gli stessi risultati, sarà un'argomentazione molto convincente riguardo la struttura fattoriale del test! ● L'analisi fattoriale assume che i tratti latenti siano variabili continue. I fattori latenti possono essere assunti come correlati fra loro, ma non necessariamente (questione delicata). Determinare il numero di fattori latenti non è sempre ovvio (approfondimento su www.insular.it/?p=403). Oggi la tendenza è quella di costruire strumenti piccoli e con pochi fattori se non non addirittura unidimensionali.