Valutare le competenze nella formazione on line: un modello

Valutare le competenze nella formazione on line: un modello
Come può avvenire la valutazione delle competenze acquisite mediante un corso on line? E’ necessario anzitutto
definire quali sono gli oggetti dell’azione valutativa, ovvero cosa si valuta. La valutazione dell’apprendimento avviene
essenzialmente su tre dimensioni: a) le conoscenze, ossia le specifiche unità di informazione (la terminologia di una
disciplina, i fatti specifici inerenti un dato dominio conoscitivo), i modi e i mezzi per trattarle (ad esempio le
convenzioni e le regole, i processi e sequenze temporali, le classificazioni e i sistemi di categorie, i criteri di valutazione
e di giudizio, i metodi di indagine specifici di una o più discipline), gli elementi universali e gli schemi di astrazione (ad
esempio i principi e i criteri di generalizzazione, le teorie e modelli su cui si fonda un dato dominio conoscitivo). b) le
abilità, costituite dalle capacità di comprensione (ossia trasposizione e traduzione di conoscenze, interpretazione,
estrapolazione e inferenza), di applicazione delle conoscenze alla risoluzione di problemi specifici, di analisi (di
elementi, di relazioni, di principi di organizzazione), di sintesi (ossia delle capacità di messa in atto di una
comunicazione unitaria, di definizione di un piano e di una sequenza di operazioni, di formulazione e deduzione di
insiemi di relazioni astratte), di valutazione (ossia capacità di formulazione di giudizi in rapporto a criteri di evidenza
interna o di giudizi in rapporto a criteri esterni), c) le meta-qualità, costituite dalle capacità di sviluppo e mutamento
degli elementi di comprensione, di applicazione, di analisi, di sintesi e di valutazione, dalle capacità di cambiamento di
atteggiamenti nella percezione del sé che apprende, della propria efficacia, dalla consapevolezza delle proprie
conoscenze, capacità e limiti. Le conoscenze possono essere inserite nella sfera del sapere, le abilità nella sfera del
saper fare e le meta-qualità nella sfera del saper essere, ossia una dimensione più ampia di crescita personale del
soggetto che apprende. Queste tre dimensioni vengono riassunte dal concetto più ampio di competenza in un dato
dominio conoscitivo.
Definito il cosa si valuta si può passare al come si valuta, ossia quali strumenti sono adeguati alla valutazione di
ciascuno di questi aspetti. Conoscenze e abilità possono essere valutate mediante test di profitto, non dissimili a quelli
utilizzati nella formazione in presenza. Rispetto alla formazione in presenza la formazione in rete apre però interessanti
possibilità. Una formazione che miri effettivamente a costruire un apprendimento significativo nell’allievo dovrebbe
avvalersi in modo massiccio della valutazione formativa, nella sua veste diagnostica (individuare i punti deboli nella
preparazione del discente) e prognostica (prevedere le possibilità di successo nelle tappe future e dare indicazioni sui
percorsi più appropriati per giungere a padroneggiare determinate competenze, date le qualità e le conoscenze possedute
dall’allievo in un dato momento del suo percorso formativo). Sotto questo punto di vista i modelli di test di valutazione
che si vedono su molti dei corsi on-line italiani e stranieri lasciano ancora molto a desiderare. Anzitutto questi test
risentono di una concezione troppo legata alla cosiddetta “seconda generazione” della formazione a distanza: il discente
compila il test, lo invia per posta elettronica al tutor, questi lo corregge e rimanda al discente i suoi commenti. A parte
l’evidente lentezza insita nel processo e l’inapplicabilità dello stesso nei contesti di formazione a distanza in cui
vengono coinvolti grandi numeri di studenti (questo è spesso il caso della formazione a distanza di livello universitario),
un grosso problema è la scarsa possibilità che ha il docente di ottenere informazioni diagnostiche sull’andamento degli
allievi. Una possibile soluzione, in fase di avanzata sperimentazione presso il Centro Far – Formazione Aperta in Rete
del Dipartimento di Scienze dell’Educazione e della Formazione dell’Università degli studi di Torino, è l’impiego di
test automatizzati di valutazione formativa, dove un programma software genera, all’atto del suo caricamento nella
videata del browser, domande relative a conoscenze ed abilità sulla base dei modelli di domanda e dei parametri inseriti
dal docente. L’allievo compila il test ed interagisce poi con un programma di correzione che evidenzia e commenta le
sue risposte errate, gli indica i procedimenti corretti di soluzione, le lacune nel suo percorso e le letture più adatte per
colmarle. Il programma tiene poi traccia di tutte le sessioni di autovalutazione eseguite dai singoli discenti, consente di
elaborare serie temporali di risultati e di operare con gli strumenti dell’item analysis sugli esiti delle prove, allo scopo di
individuare item della prova oggettiva troppo facili o troppo difficili, item poco selettivi o con basso potere
discriminante, oppure gli errori tipici commessi, offrendo preziosi feedback anche sul corso. Le domande del test di
profitto devono essere formulate in modo da non favorire processi di apprendimento meccanico, che in qualche modo
potrebbero essere indotti dall’immediatezza del feedback. Questo si realizza privilegiando per quanto possibile le
domande che monitorano abilità alle domande che monitorano semplici conoscenze. La padronanza delle conoscenze da
parte del discente viene così rilevata in modo indiretto, rilevando le abilità di livello superiore alle quali le conoscenze
di base sottostanno. Proprio per venire incontro a questa esigenza la valutazione di conoscenze ed abilità non può essere
effettuata limitandosi all’implementazione di domande a scelta multipla e di domande che propongano la risoluzione di
problemi (nelle quali vengono coinvolte abilità logiche e di calcolo). Il programma prevede la generazione automatica
di domande che prevedono una risposta aperta da parte dell’allievo. In questo caso, per ovvi motivi, non può essere
disponibile una correzione automatica, né la correzione automatica sarebbe desiderabile. All’allievo vengono proposti i
criteri che un ipotetico correttore utilizzerebbe per la valutazione del suo elaborato e gli viene chiesto di autovalutarsi
sulla base di quei criteri. In aggiunta gli vengono suggerite letture con cui confrontare il proprio elaborato e trarne
spunti di miglioramento. Allo studente non viene offerta una risposta esatta ma un procedimento di autocorrezione,
delle linee guida per autovalutare il processo che l’ha portato alla costruzione di quel risultato ed egli viene così indotto
a costruire da solo la riposta corretta. All’interno di questa modalità valutativa è possibile mettere lo studente a
confronto anche con problemi complessi, tratti dal mondo reale e non solamente inventati ad hoc, allo scopo di
promuovere lo sviluppo di capacità di analisi e valutazione di situazioni in contesti reali.
Una logica analoga a quella del test di profitto può essere applicata alla rilevazione delle meta-qualità degli studenti,
facendo ricorso, ad esempio, a test riguardanti i loro stili cognitivi, le loro abilità metacognitive, le loro strategie di
apprendimento, allo scopo di rendere il discente man mano più consapevole delle proprie strategie ed indurlo
all’autoriflessione e all’autoanalisi. Proprio come l’obiettivo del test di profitto è far riflettere il discente sulle proprie
conoscenze ed abilità allo scopo di migliorarle, qui l’obiettivo è la presa di coscienza e il perfezionamento delle proprie
strategie di apprendimento in un’ottica di empowerment continuo e di emancipazione delle proprie competenze.
L’interazione autovalutativa fin qui descritta è un’interazione che si svolge prevalentemente tra uomo e macchina, ma
occorre sottolineare alcuni aspetti: a) nel test di autovalutazione è fortemente presente l’impronta del docente, che in
esso ha operazionalizzato e reso espliciti i propri obiettivi didattici, le prestazioni che egli consapevolmente si aspetta
dagli allievi; la macchina quindi non è che un medium; b) l’autovalutazione si svolge nel contesto sociale della classe
virtuale, quindi l’allievo non è mai isolato nel processo di autovalutazione ma può costantemente interagire con i tutor e
con i pari e da questi ottenere feedback valutativi. Proprio quest’ultimo elemento è quello caratterizzante i sistemi di
formazione a distanza di terza generazione: l’aspetto costruttivo e sociale della formazione viene messo costantemente
in primo piano. Nei sistemi di terza generazione la valutazione dell’allievo fa riferimento ad modello di discente che
non è mai isolato e solitario ma inevitabilmente immerso in un contesto sociale che gli permette di interagire,
collaborare, e cooperare al perseguimento di obiettivi che egli condivide con il proprio gruppo dei pari. Condurre una
valutazione formativa significa quindi lavorare su due aspetti, uno mirato a sviluppare nel discente una sensibilità
all’autoosservazione, all’autoascolto, all’autoriflessione e all’automonitoraggio, ed un altro mirato a sviluppare,
attraverso il monitoraggio costante, il suo coinvolgimento nel gruppo, la sua partecipazione allo svolgimento di attività
consistenti in pratiche socialmente condivise. E’ da questa esigenza che prende forma un modello di valutazione delle
azioni del gruppo di formazione, originariamente proposto da Hesseling (si veda Quaglino, 1979) per la valutazione
delle interazioni di gruppo nella formazione in presenza, ma applicabile anche alla valutazione dell’efficacia di un
gruppo di apprendimento telematico. La valutazione avviene mediante l’osservazione del funzionamento del gruppo. Le
comunicazioni interne ad un gruppo di apprendimento che mette in atto un processo di cooperazione volto al
raggiungimento di determinati obiettivi, ad esempio la redazione di un elaborato collettivo, possono essere classificate
in quattro categorie: informazione, valutazione, decisione, esecuzione. Per ciascuna categoria l’interazione può avere la
natura di un dare o di un ricevere. Se il gruppo funziona efficacemente le sue azioni seguiranno una sequenza logica, ad
esempio non si darà mai un giudizio su un problema se non è disponibile l’informazione relativa, non si prenderà una
decisione se prima tale informazione non è stata opportunamente valutata, non si passerà all’esecuzione prima di aver
preso la decisione. Se il gruppo non funziona efficacemente questa sequenza di comunicazione non verrà rispettata.
L’obiettivo di formazione è sviluppare un efficace funzionamento del gruppo, e la valutazione formativa consiste in
questo caso nel valutare le interazioni dei componenti del gruppo di apprendimento, analizzando le tracce dei loro
processi comunicativi all’interno dei forum, e diagnosticando i punti in cui la sequenza non viene rispettata. La
valutazione dei risultati si baserà sull’osservazione, la registrazione e la classificazione dei singoli segmenti di
comunicazione quali sono stati prodotti dai membri del gruppo. Puntare a sviluppare un efficace funzionamento del
gruppo significa in questo caso puntare a massimizzare l’apporto dei membri nelle fasi di informazione, valutazione e
decisione. Per la fase di esecuzione verrà valutato il prodotto di ciascun singolo membro secondo un quadro di criteri
prefissati e concordati con i discenti. Il prodotto può consistere in un elaborato scritto, una publicazione interattiva, un
sito internet a tema, una mappa concettuale che riassume un dato dominio di conoscenza, un software. Questo schema
di classificazione non è naturalmente l’unico, ma è un buon esempio di come sia possibile valutare l’efficacia del
gruppo sulla base dell’efficacia delle sue interazioni.
Dove l’obiettivo sia una valutazione non della capacità e dell’efficacia comunicativa dell’intero gruppo, ma della
capacità e dell’efficacia comunicativa dei singoli allievi che nel gruppo agiscono, è possibile operare in modo analogo
classificando i contributi dei singoli secondo i possibili tipi di apporto alla discussione. Tali apporti possono essere di
sostegno, di accordo/disaccordo, di critica, di innovazione, di comando, di ammssione di difficoltà, di attacco/fuga, di
richiesta o offerta di informazioni. Un possibile modello, proposto da Rackham, Honey e Colbert per la formazione in
presenza, prevede le seguenti categorie: ha sbloccato la situazione, ha chiesto informazioni, ha fornito informazioni, ha
coordinato il lavoro, ha fornito delle valutazioni, ha incoraggiato il gruppo, ha fornito una sintesi del lavoro, ha
ricomposto i conflitti, ha dato un impulso mantenendo ordine nel gruppo, ha posto degli obiettivi di riferimento, ha
seguito l’opinione della maggioranza, ha bloccato il lavoro, ha cercato il riconoscimento personale, ha cercato di
imporsi come leader, non ha partecipato attivamente.
La terza dimensione del nostro modello riguarda il chi valuta. Abbiamo visto come sia possibile mettere in atto processi
di autovalutazione anche molto complessi mediante l’interazione con la macchina, come l’eterovalutazione possa
assumere le forme di dialogo con i tutor oppure di osservazione da parte del tutor del funzionamento del gruppo e
dell’apporto ad esso dato dai singoli. Una modalità valutativa particolarmente interessante è quella della valutazione tra
pari (peer assessment). La valutazione tra pari consiste nella valutazione di un prodotto di uno o più allievi da parte di
altri allievi, sulla base di criteri condivisi dall’intero gruppo di apprendimento. La valutazione tra pari offre alcuni
importanti vantaggi. Anzitutto è una forma di valutazione che coinvolge potenzialmente più valutatori e quindi consente
di esaminare un elaborato da più punti di vista, con una più alta probabilità di cogliere un numero maggiore di aspetti
specifici e una maggiore attendibilità degli esiti. Avere a disposizione i suggerimenti di più valutatori significa una
maggior ricchezza di spunti e suggerimenti critici per migliorare il proprio prodotto e quindi, in’un ottica di valutazione
formativa, le proprie competenze. In secondo luogo coinvolgendo nel processo di valutazione soggetti che si trovano a
condividere situazioni ed esperienze tra di loro molto simili è molto probabile che il processo di valutazione riesca a
penetrare aspetti che un valutatore esterno non coglierebbe o coglierebbe in modo distorto. La valutazione tra pari
consente spesso di ricostruire le intenzioni degli autori nel prendere determinate decisioni o nell’assumere determinate
posizioni all’atto dello svolgimento del compito. Una comprensione approfondita di questi aspetti risulta più difficile ad
un valutatore esterno, che non condivide né il contesto né le esperienze degli allievi. Nei casi limite la valutazione
proveniente da un valutatore esterno, operata con criteri di giudizio tipici di una situazione “esterna” a quella nella quale
il lavoro è nato e cresciuto, potrebbe essere vista come intrusiva o irrilevante e quindi avere scarsa valenza formativa.
Coinvolgere gli studenti nel processo di valutazione è poi un importante fattore di motivazione, che stimola sia la
partecipazione attiva al gruppo di apprendimento allo scopo di acquisire le competenze necessarie per valutare gli
elaborati degli altri, sia il desiderio di produrre elaborati di alta qualità per fare “bella figura” nei confronti della classe,
prima ancora che verso il tutor, innescando processi di competizione virtuosa. Per quanto riguarda gli aspetti
motivazionali non è da sottovalutare il cambiamento nel senso di responsabilità che si viene ad avere tra gli studenti:
essi vengono chiamati ad assumere un ruolo rilevante, e la consapevolezza del peso del loro giudizio è uno dei primi
fattori che inducono maturazione.
La valutazione tra pari può avvenire in molti modi diversi. Una possibile modalità consiste nel chiedere ad un gruppo di
studenti di mettere in rete il proprio elaborato e poi farlo valutare, sulla base di una griglia di criteri, ad uno o più altri
gruppi; il tutor raccoglie poi le valutazioni di tutti e ne fa un bilancio. Un’altra modalità consiste nel chiedere ad un
gruppo di studenti di leggere un brano e commentarlo criticamente attraverso un modulo predisposto, il quale incorpora
una griglia di criteri ai quali gli studenti devono attenersi. La presenza di una griglia di criteri favorisce la comparabilità
dei giudizi. La prima modalità è una modalità “pura” di valutazione tra pari, mentre nella seconda modalità si ha un
duplice processo di valutazione: una valutazione dell’elaborato degli altri sulla base di quanto scritto nel proprio
elaborato e una valutazione del proprio elaborato sulla base di quanto esperito dagli elaborati altrui. Questa modalità
offre spunti interessanti, soprattutto ricollegandosi ai test di profitto con risposta aperta visti precedentemente.
All’autovalutazione operata dal discente mediante criteri predefiniti potrebbe essere affiancata una valutazione tra pari
in cui il discente confronta, sulla base di tali criteri, le proprie risposte con quelle degli altri membri del gruppo di
apprendimento. Una modalità alternativa è anche quella di indurre gli studenti al confronto non di elaborati scritti ma di
mappe concettuali da essi prodotte su di un dato dominio conoscitivo. A tal proposito è in fase di sperimentazione
presso il centro Far di Torino il pacchetto software wMap, progettato e implementato da chi scrive, che consente la
creazione di mappe concettuali all’interno del browser senza ricorrere a plugins o applet.
E’ poi possibile prevedere anche forme di autovalutazione del gruppo. In questa modalità valutativa il tutor assegna un
punteggio complessivo al lavoro del gruppo, il quale viene poi ripartito tra i singoli membri a cura del gruppo stesso,
sulla base del contributo che ciascuno ha portato all’esecuzione del compito complessivo. Questa modalità può
stimolare il senso di responsabilità dei membri del gruppo soprattutto quando sia chiaro fin dal principio che essa sarà la
modalità adottata per la valutazione finale, in modo da indurre un atteggiamento favorevole (perché pagante) verso la
piena cooperazione con gli altri.
Il modello tridimensionale qui proposto per la valutazione dell’apprendimento in corsi on line di terza generazione, può
quindi essere schematizzato come segue:
Cosa si valuta
Meta qualità
Abilità
Conoscenze
Eterovalutazione
Autovalutazione
Valutazione tra pari
Test di conoscenza e abilità a risposta chiusa
Test di abilità a risposta aperta
Costruzione di mappe concettuali
Osservazione delle interazioni
Produzione cooperativa di elaborati
Chi valuta
Come si valuta
Come si vede le tre dimensioni sono schematizzate su tre assi ortogonali. Sull’origine di ciascun asse sono collocati gli
elementi di ciascuna dimensione che maggiormente sono stati protagonisti dei modelli cosiddetti “tradizionali”,
cattedratici, della formazione in presenza: l’accento sull’acquisizione di conoscenze, sull’eterovalutazione e sui test di
profitto a risposta chiusa. L’origine degli assi rappresenta quindi il punto di partenza: la formazione cattedratica
tradizionale. Gli assi rappresentano le evoluzioni e le tendenze dei modelli formativi e valutativi. Sulla dimensione del
cosa si valuta l’attenzione si sposta progressivamente dal monitoraggio delle conoscenze al monitoraggio delle abilità e
soprattutto delle meta-qualità. Sulla dimensione del come si valuta, l’attenzione passa progressivamente dal
monitoraggio di semplici conoscenze e abilità a test di profitto pensati per monitorare abilità sempre più complesse,
all’osservazione delle interazioni per valutare il funzionamento del gruppo e l’apporto dei singoli, alla produzione di
elaborati che affrontano in maniera sempre più decisiva situazioni e problemi tratti dal mondo reale e non inventati ad
hoc, nella produzione dei quali il gruppo mette in gioco tutte le sue conoscenze, abilità e capacità di interazione
costruttiva. Sulla dimensione del chi valuta si passa progressivamente da approcci basati sull’eterovalutazione da parte
del tutor o del docente, all’autovalutazione da parte del discente e alla valutazione tra pari, che coniuga le istanze di
cooperazione con quelle di valutazione. Sono naturalmente possibili diverse combinazioni degli elementi sulle tre
dimensioni, e alcuni esempi sono quelli illustrati nel presente testo. Il fine ultimo della valutazione è comunque quello
di raggiungere l’authentic assessment, ossia la valutazione non basata su obiettivi di conoscenza artificiali, statici,
frammentati e slegati dai contesti reali di applicazione ma che riguardano sfide intellettuali complesse e
contestualizzate, in altre parole una reale acquisizione di competenze attraverso processi di appredimento
contestualizzato, situato e significativo.
Bibliografia
Ashcroft K., Palacio D. (1996), Researching into Assessment and Evaluation in Colleges and Universities, London,
Kogan Page.
Calvani A., Rotta M. (2000), Fare formazione in Internet. Manuale di didattica on line, Trento, Erickson.
Coggi C. (1997), Valutazione e formazione della personalità, Roma, Crisp.
Edwards A., Knight P. (1995) (eds.), Assessing Competence in Higher Education, London, Kogan Page.
Knight P. (1995) (ed.), Assessment for Learning in Higher Education, London, Kogan Page.
Mason L. (1996), Valutare a scuola. Prodotti, processi e contesti dell’apprendimento, Padova, Cleup.
Quaglino G. P. (1979), La valutazione dei risultati della formazione, Milano, Angeli.
Santelli Beccegato L., Varisco B. M. (2000), Docimologia. Per una cultura della valutazione, Milano, Guerini.
Trinchero R., Todaro P. (2000), Nuovi media per apprendere. Principi di formazione a distanza in rete, Torino,
Tirrenia.
Varisco B. M. (2000), Metodi e paratiche di valutazione, Milano, Guerini.