Valutare le competenze nella formazione on line: un modello Come può avvenire la valutazione delle competenze acquisite mediante un corso on line? E’ necessario anzitutto definire quali sono gli oggetti dell’azione valutativa, ovvero cosa si valuta. La valutazione dell’apprendimento avviene essenzialmente su tre dimensioni: a) le conoscenze, ossia le specifiche unità di informazione (la terminologia di una disciplina, i fatti specifici inerenti un dato dominio conoscitivo), i modi e i mezzi per trattarle (ad esempio le convenzioni e le regole, i processi e sequenze temporali, le classificazioni e i sistemi di categorie, i criteri di valutazione e di giudizio, i metodi di indagine specifici di una o più discipline), gli elementi universali e gli schemi di astrazione (ad esempio i principi e i criteri di generalizzazione, le teorie e modelli su cui si fonda un dato dominio conoscitivo). b) le abilità, costituite dalle capacità di comprensione (ossia trasposizione e traduzione di conoscenze, interpretazione, estrapolazione e inferenza), di applicazione delle conoscenze alla risoluzione di problemi specifici, di analisi (di elementi, di relazioni, di principi di organizzazione), di sintesi (ossia delle capacità di messa in atto di una comunicazione unitaria, di definizione di un piano e di una sequenza di operazioni, di formulazione e deduzione di insiemi di relazioni astratte), di valutazione (ossia capacità di formulazione di giudizi in rapporto a criteri di evidenza interna o di giudizi in rapporto a criteri esterni), c) le meta-qualità, costituite dalle capacità di sviluppo e mutamento degli elementi di comprensione, di applicazione, di analisi, di sintesi e di valutazione, dalle capacità di cambiamento di atteggiamenti nella percezione del sé che apprende, della propria efficacia, dalla consapevolezza delle proprie conoscenze, capacità e limiti. Le conoscenze possono essere inserite nella sfera del sapere, le abilità nella sfera del saper fare e le meta-qualità nella sfera del saper essere, ossia una dimensione più ampia di crescita personale del soggetto che apprende. Queste tre dimensioni vengono riassunte dal concetto più ampio di competenza in un dato dominio conoscitivo. Definito il cosa si valuta si può passare al come si valuta, ossia quali strumenti sono adeguati alla valutazione di ciascuno di questi aspetti. Conoscenze e abilità possono essere valutate mediante test di profitto, non dissimili a quelli utilizzati nella formazione in presenza. Rispetto alla formazione in presenza la formazione in rete apre però interessanti possibilità. Una formazione che miri effettivamente a costruire un apprendimento significativo nell’allievo dovrebbe avvalersi in modo massiccio della valutazione formativa, nella sua veste diagnostica (individuare i punti deboli nella preparazione del discente) e prognostica (prevedere le possibilità di successo nelle tappe future e dare indicazioni sui percorsi più appropriati per giungere a padroneggiare determinate competenze, date le qualità e le conoscenze possedute dall’allievo in un dato momento del suo percorso formativo). Sotto questo punto di vista i modelli di test di valutazione che si vedono su molti dei corsi on-line italiani e stranieri lasciano ancora molto a desiderare. Anzitutto questi test risentono di una concezione troppo legata alla cosiddetta “seconda generazione” della formazione a distanza: il discente compila il test, lo invia per posta elettronica al tutor, questi lo corregge e rimanda al discente i suoi commenti. A parte l’evidente lentezza insita nel processo e l’inapplicabilità dello stesso nei contesti di formazione a distanza in cui vengono coinvolti grandi numeri di studenti (questo è spesso il caso della formazione a distanza di livello universitario), un grosso problema è la scarsa possibilità che ha il docente di ottenere informazioni diagnostiche sull’andamento degli allievi. Una possibile soluzione, in fase di avanzata sperimentazione presso il Centro Far – Formazione Aperta in Rete del Dipartimento di Scienze dell’Educazione e della Formazione dell’Università degli studi di Torino, è l’impiego di test automatizzati di valutazione formativa, dove un programma software genera, all’atto del suo caricamento nella videata del browser, domande relative a conoscenze ed abilità sulla base dei modelli di domanda e dei parametri inseriti dal docente. L’allievo compila il test ed interagisce poi con un programma di correzione che evidenzia e commenta le sue risposte errate, gli indica i procedimenti corretti di soluzione, le lacune nel suo percorso e le letture più adatte per colmarle. Il programma tiene poi traccia di tutte le sessioni di autovalutazione eseguite dai singoli discenti, consente di elaborare serie temporali di risultati e di operare con gli strumenti dell’item analysis sugli esiti delle prove, allo scopo di individuare item della prova oggettiva troppo facili o troppo difficili, item poco selettivi o con basso potere discriminante, oppure gli errori tipici commessi, offrendo preziosi feedback anche sul corso. Le domande del test di profitto devono essere formulate in modo da non favorire processi di apprendimento meccanico, che in qualche modo potrebbero essere indotti dall’immediatezza del feedback. Questo si realizza privilegiando per quanto possibile le domande che monitorano abilità alle domande che monitorano semplici conoscenze. La padronanza delle conoscenze da parte del discente viene così rilevata in modo indiretto, rilevando le abilità di livello superiore alle quali le conoscenze di base sottostanno. Proprio per venire incontro a questa esigenza la valutazione di conoscenze ed abilità non può essere effettuata limitandosi all’implementazione di domande a scelta multipla e di domande che propongano la risoluzione di problemi (nelle quali vengono coinvolte abilità logiche e di calcolo). Il programma prevede la generazione automatica di domande che prevedono una risposta aperta da parte dell’allievo. In questo caso, per ovvi motivi, non può essere disponibile una correzione automatica, né la correzione automatica sarebbe desiderabile. All’allievo vengono proposti i criteri che un ipotetico correttore utilizzerebbe per la valutazione del suo elaborato e gli viene chiesto di autovalutarsi sulla base di quei criteri. In aggiunta gli vengono suggerite letture con cui confrontare il proprio elaborato e trarne spunti di miglioramento. Allo studente non viene offerta una risposta esatta ma un procedimento di autocorrezione, delle linee guida per autovalutare il processo che l’ha portato alla costruzione di quel risultato ed egli viene così indotto a costruire da solo la riposta corretta. All’interno di questa modalità valutativa è possibile mettere lo studente a confronto anche con problemi complessi, tratti dal mondo reale e non solamente inventati ad hoc, allo scopo di promuovere lo sviluppo di capacità di analisi e valutazione di situazioni in contesti reali. Una logica analoga a quella del test di profitto può essere applicata alla rilevazione delle meta-qualità degli studenti, facendo ricorso, ad esempio, a test riguardanti i loro stili cognitivi, le loro abilità metacognitive, le loro strategie di apprendimento, allo scopo di rendere il discente man mano più consapevole delle proprie strategie ed indurlo all’autoriflessione e all’autoanalisi. Proprio come l’obiettivo del test di profitto è far riflettere il discente sulle proprie conoscenze ed abilità allo scopo di migliorarle, qui l’obiettivo è la presa di coscienza e il perfezionamento delle proprie strategie di apprendimento in un’ottica di empowerment continuo e di emancipazione delle proprie competenze. L’interazione autovalutativa fin qui descritta è un’interazione che si svolge prevalentemente tra uomo e macchina, ma occorre sottolineare alcuni aspetti: a) nel test di autovalutazione è fortemente presente l’impronta del docente, che in esso ha operazionalizzato e reso espliciti i propri obiettivi didattici, le prestazioni che egli consapevolmente si aspetta dagli allievi; la macchina quindi non è che un medium; b) l’autovalutazione si svolge nel contesto sociale della classe virtuale, quindi l’allievo non è mai isolato nel processo di autovalutazione ma può costantemente interagire con i tutor e con i pari e da questi ottenere feedback valutativi. Proprio quest’ultimo elemento è quello caratterizzante i sistemi di formazione a distanza di terza generazione: l’aspetto costruttivo e sociale della formazione viene messo costantemente in primo piano. Nei sistemi di terza generazione la valutazione dell’allievo fa riferimento ad modello di discente che non è mai isolato e solitario ma inevitabilmente immerso in un contesto sociale che gli permette di interagire, collaborare, e cooperare al perseguimento di obiettivi che egli condivide con il proprio gruppo dei pari. Condurre una valutazione formativa significa quindi lavorare su due aspetti, uno mirato a sviluppare nel discente una sensibilità all’autoosservazione, all’autoascolto, all’autoriflessione e all’automonitoraggio, ed un altro mirato a sviluppare, attraverso il monitoraggio costante, il suo coinvolgimento nel gruppo, la sua partecipazione allo svolgimento di attività consistenti in pratiche socialmente condivise. E’ da questa esigenza che prende forma un modello di valutazione delle azioni del gruppo di formazione, originariamente proposto da Hesseling (si veda Quaglino, 1979) per la valutazione delle interazioni di gruppo nella formazione in presenza, ma applicabile anche alla valutazione dell’efficacia di un gruppo di apprendimento telematico. La valutazione avviene mediante l’osservazione del funzionamento del gruppo. Le comunicazioni interne ad un gruppo di apprendimento che mette in atto un processo di cooperazione volto al raggiungimento di determinati obiettivi, ad esempio la redazione di un elaborato collettivo, possono essere classificate in quattro categorie: informazione, valutazione, decisione, esecuzione. Per ciascuna categoria l’interazione può avere la natura di un dare o di un ricevere. Se il gruppo funziona efficacemente le sue azioni seguiranno una sequenza logica, ad esempio non si darà mai un giudizio su un problema se non è disponibile l’informazione relativa, non si prenderà una decisione se prima tale informazione non è stata opportunamente valutata, non si passerà all’esecuzione prima di aver preso la decisione. Se il gruppo non funziona efficacemente questa sequenza di comunicazione non verrà rispettata. L’obiettivo di formazione è sviluppare un efficace funzionamento del gruppo, e la valutazione formativa consiste in questo caso nel valutare le interazioni dei componenti del gruppo di apprendimento, analizzando le tracce dei loro processi comunicativi all’interno dei forum, e diagnosticando i punti in cui la sequenza non viene rispettata. La valutazione dei risultati si baserà sull’osservazione, la registrazione e la classificazione dei singoli segmenti di comunicazione quali sono stati prodotti dai membri del gruppo. Puntare a sviluppare un efficace funzionamento del gruppo significa in questo caso puntare a massimizzare l’apporto dei membri nelle fasi di informazione, valutazione e decisione. Per la fase di esecuzione verrà valutato il prodotto di ciascun singolo membro secondo un quadro di criteri prefissati e concordati con i discenti. Il prodotto può consistere in un elaborato scritto, una publicazione interattiva, un sito internet a tema, una mappa concettuale che riassume un dato dominio di conoscenza, un software. Questo schema di classificazione non è naturalmente l’unico, ma è un buon esempio di come sia possibile valutare l’efficacia del gruppo sulla base dell’efficacia delle sue interazioni. Dove l’obiettivo sia una valutazione non della capacità e dell’efficacia comunicativa dell’intero gruppo, ma della capacità e dell’efficacia comunicativa dei singoli allievi che nel gruppo agiscono, è possibile operare in modo analogo classificando i contributi dei singoli secondo i possibili tipi di apporto alla discussione. Tali apporti possono essere di sostegno, di accordo/disaccordo, di critica, di innovazione, di comando, di ammssione di difficoltà, di attacco/fuga, di richiesta o offerta di informazioni. Un possibile modello, proposto da Rackham, Honey e Colbert per la formazione in presenza, prevede le seguenti categorie: ha sbloccato la situazione, ha chiesto informazioni, ha fornito informazioni, ha coordinato il lavoro, ha fornito delle valutazioni, ha incoraggiato il gruppo, ha fornito una sintesi del lavoro, ha ricomposto i conflitti, ha dato un impulso mantenendo ordine nel gruppo, ha posto degli obiettivi di riferimento, ha seguito l’opinione della maggioranza, ha bloccato il lavoro, ha cercato il riconoscimento personale, ha cercato di imporsi come leader, non ha partecipato attivamente. La terza dimensione del nostro modello riguarda il chi valuta. Abbiamo visto come sia possibile mettere in atto processi di autovalutazione anche molto complessi mediante l’interazione con la macchina, come l’eterovalutazione possa assumere le forme di dialogo con i tutor oppure di osservazione da parte del tutor del funzionamento del gruppo e dell’apporto ad esso dato dai singoli. Una modalità valutativa particolarmente interessante è quella della valutazione tra pari (peer assessment). La valutazione tra pari consiste nella valutazione di un prodotto di uno o più allievi da parte di altri allievi, sulla base di criteri condivisi dall’intero gruppo di apprendimento. La valutazione tra pari offre alcuni importanti vantaggi. Anzitutto è una forma di valutazione che coinvolge potenzialmente più valutatori e quindi consente di esaminare un elaborato da più punti di vista, con una più alta probabilità di cogliere un numero maggiore di aspetti specifici e una maggiore attendibilità degli esiti. Avere a disposizione i suggerimenti di più valutatori significa una maggior ricchezza di spunti e suggerimenti critici per migliorare il proprio prodotto e quindi, in’un ottica di valutazione formativa, le proprie competenze. In secondo luogo coinvolgendo nel processo di valutazione soggetti che si trovano a condividere situazioni ed esperienze tra di loro molto simili è molto probabile che il processo di valutazione riesca a penetrare aspetti che un valutatore esterno non coglierebbe o coglierebbe in modo distorto. La valutazione tra pari consente spesso di ricostruire le intenzioni degli autori nel prendere determinate decisioni o nell’assumere determinate posizioni all’atto dello svolgimento del compito. Una comprensione approfondita di questi aspetti risulta più difficile ad un valutatore esterno, che non condivide né il contesto né le esperienze degli allievi. Nei casi limite la valutazione proveniente da un valutatore esterno, operata con criteri di giudizio tipici di una situazione “esterna” a quella nella quale il lavoro è nato e cresciuto, potrebbe essere vista come intrusiva o irrilevante e quindi avere scarsa valenza formativa. Coinvolgere gli studenti nel processo di valutazione è poi un importante fattore di motivazione, che stimola sia la partecipazione attiva al gruppo di apprendimento allo scopo di acquisire le competenze necessarie per valutare gli elaborati degli altri, sia il desiderio di produrre elaborati di alta qualità per fare “bella figura” nei confronti della classe, prima ancora che verso il tutor, innescando processi di competizione virtuosa. Per quanto riguarda gli aspetti motivazionali non è da sottovalutare il cambiamento nel senso di responsabilità che si viene ad avere tra gli studenti: essi vengono chiamati ad assumere un ruolo rilevante, e la consapevolezza del peso del loro giudizio è uno dei primi fattori che inducono maturazione. La valutazione tra pari può avvenire in molti modi diversi. Una possibile modalità consiste nel chiedere ad un gruppo di studenti di mettere in rete il proprio elaborato e poi farlo valutare, sulla base di una griglia di criteri, ad uno o più altri gruppi; il tutor raccoglie poi le valutazioni di tutti e ne fa un bilancio. Un’altra modalità consiste nel chiedere ad un gruppo di studenti di leggere un brano e commentarlo criticamente attraverso un modulo predisposto, il quale incorpora una griglia di criteri ai quali gli studenti devono attenersi. La presenza di una griglia di criteri favorisce la comparabilità dei giudizi. La prima modalità è una modalità “pura” di valutazione tra pari, mentre nella seconda modalità si ha un duplice processo di valutazione: una valutazione dell’elaborato degli altri sulla base di quanto scritto nel proprio elaborato e una valutazione del proprio elaborato sulla base di quanto esperito dagli elaborati altrui. Questa modalità offre spunti interessanti, soprattutto ricollegandosi ai test di profitto con risposta aperta visti precedentemente. All’autovalutazione operata dal discente mediante criteri predefiniti potrebbe essere affiancata una valutazione tra pari in cui il discente confronta, sulla base di tali criteri, le proprie risposte con quelle degli altri membri del gruppo di apprendimento. Una modalità alternativa è anche quella di indurre gli studenti al confronto non di elaborati scritti ma di mappe concettuali da essi prodotte su di un dato dominio conoscitivo. A tal proposito è in fase di sperimentazione presso il centro Far di Torino il pacchetto software wMap, progettato e implementato da chi scrive, che consente la creazione di mappe concettuali all’interno del browser senza ricorrere a plugins o applet. E’ poi possibile prevedere anche forme di autovalutazione del gruppo. In questa modalità valutativa il tutor assegna un punteggio complessivo al lavoro del gruppo, il quale viene poi ripartito tra i singoli membri a cura del gruppo stesso, sulla base del contributo che ciascuno ha portato all’esecuzione del compito complessivo. Questa modalità può stimolare il senso di responsabilità dei membri del gruppo soprattutto quando sia chiaro fin dal principio che essa sarà la modalità adottata per la valutazione finale, in modo da indurre un atteggiamento favorevole (perché pagante) verso la piena cooperazione con gli altri. Il modello tridimensionale qui proposto per la valutazione dell’apprendimento in corsi on line di terza generazione, può quindi essere schematizzato come segue: Cosa si valuta Meta qualità Abilità Conoscenze Eterovalutazione Autovalutazione Valutazione tra pari Test di conoscenza e abilità a risposta chiusa Test di abilità a risposta aperta Costruzione di mappe concettuali Osservazione delle interazioni Produzione cooperativa di elaborati Chi valuta Come si valuta Come si vede le tre dimensioni sono schematizzate su tre assi ortogonali. Sull’origine di ciascun asse sono collocati gli elementi di ciascuna dimensione che maggiormente sono stati protagonisti dei modelli cosiddetti “tradizionali”, cattedratici, della formazione in presenza: l’accento sull’acquisizione di conoscenze, sull’eterovalutazione e sui test di profitto a risposta chiusa. L’origine degli assi rappresenta quindi il punto di partenza: la formazione cattedratica tradizionale. Gli assi rappresentano le evoluzioni e le tendenze dei modelli formativi e valutativi. Sulla dimensione del cosa si valuta l’attenzione si sposta progressivamente dal monitoraggio delle conoscenze al monitoraggio delle abilità e soprattutto delle meta-qualità. Sulla dimensione del come si valuta, l’attenzione passa progressivamente dal monitoraggio di semplici conoscenze e abilità a test di profitto pensati per monitorare abilità sempre più complesse, all’osservazione delle interazioni per valutare il funzionamento del gruppo e l’apporto dei singoli, alla produzione di elaborati che affrontano in maniera sempre più decisiva situazioni e problemi tratti dal mondo reale e non inventati ad hoc, nella produzione dei quali il gruppo mette in gioco tutte le sue conoscenze, abilità e capacità di interazione costruttiva. Sulla dimensione del chi valuta si passa progressivamente da approcci basati sull’eterovalutazione da parte del tutor o del docente, all’autovalutazione da parte del discente e alla valutazione tra pari, che coniuga le istanze di cooperazione con quelle di valutazione. Sono naturalmente possibili diverse combinazioni degli elementi sulle tre dimensioni, e alcuni esempi sono quelli illustrati nel presente testo. Il fine ultimo della valutazione è comunque quello di raggiungere l’authentic assessment, ossia la valutazione non basata su obiettivi di conoscenza artificiali, statici, frammentati e slegati dai contesti reali di applicazione ma che riguardano sfide intellettuali complesse e contestualizzate, in altre parole una reale acquisizione di competenze attraverso processi di appredimento contestualizzato, situato e significativo. Bibliografia Ashcroft K., Palacio D. (1996), Researching into Assessment and Evaluation in Colleges and Universities, London, Kogan Page. Calvani A., Rotta M. (2000), Fare formazione in Internet. Manuale di didattica on line, Trento, Erickson. Coggi C. (1997), Valutazione e formazione della personalità, Roma, Crisp. Edwards A., Knight P. (1995) (eds.), Assessing Competence in Higher Education, London, Kogan Page. Knight P. (1995) (ed.), Assessment for Learning in Higher Education, London, Kogan Page. Mason L. (1996), Valutare a scuola. Prodotti, processi e contesti dell’apprendimento, Padova, Cleup. Quaglino G. P. (1979), La valutazione dei risultati della formazione, Milano, Angeli. Santelli Beccegato L., Varisco B. M. (2000), Docimologia. Per una cultura della valutazione, Milano, Guerini. Trinchero R., Todaro P. (2000), Nuovi media per apprendere. Principi di formazione a distanza in rete, Torino, Tirrenia. Varisco B. M. (2000), Metodi e paratiche di valutazione, Milano, Guerini.