-
Titolo dell’attività
Strumenti di valutazione dell'apprendimento di gruppo all'interno
di un processo di FaD
-
Tematica affrontata
La valutazione delle attività di scrittura (forum, blog, wiki etc) degli studenti
attraverso strumenti di analisi lessicale come metodologia di monitoraggio e
previsione dell'andamento generale di un'attività di FaD
–
Obiettivi dell’attività
–
valutare l'andamento generale di un gruppo di apprendimento
attraverso l'analisi delle produzione testuali online
dei
partecipanti
–
migliorare la consapevolezza della struttura semantica dei
contenuti di un corso online, attraverso la riflessione sulle
parole-chiave
–
condividere gli obiettivi e risultati della valutazione con tutti i
partecipanti
–
avere chiari i vantaggi (e i limiti) dell'utilizzo della valutazione di
gruppo
-
Ordine di scuola
Istituti secondari superiori
-
Tempo medio
3h
-
Autore
Stefano Penge
INTRODUZIONE
La valutazione degli studenti (adulti e ragazzi) che partecipano ad attività di
formazione a distanza è attualmente in uno stadio ancora immaturo. Al di là
della verifica attraverso test a risposta chiusa che ogni piattaforma FaD
propone, e al di là del relativo report dei punteggi raggiunti dai singoli
corsisti, non è diffusa la disponibilità di strumenti più raffinati per una
valutazione complessiva, paragonabile, se non equivalente, a quella che un
docente effettua quotidianamente in classe.
Tuttavia è possibile esplorare una direzione diversa, che da un lato utilizza
un concetto di valutazione più esteso, dall'altro sfrutta appieno le
opportunità fornite dalle piattaforme attuali. Non si tratta tanto di ricavare
una misura delle competenze raggiunte dai singoli - cosa che può essere
ottenuta con altri strumenti - quanto di valutare (in senso più pieno) l'intero
processo di apprendimento del gruppo, che coinvolge tanto gli studenti
quanto il docente.
La valutazione – in un senso più generale - di un gruppo di apprendimento
online può essere effettuata
utilizzando i dati quantitativi messi a
disposizione dalle piattaforma di e-learning a patto che questi dati vengano
messi in relazione tra loro, vengano interpretati, rappresentati.
Anche la scelta dei dati da raccogliere è fondamentale. Mente gli accessi
puri e semplici possono essere fuorvianti o poco utili, ci sono altri tipi di dati
che consentono un'analisi più interessante.
L'idea principale è che nella formazione a distanza digitale il linguaggio
verbale sia veicolo, consapevole o inconsapevole, attraverso il quale
emergono degli indicatori significativi dell'andamento positivo o negativo
del corso online. Occorre allora allargare il discorso dalla verifica delle
competenze (“competences assessment”) alla più ampia valutazione
dell’apprendimento (“learning evaluation”), individuando nel gruppo
d’apprendimento il soggetto privilegiato di questa valutazione e nel corpus
dei testi prodotti dal gruppo il terreno ideale di applicazione.
In questo laboratorio vi proponiamo di effettuare un'analisi lessicale del
corpus dei testi prodotti in connessione con il corso da tutti i suoi
partecipanti, in uno o più degli spazi di scrittura ad esso integrati (forum,
chat, messaggi diretti, esercitazioni, blog, wiki, ...).
Ma poiché sarebbe impossibile per un docente esaminare manualmente tutti
i prodotti verbali, si può cercare di aiutarsi attraverso degli strumenti semiautomatici che se non pretendono di fornire valutazioni intelligenti (come
nel caso degli Intelligent Tutoring Systems di moda qualche anno fa)
possono supportare validamente il docente nel suo lavoro di monitoraggio e
riprogettazione della formazione on line.
Per far questo, sarà necessario da un lato restringere il focus dell'analisi
creando una lista di “parole-chiave” che si considerano indicatori significativi
di processi, atteggiamenti, modalità etc., e dall'altro normalizzare i testi
prodotti in modo da poterli trattare anche con strumenti software semplici e
facilmente accessibili come i fogli di calcolo.
Infine si provvederà a costruire un report, verbale ma anche grafico, di
quanto si è trovato.
Nota: questo laboratorio rappresenta l'applicazione dei principi descritti con
più dettaglio nel materiale di studio "Valutare un gruppo di apprendimento
online", e può essere più utilmente utilizzato in connessione a quello.
DESCRIZIONE DELL’ATTIVITÀ:
Descrizione degli step in cui si articola la progettazione del percorso didattico.
1. Acquisizione e normalizzazione del testo del forum
Scegliete innanzitutto il forum di un corso a distanza cui partecipate,
come tutor o come studenti.
Ogni piattaforma di e-learning prevede la possibilità di esportare in
qualche modo i testi dei forum in un formato standard e aperto.
Nel caso in cui la funzione di esportazione non fosse disponibile, o
producesse un output non utilizzabile, si può procedere manualmente
selezionando con il mouse la parte del forum che interessa, copiandola e
incollandola in un documento vuoto.
A questo punto si deve salvare il file in un formato normalizzato tale da
poter essere importato dal programma di elaborazione che scegliamo di
usare.
Poiché non esiste un formato standard per l'interscambio e la valutazione
dei dati provenienti dai forum adottato da tutte le piattaforme, la prima
cosa da fare è proprio quella di riportare i dati ad un formato utilizzabile.
Il formato più semplice è quello testuale, il cosiddetto “comma delimited”
(CSV) che consiste semplicemente in una serie di righe di testo in cui i
diversi campi non hanno una lunghezza prefissata ma sono separati da
un carattere speciale, che può essere il punto e virgola o qualsiasi altro
carattere purché non sia presente nel testo. Per esempio:
Giovanni; Pascoli; Italia; '800;
Arthur; Rimbaud; Francia; '800;
Calderon; De la Barca; Spagna; '600;
Questo formato è perfettamente adatto a scambiare dati semplici tra
programmi e sistemi operativi diversi. Viene aperto da tutti i database,
fogli di calcolo, word processor etc.
Per convenzione, si usa inserire nella prima riga un record particolare,
che definisce i nomi dei campi. Nell'esempio precedente abbiamo usato:
Nome; Cognome; Paese; Secolo;
Nel nostro caso, possiamo pensare ad un modello di file di questo tipo:
Data e Ora; Autore; Messaggio; Marcatori
10/11/2005 21:45; Mario R. ; non mi è chiaro cosa si intende per
integrazione reciproca. Forse ho perso qualche lezione...?;
modalità: dubbio
2. Creazione della lista di parole chiave
Se l'analisi manuale di un forum è possibile, ma impegnativa, uno
strumento utile che useremo nel laboratorio è la ricerca e il conteggio di
stringhe specifiche, usate come "indicatori" che segnalano la presenza di
concetti o di atteggiamenti nei corsisti che hanno inviato i messaggi
corrispondenti.
Se il forum permette l'uso di “marcatori” per i messaggi, si può a priori
chiedere ai partecipanti di segnalare la propria autointerpretazione del
messaggio scegliendo da una lista con un numero prefissato di opzioni.
Ad esempio si può chiedere ai partecipanti di segnalare se il proprio
intervento è una richiesta, una proposta, un approfondimento, etc. I
marcatori possono essere liberi oppure – meglio - a scelta all'interno di
un
certo
numero
di
possibilità.
Vedi
la
scheda
allegata
(*scheda_analisi_forum.rtf*).
E' anche possibile collaborare con il gruppo di apprendimento anche in
questa fase: richiedere a ciascuno dei partecipanti di proporre cinque
keywords e poi integrare le proposte manualmente; oppure procedere ad
un veloce sondaggio per votare le dieci parole che il gruppo ritiene più
significative dall'elenco completo di tutte le proposte.
La scelta delle keywords è molto importante. Si devono ovviamente
escludere tutte le parole troppo comuni, quelle non specifiche. Si possono
anche scegliere delle keywords relative ad un particolare problema.
Può essere conveniente in alcuni casi inserire nelle keywords delle
varianti, cioè declinare i termini scelti nelle forme singolare/plurale
(approssimazione/approssimazioni) oppure tenere conto dei derivati
(approssimate) o delle forme verbali (approssimare).
3. Elaborazione
Per l'elaborazione dei testi – fondamentalmente per lo studio delle
concordanze – è possibile usare molti software specifici. T-Lab, per fare
solo un esempio, è uno strumento molto potente progettato da Franco
Lancia per l'estrazione, la comparazione e la mappatura dei contenuti
presenti in testi di vario tipo; trovate il link nella sitografia.
Tuttavia, un semplice foglio di calcolo (MS Excel, OpenOffice.org Calc, ...)
mette a disposizione le funzioni sufficienti per i calcoli che ci servono. Le
funzioni CONTA.SE e CERCA possono essere di valido aiuto per estrarre
informazioni dai testi. Negli allegati trovate due fogli di calcolo che
contengono una serie di tabelle già pronte che possono essere estese e
personalizzate, e una serie di grafici che riassumono i dati.
*torta_1.jpg* , *barre_1.jpg*
*torta_2.jpg* , *barre_2.jpg* , *rete_2.jpg*
Il primo foglio è dedicato semplicemente al confronto dei messaggi inviati
dai vari corsisti e dal tutor.
*valutazione_1.xls*
In questo foglio di calcolo trovate alcuni strumenti di analisi della
frequenza dei messaggi inviati in un forum
La tabella FORUM può essere costruita manualmente, oppure –
meglio – importando i dati attraverso la funzione del vostro
programma.
La tabella REPORT viene generata automaticamente e
modificata aggiungendo righe per ogni utente nel forum
può essere
La tabella GRAFICI può contenere le elaborazioni grafiche dei dati del
report; un esempio viene dato
In questo esempio, i nomi degli studentei e i testi sono casuali.
Nel secondo foglio trovate invece degli esempi di analisi del lessico usato
nel forum, in particolare riferito a tre keywords d'esempio
*valutazione_2.xls*
In questo foglio di calcolo trovate alcuni strumenti di analisi del testo
di un forum.
La tabella FORUM può essere costruita manualmente con
copia+incolla, oppure – meglio – importando i dati attraverso la
funzione del vostro programma.
La tabella REPORT viene generata automaticamente e non deve
essere modificata
La tabella GRAFICI può contenere le elaborazioni grafiche dei dati del
report; un esempio viene dato
Le tabelle seguenti (Kw1, Kw2..) possono essere modificate,
sostituendo il testo delle keyword da ricercare nella casella B1 o
aumentando il numero di colonne (occorrenze); ma possono essere
duplicate a piacere per aggiungere altre keywords delle quali si vuole
seguire la distribuzione
In questo esempio, le keywords sono KW1, KW2 e KW3 e i testi sono
casuali.
4. Rappresentazione grafica
La rappresentazione visiva è in molti casi fondamentale non solo per
comunicare sinteticamente i dati e le tendenze, ma anche per aiutare
nell'interpretazione. Vanno scelti dei grafici semplici, chiari. Senza volerci
qui addentrare nel dettaglio della comunicazione visuale, possiamo fare
alcune annotazioni utili:
–
i grafici a barre sottolineano la relazione dei dati fra di loro, e tendono
a portare l'occhio verso gli estremi
–
i grafici a torta sottolineano la relazione dei dati con il totale, più che
dei dati fra di loro
–
i grafici a barre
nostra abitudine
sommità di ogni
essere fuorviante
–
i grafici a torta presentano una dipendenza dai colori scelti maggiore
di quelli a barre, dando maggior risalto alle zone scure e con colori
brillanti a parità di superficie
–
altri tipi di grafici (aree, reti) pur essendo a volte più appropriati sono
meno usuali e quindi a volte presentano più difficoltà di lettura.
suggeriscono spesso una tendenza, a causa della
a tracciare una linea immaginaria che unisce le
colonnina (come una linea di orizzonte), che può
perché dipende dall'ordinamento dei dati
Una strada diversa è quella di creare una mappa grafica libera, in cui ad
ognuna delle parole-chiave selezionate corrisponde un nodo, e riportare
semplicemente il numero di occorrenze come etichetta di ogni nodo (vedi
*mappa_keywords.gif* ) o, meglio, in termini di dimensioni relative dei
nodi, o di luminanza, che sono elementi più facilmente percepibili. Nodi
più grandi o più scuri rappresentano così un numero più alto di
occorrenze. E' possibile anche evidenziare attraverso legami, come in una
vera mappa concettuale, il numero di co-occorrenze di termini.
Per avere una visione dinamica dell'andamento del corso occorrerebbe
però creare tante mappe quanti sono, ad esempio, i giorni di forum, e
visualizzarle in sequenza, per esempio creando una GIF animata oppure
uno slide-show.
L'idea di una rappresentazione dinamica (un'animazione) può essere
estesa anche agli altri tipi di grafici. In sostanza si tratta di riportare sulla
dimensione temporale una delle dimensioni spaziali (per esempio, l'asse
X di un grafico a barre) in modo da liberare una delle due dimensioni
spaziali per rappresentare altri dati e permettere una comprensione più
intuitiva del processo.
5. Interpretazione dei dati
L'interpretazione dei dati può procedere sia a partire da un'ipotesi (per
esempio, si vuole verificare se la distribuzione nei testi del forum di un
gruppo di termini chiave del corso va crescendo parallelamente con la
fruizione del corso da parte degli studenti) che si cerca di verificare.
Oppure, più semplicemente, si va alla ricerca di “emergenze”, di
configurazioni inaspettate, di polarità, di convergenze. Se i dati non sono
molti, e soprattutto se ci si aiuta con i grafici, con un po' d'esperienza è
possibile individuare abbastanza facilmente questo tipo di informazioni.
Un'altra direzione interessante è quella della ricerca di correlazioni tra le
occorrenze di un termine e altri dati disponibili (gli accessi alle unità del
corso in cui si parla di quei termini, o i risultati delle esercitazioni
relative).
Si può anche chiedere ai partecipanti di fornire la propria interpretazione
dei dati e dei grafici. Questo coinvolgimento è sempre significativo perché
sposta la responsabilità della valutazione su tutto il gruppo, e di
conseguenza aumenta la consapevolezza di tutti dei propri processi di
apprendimento e di interazione.
6. Scrittura di un report
A questo punto è possibile provare a riassumere l'interpretazione in
forma verbale. Gli elementi di questo report potrebbero essere:
1. il contesto (in che fase del corso si è deciso di analizzare i testi)
2. gli obiettivi della valutazione (le ipotesi da verificare)
3. gli indicatori che sono stati usati (la lista delle parole-chiave e delle
varianti)
4. i risultati raggiunti
5. le conclusioni.
Nel report possono essere inclusi alcuni grafici se rendono evidente le
basi su cui le conclusioni sono state tratte.
Il modello del report è tra i documenti allegati.
Se i corsisti sono daccordo, è possibile includere anche brani dei forum
come esemplificazioni di ciò di cui si parla, facendo attenzione al rispetto
della privacy di ciascuno.
DOCUMENTAZIONE
*foglio di calcolo per l'analisi dei messaggi di un forum* (valutazione_1.xls)
*foglio di calcolo per l'analisi lessicale dei messaggi di un forum* (valutazione_2.xls)
*scheda di analisi forum* (scheda_analisi_forum.rtf)
*file di esempio di un forum* (forum_1_esempio.xhtml)
*file di esempio normalizzato* (forum_1_esempio .csv)
*modello di report* (modello_report.doc)
Immagini allegate
*mappa_keywords.gif*
*torta_1.jpg*
*barre_1.jpg*
*torta_2.jpg*
*barre_2.jpg*
*rete_2.jpg*
BIBLIOGRAFIA
Banzato M., Apprendere in rete. Modelli e strumenti per l’e-learning, Torino, Utet
Libreria, 2002
Martinelli M., In gruppo si impara,
SEI, Torino, 2004.
Penge S., Terraschi M., Ambienti digitali per l'apprendimento, Anicia, Roma, 2004.
Talamo A., Zucchermaglio C., Inter@zioni. Gruppi e tecnologie. Roma, Carocci, 2003
Tasso C., Rossi P.G., Morandini A., Virgili C., Personalizzazione basata sull'analisi dei
contenuti per strumenti di comunicazione asincrona: il sistema ifFORUM, Atti 43°
Congresso AICA, AICA, Udine, 2005
Varisco B. M. , Metodi e paratiche di valutazione, Milano, Guerini, 2000.
Inoltre vedi la sitografia e la bibliografia allegata al materiale di studio "Valutazione di
un gruppo di apprendimento online"SITOGRAFIA
*Tutorial su excel* (http://pcdazero.it/2401_indice.php)
*T-lab* (http://www.tlab.it/it/presentazione.asp)
*AGNA* (http://www.geocities.com/imbenta/agna/)
*Uso dei sociogrammi*
(http://www.edscuola.it/archivio/psicologia/sociogramma.htm)
*Social Network Analysis* (http://it.wikipedia.org/wiki/Social_Network_Analysis)
Inoltre vedi la sitografia e la bibliografia allegata al materiale di studio "Valutazione di
un gruppo di apprendimento online"
