1 Associazione Nazionale Dirigenti Scolastici Sezione Provinciale di Viterbo Laboratorio dirigenti e docenti della provincia di Viterbo “Fare previsioni è molto difficile; specialmente se riguardano il futuro” Niels Bohr, fisico quantistico (consigli per l’INVALSI) L'IMPIEGO DEI MODELLI NEI PROCEDIMENTI VALUTATIVI (uno studio per il miglioramento della valutazione) DI GIUSEPPE GUASTINI DIRIGENTE SCOLASTICO DELL'I.C. “S. CANEVARI” DI VITERBO 1) LA NOZIONE DI “MISURA” In uno dei momenti più esaltanti dello sviluppo dell’autonomia il tema della “valutazione” ha a lungo tenuto banco nel dibattito pedagogico e in più di una circostanza ha tenuto insieme tanto la valutazione cosiddetta “di sistema” delle istituzioni scolastiche che quella degli apprendimenti degli studenti. In entrambi i versanti (organizzativo e didattico) la nozione di valutazione è strettamente connessa con quella di “misurazione”. La nozione di “misura” proviene dalle scienze cosiddette “esatte” e può trovare una sua determinazione storica quando Galileo Galilei, a cavallo fra il ‘500 e il ‘600, realizzò l’unificazione della “filosofia naturale” (così erano chiamate allora le scienze) con la matematica; operazione portata poi a compimento da Isaac Newton con la pubblicazione del famoso Philosophiae Naturalis Principia Mathematica del 1687. Ma la nozione di “misura” può essere integralmente trasferita dalle scienze ad altri ambiti ? La misura scientificamente impostata deve soddisfare almeno due istanze. 1- Istanza della convenzionalità: tutti i membri della comunità scientifica debbono essere perfettamente d’accordo su quello e come si vuole misurare e perfettamente in grado di riprodurre la misura. Questa istanza può essere rappresentata meglio mediante la nozione di “operazionalizzabilità”: tutti cioè debbono essere a conoscenza del metodo operativo alla base della misura. Per farvi rapidamente un’idea dell’importanza del metodo operativo pensate ad una gara di tiro a segno contro un bersaglio sulla base di 10 tiri fra due concorrenti; immaginate che il concorrente A faccia quattro centri pieni e sbagli completamente gli altri 6; il concorrente B non fa nessun centro pieno ma comunque resta sempre dentro il bersaglio; come stabilite chi ha vinto? Come si vede è necessario non soltanto disporre di un buon metodo di misurazione ma che questo sia lo stesso per tutti. 2- Istanza della quantificabilità: secondo la “fisica classica” (la fisica che da Galileo arriva alle soglie del ‘900) l’oggetto della misura deve potersi esprimere mediante il prodotto di un numero per una unità di misura, ad esempio: 12 m; 60 Km/h; 12°C etc oppure come numero di enti o eventi (ad esempio il numero di alunni per classe o il numero di ripetenze in un anno scolastico). Sempre per la fisica classica i numeri della maggior parte delle misure sono in realtà intervalli di incertezza entro i quali si ritiene probabile si trovi il “valore vero” il quale, per effetto di inevitabili errori (casuali 2 e sistematici) nei procedimenti di misura, non può essere “svelato”, ma solo approssimato (pensate alle difficoltà di misurare con esattezza la distanza fra la terra e il sole). Dopo la fisica classica la nozione di quantificabilità si è molto dilatata per effetto soprattutto della statistica con l’introduzione, fra l’altro, delle varie tipologie di “scale”, come le scale qualitative (ad esempio: insuffficiente, sufficiente, buono, distinto, ottimo) o quantitative (per reddito, punteggi etc; pensate che in tempi recenti sono stati sviluppati metodi operativi di “analisi sensoriale”, alcuni dei quali vengono correntemente impiegati per la valutazione delle qualità organolettiche di vini, oli e altri cibi). Da un punto di vista molto generale la quantificabilità può essere interpretata come la possibilità di collocare un determinato soggetto, dotato di una o più caratteristiche confrontabili, in uno spazio strutturato, ossia uno spazio materiale o concettuale nel quale viene stabilito un ordinamento interno (la misura delle lunghezze non è che uno spazio unidimensionale, da 0 a infinito, che ci permette di ordinare tutte le distanze, dal diametro dell’elettrone fino ai confini dell’universo). Se ad esempio riconsiderate il caso della gara di tiro a segno e nel bersaglio introducete un cerchietto centrale intorno al quale delimitate una serie di zone concentriche, tutti caratterizzati da un punteggio, avete ottenuto uno spazio strutturato che vi permette di collocare i concorrenti in una graduatoria. In modo analogo un “curricolo” o una griglia, unitamente a un sistema di prove diagnostiche e a una scala, costituiscono uno spazio strutturato in grado di decidere la collocazione di uno studente entro una sequenza progressiva di livelli di apprendimento e, conseguentemente, il tipo di interventi individualizzati da attuare. Tale siffatta nozione di quantificabilità contiene però almeno una premessa implicita che è bene portare alla luce: si ammette cioè di abitare in un mondo “deterministico”, governato dal cosiddetto “principio di causalità” per il quale gli “effetti” conseguono sempre a delle “cause” e, conoscendo le cause, è possibile prevedere in anticipo quali saranno gli effetti (come anche, rilevando gli effetti, è possibile risalire alle cause). Chi partecipa ad una gara di tiro a segno dà per certo che prendendo bene la mira otterrà un buon punteggio; in modo analogo, proponendo un buon insegnamento lo studente ne ricaverà certamente un miglioramento di profitto, raggiungendo gli obiettivi (ossia gli effetti attesi). 2) LA RIVOLUZIONE QUANTISTICA “Chi non è sconvolto dalla meccanica quantistica sicuramente non l’ha capita” Niels Bohr, fisico quantistico Nei primi decenni del ‘900 i fisici si sono occupati della struttura dell’atomo e hanno potuto verificare che la natura mostra comportamenti davvero strani che, al nostro livello di grandezza, non possiamo percepire (esattamente come per molti secoli non abbiamo avuto consapevolezza della forza di gravità, di quella elettromagnetica e di varie altre). La branca della fisica che più di ogni altra si occupa di queste faccende è la meccanica quantistica (fondata, fra gli altri, dal danese Niels Bohr, premio Nobel e uno dei più grandi geni del ‘900). I fisici chiamano “controintuitive” le stranezze della natura a questa scala di grandezza; la prima di queste stranezze è il celeberrimo “principio di indeterminazione” di W. Heisemberg, per il quale l’incertezza è una condizione strutturale della natura e non è possibile conoscere il valore “vero” di una misura; ciò che è stupefacente sta nel fatto che la ragione di questa inconoscibilità risiede non nell’inadeguatezza dei nostri procedimenti e dei nostri strumenti (che generano gli errori sistematici e casuali) ma perché il “valore vero”, letteralmente non esiste, nemmeno in linea di principio; se per ipotesi la natura potesse parlare, nemmeno lei lo saprebbe. Un’altra stranezza quantistica è la possibilità, per un sistema, di esistere contemporaneamente in stati diversi (il fisico E. Scrhödinger ha raccontato questa possibilità mediante il famoso “paradosso del gatto”, un esperimento concettuale in cui un gatto risulta contemporaneamente vivo e morto; per approfondimenti: http://it.wikipedia.org/wiki/Paradosso_del_gatto_di_Schr%C3%B6dinger ). Per la fisica quantistica gli eventi sono dominati non dai rapporti (prevedibili) di causa-effetto ma dal caso. Se ad esempio prendete un campione di sostanza radioattiva, una nota legge fisica vi permette di prevedere la percentuale di atomi che decadranno entro un certo intervallo temporale (e qui siamo ancora nel determinismo); la cosa sorprendente è che se invece del campione 3 considerate l’attore vero, cioè il singolo atomo, nessuno (nessuno!) potrà dirvi se questo si disintegrerà fra un millesimo di secondo, un giorno o fra duemila anni e non perché non abbiamo conoscenze e strumenti di osservazioni adeguati ma perché, se potesse parlare, nemmeno lui lo saprebbe. La previsione della legge del decadimento radioattivo non è che il prodotto statistico di miliardi di eventi indeterministici che si compensano dando luogo ad un effetto globale attendibile e misurabile. 3) I SISTEMI COMPLESSI “…se prendiamo tutto insieme - genio e stupidità, eroismo e abulia - è pur sempre la storia dei milioni di slanci e resistenze, di qualità, risoluzioni, istruzioni, passioni, rivelazioni ed errori che l’uomo medio riceve da ogni lato e da ogni lato ridistribuisce. In lui e in essa si mescolano gli stessi elementi; e in tal modo essa è in ogni caso la storia della media, o se si vuole la media di milioni di storie; e anche se dovesse rotare eternamente intorno alla mediocrità, che cosa ci sarebbe infine di più assurdo che rimproverare ad una media la sua mediocrità ?“ Robert Musil ; da “ L’uomo senza qualità “ Il riferimento alla fisica quantistica è importante non soltanto perché ci fa vedere il lato oscuro della natura ma soprattutto per via di talune analogie con i sistemi cosiddetti complessi, ossia sistemi caratterizzati da un gran numero di elementi e di interazioni i quali, come nella fisica quantistica (e nelle storie umane di Musil), manifestano comportamenti globali che non si possono derivare deterministicamente dai comportamenti elementari (pensate a sistemi quali una comunità umana, il tempo meteo etc). Per dare evidenza all’indeterminazione dei sistemi complessi solitamente si ricorre spesso alla citazione del cosiddetto paradosso della farfalla: “il battito d’ali di una farfalla a Pechino provoca un temporale a New York” (tecnicamente questa sorprendente correlazione di causa-effetto è chiamata “sensibilità alle condizioni iniziali”). E’ altamente probabile che fra i sistemi complessi si debbano includere sistemi o fenomeni quali la classe, l’apprendimento etc; se le cose stanno così il rapporto tra insegnamento e apprendimento non può essere considerato semplicemente di “causa-effetto” ma, a seguito del gran numero di interazioni di varia natura, esso è mediato da dinamiche dotate di una buona dose di incertezza. Ne consegue che il rapporto fra le attività di insegnamento e gli esiti di apprendimento è di tipo probabilistico e - in buona analogia col decadimento radioattivo - se non possiamo prevedere del tutto come reagirà il singolo alunno, possiamo però aspettarci che, su campioni di popolazione studentesca sufficientemente ampi, quanto migliore è la qualità dell'insegnamento tanto più alta risulterà la percentuale degli studenti che conseguiranno i più elevati traguardi dell'istruzione. Questa è una ragione più che sufficiente per la quale i sistemi scolastici dovrebbero dotarsi di buone metodologie di insegnamento e di valutazione di profitto. 4) I VOTI E L’INVALSI Le leggi scolastiche (L. 169/2008 e DPR 122/2009) parlano di “valutazione” e non espressamente di “misurazione”; tuttavia varie disposizioni (come l’Art. 3, comma 6 del DPR 122/2009) prescrivono la “media” dei voti e questo rinvia ad un contesto di quantificazione degli apprendimenti e, conseguentemente, alla nozione di misura. Domanda retorica: i voti scolastici posseggono consistenza scientifica? Sono sostenuti da un metodo operativo condiviso dalla comunità scolastica per il quale un 6 è 6 dappertutto? Purtroppo si deve riconoscere che il sistema istituzionale di misurazione degli apprendimenti nella scuola italiana è piuttosto carente in entrambe le istanze richiamate al paragrafo 1. Malgrado ciò occorre dare atto all’INVALSI (e ad altre agenzie simili) di aver sviluppato una metodologia di rilevazione/restituzione che invece presenta il requisito della scientificità; si potrà cioè opinare sui contenuti e i fini del metodo INVALSI ma non che esso abbia buone basi 4 scientifiche. Resta però da capire lo strabismo tra la qualità INVALSI e l’anascientificità del sistema valutativo istituzionale; basterebbe dare contegno scientifico a quest’ultimo e dell’INVALSI non ci sarebbe nemmeno bisogno. 5) QUI CI VUOLE UN MODELLO Nei paragrafi che seguono viene presentata una metodica valutativa, buona tanto nella valutazione di alcune tipologie di apprendimento che in quella di sistema, pensata per migliorare la qualità scientifica delle prassi valutative scolastiche. L’idea reggente di questo contributo è il principio per il quale il processo valutativo può essere governato meglio se si dispone di un modello in grado di identificare le variabili sensibili del sistema che si intende valutare e - soprattutto - fornire indicazioni utili per mettere a punto strategie di miglioramento. Il modo probabilmente più ergonomico per comprendere "cos'è" un modello è quello di partire da "a cosa serve" un modello. Guardati dal punto di vista funzionale i modelli mostrano almeno due interessanti caratterizzazioni. La prima caratterizzazione consiste naturalmente nella funzione di rappresentazione; in effetti la prima cosa che si pretende da un buon modello è quello di fornire una soddisfacente descrizione del sistema che è oggetto delle nostre attenzioni. Ma la rappresentazione da sola non è sufficiente, la descrizione dovrà anche risultare "significativa e sintetica", vale a dire conciliare l’esigenza dare evidenza ai tratti di maggior rilievo con quella di fare uso del quantitativo minimo di segni (condizione detta talvolta compressione dell’informazione o informazione non ridondante). Per farvi rapidamente un’idea della nozione “quantitativo minimo di segni” considerate il seguente problema: avete due sequenze di nove caselle ciascuna riempite con le vocali A, E ed O nel modo che segue: 1^ sequenza: A O E O E A O A E 2^ sequenza: A E O A E O A E O . Provate ora a fornire una descrizione delle due sequenze utilizzando la quantità minima di segni; per la prima sequenza (casuale) avete poche altre possibilità rispetto a quella di riportare l’intera successione delle vocali; per la seconda potete invece usare la formula sintetica: (A; E; O) x 3. Come si vede la formula fornisce una descrizione che richiede una quantità di simboli notevolmente inferiore rispetto alla modalità elencatoria e soprattutto fornisce immediatamente l'informazione maggiormente rappresentativa del sistema: la sua periodicità. Come si vede un buon modello dovrebbe: a) semplificare la visione del sistema-oggetto; b) circoscrivere e dare evidenza alle sue caratteristiche significative; c) ridurre al minimo il “linguaggio” da impiegare per descrivere il sistema. Se si escludono i modelli numerici e quelli logico-matematici, le rappresentazioni più frequenti fanno uso del canale iconico-verbale. La seconda caratterizzazione potrebbe essere denominata funzione di mediazione; questa espressione consegue al fatto che i modelli operano non di rado come anello di congiunzione fra il livello della "teoria" e quello "dell’esperienza", nella duplice direzione: a) esperienza teoria; lo sviluppo di modelli rappresenta la fase intermedia della elaborazione che dalle osservazioni empiriche procede verso la formulazione di teorie compiute (per questa ragione i modelli sono talvolta detti "quasi-teorie"); b) teoria esperienza; il modello opera quale mediatore in grado di dare visibilità agli aspetti più astratti della teoria mediante la connessione con il concreto; in questo senso esso facilita i collegamenti (e la comprensione) fra le dimensioni sintattico-formale e quella semantica della teoria. Questa funzione è alla base della grande diffusione dei modelli in campo didattico. 5 Per ragioni di economia argomentativa l’intera classe dei modelli chiamati in causa in questo studio viene raggruppata entro due categorie generali: a) modelli strutturali; b) modelli per indicatori. I modelli strutturali rendono una rappresentazione per così dire anatomo/fisiologica, per lo più qualitativa, del sistema-oggetto; confidando nella resa esemplificativa piuttosto che nell'ostensione dottrinaria potete accorciare i tempi di comprensione richiamandovi ad un campione scelto per la sua efficacia paradigmatica, prelevato dalla famiglia dei modelli solitamente impiegati nella teoria della comunicazione: c o emittente (codificazione) c o n t e s t o messaggio n t a t t o (decodificazione) ricevente Come potete vedere questo modello fornisce una descrizione sintetica ma molto efficace di un fenomeno particolarmente complesso come quello della comunicazione. In altri termini il modello risulta molto analitico ma anche molto economico. 6) I MODELLI PER INDICATORI I modelli per indicatori tengono conto essenzialmente delle fisiologie dei sistemi ma si differenziano dai modelli strutturali principalmente per due ragioni: a) per il fatto che si applicano per lo più ai sistemi governabili, vale a dire ai sistemi che possono essere orientati in funzione di richieste, interne o esterne; b) perché, in varie applicazioni, consentono di introdurre una dimensione quantitativa o semiquantitativa. In effetti gli indicatori sono “stereotipi”, ossia punti di vista precostituiti attraverso i quali l’analista interessato osserva, classifica e dà significato allo sciame dei dati fenomenici elementari espressi dal sistema, allo scopo di orientare e modulare meglio l’azione di governo. ESEMPIO Immaginate di dover misurare la QUALITA’ DELLA VITA DELL’IMPIEGATO PUBBLICO. Si tratta, come si vede, di una misura alquanto particolare, che richiede di considerare molti fattori; da dove cominciate? Il primo dato che probabilmente vi viene in mente è: quanto guadagnano ? Ragionando ulteriormente vi verranno certamente in mente altre opzioni: hanno altri redditi ? Qual è la loro composizione famigliare ? In che tipo di abitazione vivono ? Quante volte vanno al cinema ? Etc. Come vedete via via vengono fuori un gran numero di dati empirici interessanti, ossia dati direttamente osservabili e raccogliere presso il “sistema”, ossia gli impiegati. Questa operazione di raccolta dei dati empirici riesce meglio se si dispone di un modello per indicatori in grado di funzionare come indirizzatore e facilitatore nella raccolta delle manifestazioni, ad esempio: - status reddituale; - status professionale; - condizione famigliare; - contesto abitativo; - accesso ai servizi socio-culturali; - etc. Si tratta, come si può intuire, di istituire un certo numero di categorie sulla base di due criteri: - criterio di significanza: le categorie/indicatori devono risultare rappresentativi del sistema e significativi per gli scopi del valutatore; - criterio di discriminazione: gli indicatori operano sulla base di proprietà, qualità o attributi, definiti con una precisione tale da rendere immediatamente un criterio di decisione in ordine alla riconducibilità/non riconducibilità di ciascun dato empirico rilevato rispetto ai vari indicatori istituiti. 6 azione di governo 1 1 1 1 1 2 2 2 2 3 3 SISTEMA sciame dei dati empirici (DE) espressi dal sistema 3 INDICATORI VALUTATORE Chiameremo dominio il complesso delle proprietà o attribuzioni che determinano il campo di copertura di un indicatore determinato (ad esempio, nell’indicatore “status reddituale” rientrano dati empirici quali stipendio, incentivi, altri redditi, benefit, agevolazioni etc). La modellizzazione ideale dovrebbe realizzare due condizioni ottimali: a) tutti i dati empirici significativi riguardanti il sistema oggetto della misura vengono intercettati dal gruppo degli indicatori; b) nessuna ambiguità sussiste nel ricondurre un determinato dato empirico al corrispondente indicatore. L’esperienza mostra tuttavia come questa coppia di condizioni sia difficilmente realizzabile; bisogna inoltre considerare che quanto più la modellizzazione risulterà efficace, tanto più l’azione di governo sarà in grado di influenzare il sistema e la sua evoluzione. Conseguentemente è molto probabile che il valutatore debba a sua volta procedere al riadattamento periodico del sistema degli indicatori. ESEMPIO SCOLASTICO Prendiamo in esame la possibilità di costruire un modello per indicatori da impiegare nella valutazione del “comportamento” degli studenti. Considerato che la valutazione scolastica assolve ad almeno tre funzioni fondamentali: - funzione proattiva, interessata a orientare e facilitare processi di miglioramento; - funzione riflessiva, volta a innescare forme di auto-conoscenza e di auto-miglioramento; - funzione certificativa, destinata a definire il sistema delle competenze e dei crediti cumulati dallo studente; ciò che sopra abbiamo indicato con l’espressione “dati empirici” verrà ora denominato con la formula “elementi diagnostici”, per sottolineare l’intenzionalità positiva contenuta nel dato. Il nostro modello potrebbe funzionare con due indicatori (le lettere tra parentesi vi aiuteranno nella collocazione dei vari elementi diagnostici): 1) indicatore di comportamento sociale: dominio: - (a) relazionalità (qualità dei rapporti con gli altri attori della comunità scolastica); - (b) osservanza dei regolamenti; - (c) autocontrollo verbale, motorio, emotivo. 2) indicatore di comportamento di lavoro: dominio: - (d) sfera conativa: concentrazione, impegno, durata dei tempi di lavoro, portare a termine le consegne etc; - (e) cura e organizzazione degli strumenti e dei tempi di lavoro. . Qui sotto invece sono riportati alcuni specifici comportamenti effettivi espressi da uno studente e registrati dai docenti, ossia ciò che abbiamo appena chiamato “elementi diagnostici”: 7 - “aiuta i compagni nello studio (a)” - “porta regolarmente le giustificazioni delle assenze (b)” - “porta regolarmente libri, quaderni e i materiali di lavoro (e)” - “si impegna sino a portare a termine le consegne (d)” - "piange se richiamato (c)” - “ripete in modo continuo ed inopportuno le espressioni di un noto attore comico (c)” - “dopo essere stato informato, ha smesso di fumare ed usa il casco quando guida il ciclomotore (b)” - " si muove spesso nell'aula (c)". Come potete osservare, il modello, con un piccolo numero di indicatori (due), è in grado di rendere disponibili: - una rappresentazione sintetica ma sufficientemente completa ed analitica di quanto solitamente viene associato al termine "comportamento"; - un criterio di rilevazione e classificazione delle singole manifestazioni dello studente. ************************************************ In talune fortunate circostanze gli indicatori possono essere resi graficamente attraverso assi orientati che ne mettono in evidenza la natura dinamica ed evolutiva (e di governo) e introducono la dimensione semiquantitativa; SIMULAZIONE: L’alunno A si trova qui L’alunno B si trova qui ind. Comportamento sociale DIREZIONE EVOLUTIVA Un'interessante variante degli indicatori di tipo dinamico-evolutivo è costituita dagli Indicatori bipolari ossia una tipologia di indicatori caratterizzati dalla presenza del connettivo “vs” (“opposto a...” ad esempio: “aperto vs chiuso”). Questo tipo di modellizzazione può essere reso graficamente mediante assi bipolari del tipo seguente: io mi trovo qui aperto chiuso Si tratta di una tipologia di indicatori particolarmente utile nelle strategie di governo di sistemi per i quali occorre stabilire la collocazione rispetto a condizioni convenzionalmente ritenute termini di riferimento critico. DIMOSTRAZIONE: CARATTERI DEL MANAGEMENT SCOLASTICO scuola A integrato scuola B individualista democratico autoritario cooperativo competitivo In questa simulazione si vede come due scuole potrebbero collocarsi rispetto a tre bipolarità assunte quali termini criteriali di confronto critico. 8 7) LA DIMENSIONE QUANTITATIVA Nell’ambito di un sistema di indicatori (che chiameremo “di processo” ) è talvolta possibile istituire criteri di scala e, conseguentemente, indicatori di livello: indicatori di livello liv. 1 | liv.0 | liv. 2 | liv.3….. | indicatore di processo (ad esempio: comportamento sociale) ....e in un trimestre devi arrivare qui Tu ti colloqui qui liv.0 | liv. 1 | liv. 2 | liv.3….. | Le situazioni più interessanti dal punto di vista valutativo sono quelle che possono essere descritte mediante un opportuno incrocio di indicatori di processo e indicatori di livello: Questo è il mio profilo indicatori di livello liv. 0 liv. 1 liv. 2 .......... liv. n asse 1 indicatori di processo asse 2 asse 3 asse k sistema di indicatori di processo e di livello Questo significa che il sistema: 1) nell’indicatore “asse 1” non ha effettuato il minimo sviluppo; 2) nell’indicatore “asse 2” ha realizzato un certo sviluppo; 3) nell’indicatore “asse 3” ha realizzato un modesto sviluppo; 4) nell’indicatore “asse 4” ha realizzato il massimo sviluppo. Si tratta in sostanza di mettere a punto: a) una lista di “indicatori di processo” effettivamente rappresentativi delle componenti sensibili del sistema che si intende valutare, ad esempio un alunno o l’intera scuola; b) una sequenza di livelli di sviluppo del sistema trasversale a tutti gli indicatori di processo “a”; c) un sistema di rilevazione oggettivo che consenta di rilevare la posizione del sistema nella sequenza dei livelli “b”. Un sistema siffatto consente: 9 - di circoscrivere le osservazioni intorno alle variabili significative; - collocare e interpretare strategicamente le singole manifestazioni elementari del sistema; - di individuare i punti di forza e di debolezza del sistema; - effettuare valutazioni comparative fra sistemi simili ed elaborazioni statistiche di scala; - facilitare l'auto-valutazione e definire gli obiettivi di sviluppo; - delineare strategie di governo, di allocazione delle risorse e di recupero dei deficit di produttività. 8) ALCUNE APPLICAZIONI Nelle parti che seguono vengono mostrate due possibili applicazioni valutative del modello per indicatori: alla valutazione degli apprendimenti (8-A) e alla valutazione di sistema (8-B). 8 - A) UN SISTEMA DI INDICATORI PER LA VALUTAZIONE DELLE “OPERE APERTE” In questo paragrafo potete visionare un’applicazione del modello per indicatori nella misurazione ad una particolare categoria di apprendimenti. Prima di approfondire questa metodica è opportuno chiarire un interrogativo: in quali circostanze ha senso l’impiego di questo tipo di modelli nella misurazione degli apprendimenti ? Per rispondere a questa domanda occorre preliminarmente richiamare due importanti aspetti generali inerenti alla valutazione degli apprendimenti. Primo aspetto: la qualità del segnale Una delle più interessanti peculiarità degli apprendimenti intenzionali scolastici sta nel fatto che gli “elementi diagnostici” (cfr paragrafo 6) debbono essere raccolti per effetto di un opportuno e ben calibrato stimolo; sotto un certo punto di vista la valutazione può essere equiparata ad un telerilevamento: il valutatore invia un segnale-stimolo (test, colloqui, elaborati scritti etc) allo studente e ne capta e interpreta l’eco di ritorno (ciò che solitamente chiamiamo “correzione”). Questa circostanza richiama l’analogia con l’ecografia: V A L U T A T O R E stimolo-segnale (test, colloquio, eleborati etc) eco di ritorno (risposte, prodotto scritto etc) Dallo schema si rileva l’importanza della qualità del segnale: questo dovrà essere tarato in ragione delle peculiari caratteristiche dell’apprendimento che si vuole valutare. Secondo aspetto: i “prodotti” dell’apprendimento Avendo richiamato l’importanza del “segnale”, è necessario ora sottolineare un’altra importante distinzione: quella fra “apprendimenti operazionalizzabili” e “opere aperte”. Nella categoria degli apprendimenti classificati come operazionalizzabili rientrano quelli i cui elementi diagnostici (cioè i “prodotti” che esaminiamo a scopo valutativo: risposte a test, esercizi etc) risultano caratterizzati da un’alta dose di univocità, fatto che, per taluni aspetti, li rende simili alle tradizionali operazioni aritmetiche, del tipo 5 + 3 = 8, dove il risultato è uno solo e completamente determinato dai termini a sinistra dell’eguaglianza. Se ad esempio sottoponete un testo ad un studente e gli chiedete di sottolineare tutti i verbi della prima coniugazione, anche in questo caso il risultato atteso è completamente determinato: egli dovrà effettivamente sottolineare 1 0 tutti e solamente i verbi che, all’infinito, terminano in are. Situazioni analoghe si riscontrano nelle “traduzioni”, dove il testo tradotto dovrà essere una fedele trascrizione della lingua originale, nei calcoli matematici, nelle dimostrazioni, nelle applicazioni delle leggi scientifiche, nelle interrelazioni storico-geografiche etc. Questa condizione di univocità non si riscontra però in tutte le situazioni valutative; se ad esempio chiedete allo studente di scrivere un saggio o un componimento ideativo, di fare un disegno, una pittura etc su un tema assegnato, al di là di alcune convenzioni generali, egli potrà procedere secondo una gamma praticamente illimitata di opzioni argomentative, lessicali, stilistiche etc; prodotti finali molto diversi potranno dar luogo a esiti valutativi sostanzialmente simili. Chiamiamo i prodotti di questa seconda tipologia di apprendimenti con il termine generale di “opere aperte” (la scuola dovrebbe persino incentivare la variabilità espressiva). E’ in questa particolare tipologia che possono trovare utile applicazione i modelli valutativi per indicatori: TIPOLOGIE DEGLI APPRENDIMENTI apprendimenti operazionalizzabili opere aperte METODICHE VALUTATIVE test, prestazioni, quesiti, problemi etc modelli per indicatori Qui di seguito è riportato un sistema di indicatori di processo da impiegare nella valutazione del testo ideativo e di altri prodotti di apprendimento classificabili come opere aperte. INDICATORI DI PROCESSO PER LA VALUTAZIONE DEL TESTO IDEATIVO A) RISPETTO DEI VINCOLI 1) indicatore funzionale; dominio: il testo dovrà risultare coerente con la funzione comunicativa richiesta e le caratteristiche del destinatario (ad esempio lettera ad un amico, articolo di cronaca, editoriale, saggio, composizione di fantasia etc). L’indicatore funzionale include anche vincoli di lunghezza (esempi: una pagina, due colonne etc) e tematici (il testo dovrà effettivamente sviluppare gli argomenti proposti). B) ORGANIZZAZIONE TESTUALE 2) Indicatore di partizione; dominio: a) uso appropriato di capitoli, paragrafi, titoli, sottotitoli, occhielli etc, che dovranno risultare in grado di conferire macro-organizzazione al testo e orientare il lettore; b) sequenzialità, gerarchia, distribuzione ed equilibrio delle parti. 3) Indicatore terminologico; dominio: impiego appropriato di termini ordinari e specialistici. 4) Indicatore di periodizzazione; dominio: a) organizzazione e intellegibilità delle frasi (lunghezza, chiarezza dei rapporti inter-proposizionali; scansione logica e/o psicologica); b) punteggiatura e scelta negli “a capo”. 5) Indicatore di argomentazione; dominio: presenza appropriata di: a) richiami esterni (citazioni, autori, documentazioni etc) e interni (ad altre parti del testo), uso delle note, parentesi esplicative etc; b) spiegazioni, motivazioni, deduzioni/induzioni, ipotesi, conclusioni etc; c) giudizi, valutazioni etc sulla base di criteri o valori. C) STILE ESPRESSIVO 6) Indicatore di registro; dominio: impiego appropriato di a) stile formale, informale, declamatorio, referenziale, egocentrico; scelta del soggetto narrante, rapporti con l’oralità etc; b) aggettivazioni emozionali del tipo “luce fredda”, “personaggio untuoso”, “esperienza dell’impossibile” etc; c) enfasi, frasi ad effetto, frasi fatte, stilemi, stereotipi, traslati e altre figure retoriche, esclamativi, interrogativi etc. 1 1 7) Gestione dello spazio grafico e calligrafia; dominio: formalizzazione di lettere e parole, spaziature, mantenimento del rigo, rispetto dei margini; uso di evidenziatori, virgolette, maiuscole, sottolineature, caratteri speciali etc. D) REAZIONE DEL VALUTATORE: 8) indicatore di gradevolezza: intellegibilità del testo, piacevolezza alla lettura, capacità di suscitare emozioni; 9)indicatore di contenuto: validità e profondità dei contenuti. Se siete rimasti colpiti dalla mancanza di un indicatore specifico relativo alla correttezza ortografica, sintattica e grammaticale dovete considerare che tale aspetto può essere assai meglio valutato mediante prove più appropriate e mirate (ad esempio attraverso test opportunamente pre-strutturati e tarati, schede etc). Questo perché la valutazione orto-sintattica e grammaticale appartiene alla tipologia che abbiamo classificato come operazionalizzabile. La presenza dell’indicatore orto-sintattico e grammaticale è invece utile tutte le volte in cui la composizione scritta è istituzionalizzata ed è l’unica a fornire elementi di giudizio relativi alla produzione scritta (come negli esami di fine ciclo). In altri termini, la modalità valutativa orto-sintattica e grammaticale è una scelta collegata alla “qualità del segnale”. Come si vede, con 7 indicatori (più i due del valutatore), si dispone di uno sguardo multidimensionale sufficientemente completo con cui analizzare il testo ideativo. ***************************************** Se invece il prodotto è costituito dalla riproduzione a matita di un modello materiale gli indicatori di processo potrebbero essere i seguenti: 1) scelta del punto di vista: ove non assegnato, individuazione del punto di sguardo (vicino/ lontano, basso/alto etc) utile per dare evidenza alle caratteristiche del modello materiale o alle intenzioni espressive del disegnatore; 2) fedeltà al modello: riproduzione delle parti; resa dei materiali e dei rapporti dimensionali, evidenza dei particolari; 3) sviluppo grafico: tratto grafico, scale e ombreggiature, effetti spaziali, profondità, rilievi, inserimenti di elementi particolari etc; 4) reazione del valutatore: aspetti tecnici, capacità di suscitare emozioni. GLI INDICATORI DI LIVELLO Per gli indicatori di livello può risultare conveniente utilizzare una scala omogenea di tipo “universale” pentenaria, del tipo di quella che segue. livello 0 : CARENZIALITA’ nell’indicatore di processo considerato il prodotto non esibisce aspetti, elementi o tracce di consistenza tale da poter essere significativamente ricondotti alle richieste ed alle caratteristiche implicate nell’indicatore medesimo. DIMOSTRAZIONE prodotto: “saggio scritto sul rapporto fra emissioni industriali e surriscaldamento planetario”; indicatore di processo: funzionale L’elaborato è molto breve e tratta dell’inquinamento in forma generica senza affrontare il problema del surriscaldamento della Terra. Livello 1: PARZIALITA’ nell’indicatore di processo considerato il prodotto esibisce nuclei e aspetti parziali riconducibili alle caratteristiche ed alle richieste implicate nell’indicatore medesimo. 1 2 DIMOSTRAZIONE prodotto: “riproduzione a matita di un modello materiale” (colonna di marmo con capitello a fiori e volute); indicatore di processo: scelta del punto di vista il punto di osservazione scelto non dà sufficiente evidenza a elementi importanti del capitello indicatore di processo: fedeltà al modello Il disegno riproduce unicamente il profilo della colonna. livello 2: ESSENZIALITA’ nell’indicatore di processo considerato il prodotto riporta i tratti essenziali che soddisfano la soglia minima delle richieste implicate nell’indicatore medesimo. DIMOSTRAZIONE prodotto: “riproduzione a matita di un modello materiale” (colonna con capitello); indicatore di processo: fedeltà al modello Richiamato che l’indicatore comprende: 1) riproduzione delle parti, 2) resa dei materiali, 3) rapporti dimensionali, 4) evidenza dei particolari; il disegno: - riproduce tutte le parti: colonna, capitello etc; - rende la consistenza marmorea; - riproduce alcuni dettagli. livello 3: COMPLETEZZA nell’indicatore di processo considerato il prodotto risulta coerente con l’intera estensione delle richieste implicate nell’indicatore medesimo. DIMOSTRAZIONE prodotto: articolo-editoriale, impaginato in videoscrittura, sull’immigrazione extracomunitaria nella provincia della scuola; indicatore di processo: partizione L’articolo propone corpi ed impaginazione corretti e ben distribuiti con titoli, sottotitoli ed occhielli, testo, foto e didascalie di diversa grandezza, chiari ed in grado di attirare e orientare l’attenzione del lettore. L’articolazione delle parti rileva, con segmenti testuali dedicati ed equilibrati, aspetti introduttivi, dati generali, storie personali distribuiti secondo un ordine logico-gerarchico orientato a facilitare la comprensione da parte del lettore e lo sviluppo di considerazioni soggettive. livello 4: PERSONALIZZAZIONE nell’indicatore di processo considerato il prodotto mette in evidenza, oltre i caratteri del livello 3, arricchimenti, approfondimenti e soluzioni personali e originali. DIMOSTRAZIONE A prodotto: modello materiale di un circuito elettrico con componenti assegnate; indicatori di processo: 1) fedeltà componentistica (il modello deve contenere tutte le componenti assegnate (pila, fili, n° delle diramazioni, interruttori, lampadine, motorino etc); 2) funzionalità: razionalità e facilità d’impiego, economia, funzionamento delle singole parti. Indicatore di processo considerato: funzionalità Il modello è stato realizzato su un supporto piano rialzato opportunamente verniciato e inclinato verso l’osservatore con una targhetta recante una denominazione spiritosa. Tutte le parti sono funzionanti, facilmente accessibili e disposte in modo razionale e rese ben evidenti mediante disegni e rilievi originali e spiritosi; all’accensione si ascolta una musica di accompagnamento. Sono anche presenti etichette colorate con istruzioni, precauzioni e le possibili varianti funzionali. 1 3 DIMOSTRAZIONE B prodotto: recitazione in lingua inglese secondo un copione; indicatori: 1) intellegibilità del parlato; dominio: chiarezza delle parole, pause corrispondenti alla punteggiatura, tonalità corrispondenti agli interrogativi e esclamativi; 2) pronuncia; dominio: le parole dovranno essere rese in conformità con il contesto di riferimento (storico, contemporaneo, slang etc); 3) espressività vocale; dominio: uso appropriato di strategie espressive quali cambi di velocità, di tono, di volume etc; 4) collocazione spaziale e espressività mimico-posturale; scelta della posizione nello spazio scenico, accompagnamento dell’espressività vocale con opportune modulazioni mimiche e posturali. Indicatore considerato: espressività vocale Lo studente impiega e coordina in modo particolarmente originale ed efficace cambi di tono e di volume della voce, del ritmo, della lunghezza delle pause in coerenza con le intenzioni espressive del copione. LA CONVERSIONE DEGLI INDICATORI IN VOTO Dal momento che le leggi scolastiche attuali richiedono l’impiego di voti decimali, risulta utile un procedimento in grado di convertire la valutazione per mezzo di indicatori in un indicatore numerico 0 – 10. Si tratta, come spesso accade quando si tratta di convertire parametri di funzionamento che conseguono agli statuti della psicologia e dell’epistemologia in quantificatori che invece obbediscono alle leggi dell’aritmetica, di opzioni dotate di un certo grado di arbitrarietà e di imprecisione. Tuttavia si tratta di conversioni largamente diffuse e utilizzate in un gran numero di casi (pensate ai punteggi INVALSI o alle graduatorie di merito); conviene quindi attrezzarsi per rendere questa particolare conversione quanto più corretta possibile. Qui è presentata un’opzione basata sulla metodica della media ponderata. La media ponderata è un particolare tipo di media, che differisce dalla media semplice, per il fatto che i singoli contributi numerici che concorrono alla media finale sono corretti sulla base di un parametro denominato peso che esprime (diciamo) l’importanza relativa di quel contributo. Immaginate ad esempio di fare la normale media (detta media aritmetica semplice: MAS) fra i seguenti voti: Italiano: 7 Matematica: 6 Educazione fisica: 8 la MAS che ne risulta è: (7+6+8) / 3 = 21/3 = 7. Immaginate ora di non considerare le tre discipline egualmente importanti ma di attribuire a esse un diverso valore o peso e questo valore possa essere espresso mediante un numero, come nell’esempio che segue: DISCIPLINA Italiano Matematica Educazione fisica VOTO 7 6 8 PESO 3 2 1 Questa attribuzione implica che in quel contesto l’Italiano è apprezzato tre volte più dell’Educazione fisica e la Matematica due volte; il valore relativo dell’Italiano rispetto alla Matematica è invece di 3 a 2 (ossia l’Italiano è considerato 1,5 volte più importante della Matematica). La formula della media ponderata è la seguente: 1 4 Mp = (V1 x P1 + V2 x P2 + V3 x P3) / (P1 + P2 + P3 ) per cui: Mp = (7 x 3 + 6 x 2 + 8 x 1) / (3+2+1) = (21+12+8) / 6 = 41 / 6 = 6,83 Come si vede la Mp è risultata leggermente inferiore alla MAS, proprio per il fatto che l’Educazione Fisica, ossia la disciplina che gode del miglior voto, ha però un peso inferiore rispetto alle altre materie (dalle formule si vede come la MAS sia un caso particolare di Mp; quando cioè i vari contributi hanno il medesimo peso). Per applicare correttamente la Mp occorre seguire i seguenti passi: 1) assegnare preliminarmente a ciascun indicatore di livello un voto o un range: INDICATORE DI LIVELLO livello 0 : CARENZIALITA Livello 1: PARZIALITA’ livello 2: ESSENZIALITA’ livello 3: COMPLETEZZA livello 4: PERSONALIZZAZIONE VOTO O RANGE 0-3 4-5 6 7-8 9 - 10 2) assegnare a ciascun indicatore di processo un peso, come nell’esempio che segue: VALUTAZIONE DEL TESTO IDEATIVO INDICATORE DI PROCESSO 1) Indicatore funzionale 2) Indicatore di partizione 3) Indicatore terminologico 4) Indicatore di periodizzazione 5) Indicatore di argomentazione 6) Indicatore di registro 7) Gestione dello spazio grafico e calligrafia 8) Indicatore di gradevolezza 9)Indicatore di contenuto PESO 1,5 1 1,5 1 2 1 0,5 0,5 0,5 3) avendo esaminato uno specifico elaborato, in ragione della qualità di questo e sulla base delle specificazioni della scala degli indicatori di livello, attribuire il voto, selettivamente a ciascun indicatore di processo (quando ad uno specifico livello corrisponde non un singolo voto ma un range, nell’ambito di questo scegliere il voto meglio rappresentativo della qualità dell’elaborato nel dominio relativo all’indicatore di processo considerato). SIMULAZIONE VALUTAZIONE DEL TESTO IDEATIVO DI MARIO ROSSI INDICATORE DI PROCESSO 1) indicatore funzionale 2) Indicatore di ripartizione 3) Indicatore terminologico 4) Indicatore di periodizzazione 5) Indicatore di argomentazione 6) Indicatore di registro INDICATORE DI LIVELLO ATTRIBUITO DAL VALUTATORE livello 1: PARZIALITA’ livello 2: ESSENZIALITA’ livello 2: ESSENZIALITA’ livello 2: ESSENZIALITA’ Livello 1: PARZIALITA’ livello 2: ESSENZIALITA’ VOTO PESO 5 6 6 6 4 6 1,5 1 1,5 1 2 1 1 5 7) Gestione dello spazio grafico e call. 8) indicatore di gradevolezza 9)indicatore di contenuto liv. 0 liv.1 7 6 6 livello 3: COMPLETEZZA livello 2: ESSENZIALITA’ livello 2: ESSENZIALITA’ liv. 2 liv.3 0,5 0,5 0,5 liv. 4 ind. funzionale ind. ripartizione ind. terminologico ind. di periodizzazione ind. di argomentazione ind. di registro gestione spazio grafico e call. gradevolezza contenuto Calcoli: Mp = (5x1,5 + 6x1 + 6x1,5 + 6x1 + 4x2 + 6x1 + 7x0,5 + 6x0,5 + 6x0,5) / (1,5+1+1,5+1+2+1+0,5+0,5+0,5) Mp = (7,5 + 6 + 9 + 6 + 8 + 6 + 3,5 + 3 + 3 ) / 9,5 = 52 / 9,5 = 5,45 approssimabile a 5. 8 - B) UN SISTEMA DI INDICATORI PER LA VALUTAZIONE DI SISTEMA DELLE SCUOLE In questo paragrafo viene presentato un modello per indicatori da impiegare nella valutazione di sistema delle istituzioni scolastiche. GLI INDICATORI DI PROCESSO Gli indicatori di processo selezionati per le scuole sono: 1) indicatore gestionale; dominio: - gestione delle risorse: umane, strumentali, finanziarie, del territorio; - organizzazione logistica; - comunicazione interna/esterna; 2) indicatore didattico; dominio: - pianificazione/progettazione; - comunicazione didattica; - valutazione formativa/certificativa; - inclusione; 3) indicatore relativo al funzionamento degli organi collegali; dominio: - regolamentazione; - partecipazione; - produttività; 1 6 4) indicatore delle relazioni socio-professionali; dominio: - codice etico interno; - gestione dei conflitti. GLI INDICATORI DI LIVELLO Per la definizione degli indicatori di livello si fa ricorso alla metodica dei “descrittori formalizzati”, ossia strutture testuali sintetiche in grado di fornire l'informazione sufficiente a decidere l'appartenenza/non appartenenza, nell'indicatore di processo di volta in volta considerato, di una determinata istituzione scolastica (I.S.) ad una condizione di sviluppo predeterminata, denominata “profilo di sviluppo”. I profili di sviluppo sono definiti: a) sulla base di standard e riferimenti concretamente riscontrabili nelle pratiche correnti; b) secondo una progressione gerarchico-evolutiva; b) in modo da risultare trasversali al sistema degli indicatori di processo. PROFILI DI SVILUPPO Livello 0: “anomia” Il sistema è “non orientato”. E’ irrilevante il “fattore di governo”: l’insieme risente fortemente delle caratteristiche individuali dei singoli; ciascun operatore lavora e si comporta in modo sostanzialmente indipendente dagli altri, sulla scorta della propria esperienza e della propria ideologia professionale. Procedure caratterizzate da alta compartimentazione ed individualismo; comportamenti professionali oscillanti fra il bisogno di proteggersi entro le consegne puramente formali e la reazione conflittuale. Gli obblighi di natura individuale vengono disimpegnati in modo ripetitivo, secondo il criterio del minimo sforzo; quelli collegiali ricadono per lo più su alcuni volenterosi. Livello 1: “nuclearità” In una situazione ancora non orientata, si rilevano tuttavia significativi “nuclei di sviluppo ”, assimilabili ad embrioni delle “procedure esperte” caratteristiche del livello successivo. Dal punto di vista processuale i “nuclei” possono rappresentare una fase molto importante nella transizione verso la qualità, in quanto destinatari di possibili strategie di completamento o generalizzazione. Sotto questo aspetto i nuclei possono presentarsi almeno attraverso due diverse varianti, a seconda del fatto che stiamo considerando un'area intensiva (interamente ricadente nella sfera di responsabilità di un unico soggetto: ad esempio l'azione di gestione del dirigente scolastico) o estensiva (di competenza di un organo collegiale o di un gruppo; ad esempio la comunicazione didattica da parte dei docenti). Nel caso di componenti intensive, la “nuclearità” potrà consistere nell’avvio di “una parte” delle specificazioni caratteristiche del profilo della “procedura esperta” (vedere punto successivo). Per le componenti estensive, la nuclearità implica il coinvolgimento di una quota significativa di soggetti membri del gruppo di riferimento, nelle attività contemplate dal profilo del “sistema esperto”. Livello 2 “sistema esperto” Il “fattore di governo” ha un peso rilevante nell’organizzazione dell'I.S.: sono rilevabili elementi di produttività non immediatamente deducibili dalle caratteristiche dei singoli, quale valore aggiunto per effetto dello sviluppo organizzativo. In termini organizzativi la condizione esperta può essere ricondotta a tre caratterizzazioni principali: a) progettazione: l’azione “esperta” si basa su un disegno che ne individua le variabili sensibili, le interazioni in atto e quelle possibili, gli attori, le modalità etc; in altri termini l'azione esperta si basa su di un “protocollo di qualità”; b) conformità con la “regola dell’arte”: la procedura deve risultare conforme con i migliori 1 7 sviluppi che la ricerca e la prassi rendono al momento disponibili; c) completezza/generalizzazione; - nelle componenti intensive, ossia sotto la diretta gestione di un unico soggetto o organo la procedura esperta deve comprendere l’intero spettro delle attività e dei processi previsti dal protocollo (completezza); - nelle componenti estensive, ossia affidate ad un gruppo ad alta numerosità la procedura esperta deve impegnare la totalità degli operatori del settore interessato (generalizzazione). Con una metafora terapeutica si potrebbe paragonare il livello “nucleare” al medicinale per uso topico, il livello “esperto” a quello sistemico. Livello 3: “caratterizzazione” (oltre il “sistema esperto”) Con questo termine viene designato quanto solitamente viene associato alla “personalità”, allo “stile” (cioè al “carattere”) che l’I.S. ha assunto e che la rendono riconoscibile nel territorio. Oltre che per le caratteristiche indicate al precedente livello, l’istituto ha sviluppato una particolare sensibilità (e visibilità) per la creatività, l’ innovazione, la sperimentazione e la ricerca. Il livello “caratterizzazione” svolge un ruolo strategico nell’ambito dello sviluppo organizzativo in quanto le pratiche innovative attivate - ove validate - sono destinate a divenire il nuovo termine di riferimento per il “sistema esperto”e a venir sostituite da ulteriori esperienze pilota; la prospettiva che ne consegue è un’idea di qualità come processo di frontiera, dinamico, in continuo divenire evolutivo, nel cui ambito la “caratterizzazione” detiene la stabile provvisorietà dell’apripista, destinato a veder trasformata l’innovazione in repertorio. SIMULAZIONE Istituto........ ind. di livello 0 1 2 3 ind. processo ind. gestionale ind. didattico ind. funz. OO.CC. ind. relazionale liv. 0 x x x x liv.1 liv. 2 liv.3 ind. gestionale ind. didattico ind. funz. OO.CC. ind. relazionale Obiettivi assegnati per l’AS successivo: 1) indicatore gestionale: liv. 2 2) indicatore di funzionamento OO.CC.: liv. 1