La sperimentazione Sivadis:
il valore aggiunto del monitoraggio
Seminario di Formazione SIVADIS 3
28 Novembre-02 Dicembre 2005
Genny Terrinoni
La sperimentazione Sivadis:
il valore aggiunto del monitoraggio
Soggetti coinvolti
Aspetti consolidati nelle opinioni
Aspetti critici
Lavoro di analisi
Classificazione
Avvio analisi multivariata
Aspetti consolidati nelle opinioni e
negli atteggiamenti
L’importanza della partecipazione al progetto viene
motivata con:
la voglia di confrontarsi e di mettersi alla prova
occasione per migliorare le proprie capacità professionali
come un’occasione di formazione e aggiornamento
Anche
le
motivazioni
meno
frequenti
indicano
un
atteggiamento decisamente costruttivo nel merito e nelle
finalità del progetto, evidenziando altresì la percezione di un
ruolo formativo dell’operazione
Aspetti consolidati nelle opinioni e
negli atteggiamenti
• Procedura di confronto-condivisione tra valutatore e/o team e
dirigente scolastico
• Giudizio ampiamente positivo, caratterizzato come “utile e
costruttivo” congruentemente con l’atteggiamento nei
confronti della propria partecipazione alla sperimentazione
• Interazione come una dimensione complessa ma dinamica
da governare attraverso un coinvolgimento costruttivo
Aspetti consolidati nelle opinioni e
negli atteggiamenti
Il fascicolo individuale riscuote apprezzamenti più positivi
rispetto allo scorso anno sia nella struttura complessiva che nelle
singole sezioni
• soddisfazione per l’accoglimento delle indicazioni e suggerimenti
dei soggetti che hanno messo su campo il modello
Utilità delle informazioni ricevute sul progetto
informazioni e strategie sono ritenute significativamente più
utili rispetto a quanto espresso nello scorso anno
Aspetti consolidati nelle opinioni e
negli atteggiamenti
Team di Valutazione e Componente DS nel Team
la costituzione di team riscuote un largo consenso da parte
dei DS
più critica e articolata la posizione dei valutatori (problemi
di risorse, tempi, organizzazione, selezione)
presenza componente DS nel ruolo di valutatore
riscuote un ampio consenso dai DS
più debole il consenso e più critico il giudizio dei valutatori
Obiettivi pluriennali
la stragrande maggioranza dei soggetti coinvolti considera
più adeguata una valutazione su obiettivi pluriennali
motivandola con il rapporto: complessità obiettivi- tempi più
distesi per una loro attuazione e adeguata valutazione
Dati questionari e focus group
Aspetti problematici nelle opinioni e
negli atteggiamenti
Informazioni e strategie informative
scarsa tempestività
scarsa o quasi nulla estensione delle informazioni sul progetto
che, secondo il giudizio di molti DS generano:
rinforzo delle percezioni di diffidenza ed esclusione
alimentano atteggiamenti pregiudizialmente negativi nei
confronti del sistema valutativo
frenano altresì consapevoli aperture alla partecipazione
Tempi di attuazione
inadeguati alla complessità del lavoro (avvio tardivo)
non corrispondenza con l’inizio delle attività dell’anno scolastico
Dati questionari e focus group
Aspetti problematici nelle opinioni e
negli atteggiamenti
Adeguatezza dello strumento (giudizio valutatori)
Lo strumento in sé va bene ma:
Viene
rilevata la
presenza di
gradi di
eccessiva
arbitrarietà
Esigenza di
pervenire ad una
valutazione valida
e attendibile
Dati questionari e focus group
Elaborazione di
strumentazione di
accompagnament
o/ supporto alla
strumentazione
predisposta che
guidi le fasi
procedurali della
valutazione
(raccolta di
informazioni,
osservazione)
Aspetti problematici nelle opinioni e
negli atteggiamenti
Adeguatezza dello strumento (giudizio dirigenti scolastici)
Lo strumento in sé va bene ma:
Visite più
frequenti e più
Perplessità sulla
sistematiche del
capacità del solo
Esigenza di
valutatore nella
strumento di
pervenire ad una
scuola per favorire
consentire una
valutazione valida
una lettura ed una
rappresentazione
e attendibile
comprensione “di
sostanziale della
ciò che accade
complessità del
realmente nella
proprio lavoro
scuola”
Rischio di
produzioni
cartacee formali
Dati questionari e focus group
Aspetti problematici nelle opinioni e
negli atteggiamenti
Formulazione obiettivi e indicatori
Percentualmente
basse le
difficoltà
segnalate nella
formulazione di
ob e ind
Stabili le esigenze
formative di natura
metodologica,
confermate dall’analisi
dei fascicoli
Dati questionari e focus group
Percentualmente
identiche le
indicazioni sulle
richieste di
supporto fatte al
valutatore:
formulazione ob
ma soprattutto ind
Cresciuta la
percentuale di ds
che dichiarano
modifiche degli ind
nel corso del
colloquio
Esiti dell’analisi dei Fascicoli
individuali di Valutazione
L’analisi formale e di contenuto, attuata sulla base di criteri
scientifici, dei materiali valutativi contenuti nei 176 fascicoli
individuali (contesto, obiettivi, azioni e indicatori) offre:
una descrizione esaustiva e affidabile
riduce l’estrema variabilità ed eterogeneità dei materiali ad un
numero limitato di tipologie
salvaguarda la pluralità, la ricchezza e la rappresentatività delle
effettive pratiche valutative
Elementi di progresso nella
formulazione degli obiettivi
I risultati dell’analisi evidenziano un processo in corso di lenta ma
progressiva condivisione semantica e concettuale:
consistente riduzione di obiettivi generici e/o pluriconcettuali
minore ambiguità semantica
riduzione del numero di categorie di contenuto entro le quali sono
codificabili
lettura più immediata e riduzione di operazioni interpretative
Tale processo sembra essere stato positivamente influenzato da due
fattori:
la riduzione e la ridefinizione interna delle aree valutative (da
cinque a quattro) operata nel secondo anno di sperimentazione
l’ampio uso (anche se non sempre rispettoso delle indicazioni
metodologiche ad esso connesse e della chiara indicazione sulla
sua natura empirico-descrittiva e non normativa) del repertorio
elaborato dall’INVALSI a conclusione del primo anno di
sperimentazione
Elementi di progresso nella
formulazione degli obiettivi
Tutti questi aspetti, insieme all’adeguamento della strumentazione,
sono particolarmente interessanti in quanto costituiscono le basi
fondamentali per:
descrivere correttamente l’oggetto della valutazione
predisporlo alla lettura e dunque alla sua valutazione
creare condizioni affidabili per il governo della intersoggettività
elaborare un lessico comune per rendere comparabili i dati
valutativi
Elementi di progresso nella
formulazione di obiettivi e indicatori
Difficoltà permanenti nella formulazione degli obiettivi:
un numero abbastanza consistente di obiettivi che non
corrisponde ancora a criteri basilari di corretta formulazione
obiettivi semanticamente ambigui e/o incomprensibili
Elementi di progresso nella formulazione degli indicatori:
una formulazione che consente il riconoscimento più immediato
del contenuto/oggetto di misurazione e della tipologia di misura,
dunque, una loro più facile classificazione
una formulazione che consentirebbe, se ulteriormente affinata in
termini di criteri, strumenti e procedure, l’identificazione più
immediata e più precisa dei criteri di misurazione e/o di verifica
intersoggettiva in essi contenuti
Elementi di progresso nella
formulazione di obiettivi e indicatori
Difficoltà permanenti nella formulazione degli indicatori:
un numero abbastanza consistente di indicatori non consente di
comprendere l’oggetto/i che in concreto vorrebbero misurare e
le modalità connesse all’operazione di misura
Indicatori Semplici
Totale Indicatori: 4693 su
176 Fascicoli Individuali
Frequenza
% sul totale delle
codifiche
Quantità Partecipanti fra il Personale Scolastico
229
11,4 %
Quantità di Risorse Finanziarie
225
11,2 %
Quantità di Incarichi Assegnati al Personale
153
7,6 %
Quantità di Riunioni / Incontri tra il Personale
Scolastico
144
7,2 %
Quantità di Progetti
140
7%
Quantità di Convenzioni
126
6,3 %
Quantità di Strutture Predisposte e Attivate
119
5,9 %
Presenza e Corrispondenza nel POF
110
5,5 %
Quantità Partecipanti tra gli Alunni
95
4,7 %
Quantità di Corsi di Formazione
49
2,4 %
Elaborazione Portfolio
30
1,5 %
Quantità di Alunni Promossi, Inscritti, con
Insufficienze, Debiti, etc...
25
1,3 %
Rispetto dei Tempi
16
0,8 %
Utilizzo ore per Attività Scolastiche, ExtraScolastiche, aggiuntive
12
0,6 %
Categoria
Indicatori Complessi
Totale Indicatori: 4693 su
176 Fascicoli Individuali
Frequenza
Livello di Soddisfazione (Senza Soggetti
Specificati)
% sul totale delle
codifiche
75
3,7 %
Livello di Condivisione del Personale Scolastico
65
3,2 %
58
2,9 %
47
2,3 %
Grado Positività Immagine della Scuola
46
2,3 %
Grado Positività Clima nella Scuola
44
2,2 %
Livello di Soddisfazione del Personale Scolastico
40
2%
Livello di Responsabilità del Personale Scolastico
33
1,6 %
Livello di Soddisfazione degli Alunni
24
1,2 %
Livello di Soddisfazione delle Famiglie
24
1,2 %
Livello di Soddisfazione degli Utenti
24
1,2 %
Livello di Motivazione degli Alunni
24
1,2 %
Livello di Motivazione senza Soggetti Specificati
17
0,8 %
Livello di Collegialità tra il Personale Scolastico
12
0,6 %
Categoria
Verifica, Rilevazione degli Apprendimenti degli
Alunni
Livello di Efficacia
Elementi di interesse nella descrizione
del contesto
La focalizzazione più precisa [1] dei punti di forza e di debolezza
del contesto risulta particolarmente interessante in quanto:
mette in evidenza dati di lettura individuale del contesto che, al
di là degli strumenti e dei metodi attraverso i quali tale lettura
viene attuata, esprime le priorità che il dirigente scolastico, in
prima persona, individua e pone come base delle sue scelte
operative
l’analisi di questi dati risulta altresì interessante per un
reperimento (tanto a livello autovalutativo che valutativo) di
legami di congruenza, significatività e pertinenza tra contesto
scolastico, obiettivi e azioni individuali che il dirigente scolastico
intende elaborare e perseguire
[1] Grazie al radicale cambiamento della sezione del fascicolo dedicata alla
rilevazione dei dati di contesto
Elementi di interesse nell’analisi delle
azioni
Sul piano specificamente formale le azioni dichiarate presentano
spesso:
una formulazione che, di fatto, è la ripetizione pedissequa
dell’obiettivo/i correlato/i
una scarsa definizione in termini di operazioni e comportamenti
osservabili
l’associazione di identiche azioni (la differenza risiede solo in una
diversa formulazione linguistica) ad obiettivi diversi dichiarati nelle
quattro aree valutative; in particolare, le azioni dell’area 1 e
dell’area 2 sono praticamente sovrapponibili
Classificazione dei materiali
dell’analisi
La classificazione di tutti i materiali offre una descrizione esaustiva
e affidabile che:
riduce l’estrema variabilità ed eterogeneità dei materiali ad un
numero limitato di tipologie
salvaguarda
comunque
la
pluralità,
la
ricchezza
e
la
rappresentatività delle effettive pratiche valutative
un repertorio descrittivo delle aree di attività e delle azioni
professionali del DS
una lettura interpretativa, su base semantica, delle azioni dichiarate
ed un loro raggruppamento
una sintesi delle azioni più frequenti raggruppate attorno a
categorie/funzioni che delineano un profilo empirico del dirigente
scolastico
Sviluppi possibili
La lettura degli esiti suggerisce di procedere ad una loro analisi che
permetta l’accesso ad aree semantiche più significative.
Ciò è possibile attraverso l’approccio dell’analisi relazionale che
consente di lavorare ancora sui dati classificati per:
esplorarne, più in profondità, aree semantiche più significative
rilevare l’organizzazione dei dati in una rete di connessioni
reciproche
sistematizzare i dati nell’ottica di restituire il messaggio nei suoi
aspetti o caratteri fondamentali
Lettura interpretativa delle azioni
Obiettivo dell’analisi delle azioni:
reperire un significato unitario di capire se le eterogenee descrizioni
delle azioni, potessero essere ricondotte all’interno di alcune
tipologie capaci di rappresentare i caratteri e le funzioni emergenti
dell’operato dei dirigenti scolastici
definire in qualche modo una sorta di suo profilo di ruolo empirico
non si è tenuto conto degli specifici obiettivi cui sono associate né
dunque del legame di pertinenza congruenza con essi perché, dalla
lettura comparata dei singoli fascicoli, risulta abbastanza evidente
che le azioni costituiscono “la vera peculiarità individuale del
dirigente
scolastico”
in
quanto
esse
non
risultano
mai
meccanicamente associabili a specifici obiettivi [1] bensì ad una
pluralità di essi, anche appartenenti ad aree valutative differenti
Il legame chiaramente riscontrabile è tra azioni e contesto ma spesso
dipendono più strettamente da variabili del contesto specifico
(dall’urgenza, dai costi, dalle risorse disponibili, ecc)
[1] Nei fascicoli analizzati è molto più frequente l’associazione tra azioni
diverse ad un identico obiettivo che non stesse azioni ad uno stesso obiettivo
I verbi e le aree di contenuto nell’analisi delle Azioni
Verbi
Area di contenuto dell’azione
Favorire (100)*
Promuovere (69)
Coinvolgere (53)
Individuare (45)
Creare
(43)
Attivare
(35)
Gestire
(31)
Organizzare (31)
Utilizzare
(31)
Sviluppare (29)
Predisporre (27)
Motivare
(25)
Migliorare (24)
Monitorare (22)
*Indice
Ricerca conoscitiva
(100)*
Delega incarichi
(65)
Formazione del personale
(60)
Rapporti con enti territoriali
(35)
Organizzazione dei tempi
(30)
Costituzione gruppi di lavoro
(27)
Individuazione/utilizzo risorse finanziarie (26)
Individuazione/valorizzazione competenze(25)
Definizione protocolli d’intesa
(22)
Elaborazione di contenuti nel P.O.F.
(21)
Predisposizione di strumenti informatici (16)
Condivisione delle scelte
(15)
Circolazione delle informazioni
(15)
Motivazione allo studio alunni
(13)
Manutenzione/gestione risorse strutturali (13)
Documentazione a vari livelli
(10)
(100= verbo
più frequente
1= verbo meno
frequente)
* Indice
(100= azione più
frequente 1= azione meno
frequente)
Lettura interpretativa delle azioni
E’ stato condotto un triplo livello di categorizzazione:
il primo ha considerato i verbi più frequentemente utilizzati per
esprimere le azioni e i sostantivi (oggetti) esplicitati e/o più
frequentemente associati ai verbi
Il secondo ha considerato i verbi coniugati in modi diversi
dall’infinito e spesso associati ai verbi che esprimono l’azione che fa
fatto emergere due grandi modalità organizzative delle azioni:
comunicativo/relazionale e organizzativo/strutturale
il terzo ha considerato l’aspetto specificamente semantico dei verbiazione categorizzati e dei rispettivi oggetti; tale aspetto ha suggerito
le tre funzioni:
1. management educativo
2. management delle risorse
3. management delle relazioni esterne
Lettura interpretativa delle azioni
Management del Personale
Sviluppo motivazione e
clima
Rilevando bisogni e attese
Rendendosi sempre
disponibile al dialogo
Riconoscendo potenzialità e
risultati impegno
Incoraggiando e
supportando i docenti
Definendo ruoli
Fissando obiettivi
Stabilendo criteri e regole
Delegando incarichi
Investendo quote sulla
formazione
Mettendo a disposizione
materiali e strumenti
Azioni del
DS
Management Relazioni Esterne
Management Educativo
Costruzione cultura comune
Intercettando e interpretando le domande e le
attese
Ascoltando e dialogando con tutti
Ricercando il contatto individuale e/o collettivo con
gli studenti
Organizzando e predisponendo strutture
laboratoriali di varia tipologia
Aprendo canali e modalità di counicazione
Organizzando momenti di riflessione e dibattito
allargati
Sviluppo partecipazione studenti
Ricercando il contatto individuale e/o collettivo
Individuando attese e problemi
Incoraggiando l’impegno
Mettendo a disposizione strumenti e servizi
Ampliando l’offerta formativa
Predisponendo percorsi ed opzioni per l’utenza
debole
Sviluppo motivazione docenti
Promuovendo incontri e
seminari
Partecipando in prima
persona
Seguendo con attenzione le
iniziative culturali
organizzate
Contattando e dialogando
con tutti i soggetti del
territorio
Coinvolgimento
ufficializzato di istruzioni
esterne per sostegno
finanziario
Ottimizzando l’uso delle
risorse, rendicontando…
Intervento puntuale
professionisti esterni esperti
per supporto azione pilotata
dalla scuola
Stipulando convenzioni e
individuando esperti
Collaborazione e
cooperazione, condivisione
responsabilità di
progettazione e valutazione
Promuovendo scambio di
risorse economiche,
strutturali e professionali
Esempio analisi esplorative
Punti Deboli
Debole raccordo tra
Punti Forza
scuola del territorio
Buon raccordo tra
scuola del territorio
Inadeguate risorse
finanziarie
Buona attivazione e
gestione dei
progetti
Buon
funzionamento del
personale
Resistenza a modalità di
lavoro collettivo
Obiettivo
Migliorare rapporti con il
territorio
Adeguatezza della
continuità educativa
Inadeguate risorse
struttural
Scarsa apertura verso
l’innovazione didattica
Azioni
Rafforzare rapporti
con enti territoriali
Istituti
comprensivi
Promuovere/migliorar
e i rapporti con
famiglie
Formare il personale
scolastico
La probabilità che le associazione con l’obiettivo
siano dovute al caso è minore del 5% . P<0,05
