SNV 2005 : corso di formazione per i referenti d’Istituto
Servizio Nazionale di Valutazione
del Sistema dell’Istruzione
a.s. 2004-2005
Corso di formazione per i coordinatori d’istituto
Scuola media Cappella-Curzi, 14 Marzo 2005
Referente provinciale: Leone Damiani
SNV 2005 : corso di formazione per i referenti d’Istituto
ACQUISIZIONE DEI RISULTATI
A cura del Responsabile della scuola, direttamente
dal sito
nei progetti Pilota:
ASPETTI POSITIVI
•
•
Segretezza dei risultati
Abbondanza dei dati
ASPETTI CRITICI
•
•
Periodo per la restituzione dei risultati troppo lungo
difficoltà di lettura e interpretazione
SNV 2005 : corso di formazione per i referenti d’Istituto
LETTURA ED ANALISI DEI RISULTATI
Le figure che partecipano alla costruzione del
servizio scolastico:
•
•
•
•
Dirigente scolastico
Docenti
Genitori
Studenti
responsabile
didattica nella scuola
qualità del servizio
valutazione
dell’Istituto frequentato
SNV 2005 : corso di formazione per i referenti d’Istituto
SCHEMI RIASSUNTIVI
i dati vengono elaborati:
•
Per ciascuna delle tre discipline indagate (Italiano,
Matematica e scienze)
•
Su 4 livelli Classe, Scuola, Regione, Area geografica,
Territorio nazionale
•
Per tipologie di item previste per ciascuna disciplina
SNV 2005 : corso di formazione per i referenti d’Istituto
SCHEMI RIASSUNTIVI
A ciascuna Scuola, per ciascuna disciplina, vengono restituiti:
1. Punteggi normalizzati per: scuola, area geografica,
regione, territorio nazionale
2. Percentuale di studenti nelle fasce per: scuola, area
geografica, regione, territorio nazionale
3. Punteggi medi nelle fasce per: scuola, area geografica,
regione, territorio nazionale
4. Punteggi per tipologia di item per: scuola, area
geografica, regione, territorio nazionale
5. Punteggi normalizzati per singola classe
6. Percentuale di studenti nelle fasce per singola classe
SNV 2005 : corso di formazione per i referenti d’Istituto
TERMINI UTILIZZATI PER COMUNICARE GLI ESITI
1. Punteggio normalizzato
2. Media
3. Deviazione standard
4. Moda
5. Mediana
6. Quartili (cinquantili per la classe II scuola
primaria)
SNV 2005 : corso di formazione per i referenti d’Istituto
PUNTEGGI NORMALIZZATI
Esprimono i risultati in centesimi. Ad esempio su un questionario
di 20 domande, 15 risposte esatte sono indicate con un
punteggio normalizzato di 75 poiché 75 : 100 = 15 : 20 …. 15
su 20 rappresenta il 75%.
MEDIA
La Media aritmetica è il concetto statistico più diffuso e familiare.
Per ottenere la media aritmetica basta prendere il totale dei
punteggi ottenuti e dividerlo per il numero delle prove. Un valore
medio di 58,00 ci informa che in quella prova le risposte corrette
sono state il 58% delle domande del questionario.
SNV 2005 : corso di formazione per i referenti d’Istituto
MEDIA: esempio report
Il valore medio ottenuto dalla scuola o dalla classe ha senso
se confrontato con quello rilevato per gli altri livelli d’indagine
Media
Regione: Marche
54,52
Area: Centro
54,11 (1,62)
Italia
52,70 (0,65)
SNV 2005 : corso di formazione per i referenti d’Istituto
Il valore medio da solo fornisce poche indicazioni; esempio
classe x
0
0
0
0
50
60
90
100
100
100
media
50
classe y
0
10
20
40
50
60
70
80
80
90
media
50
classe z
50
50
50
50
50
50
50
50
50
50
media
50
classe k
40
40
50
50
50
50
50
50
60
60
media
50
classe m
30
30
40
40
50
50
60
60
70
70
media
50
Lo stesso valore deriva da situazioni molto differenti
SNV 2005 : corso di formazione per i referenti d’Istituto
DEVIAZIONE STANDARD
Misura la dispersione del punteggio intorno alla media:
Deviazione standard “0” ci dice che non c’è dispersione.
Maggiore è la dispersione dei dati attorno alla media aritmetica,
maggiore è la deviazione standard.
Esempio classe di 20 studenti:
•
se tutti e 20 gli studenti hanno avuto, in una stessa
prova, il voto 6, la media aritmetica è 6;
•
se la metà di essi ha avuto 4 e l’altra metà 8 la media
aritmetica è 6, ma la situazione è ben diversa.
SNV 2005 : corso di formazione per i referenti d’Istituto
DEVIAZIONE STANDARD: esempio
classe x
valori
0
0
0
0
50
60
90
100
100
100
media
50
dev. Std
46,2
classe y
valori
0
10
20
40
50
60
70
80
80
90
media
50
dev. Std
31,6
classe z
valori
50
50
50
50
50
50
50
50
50
50
media
50
dev. Std
0,0
classe k
valori
40
40
50
50
50
50
50
50
60
60
media
50
dev. Std
6,7
classe m
valori
30
30
40
40
50
50
60
60
70
70
media
50
dev. Std
14,9
SNV 2005 : corso di formazione per i referenti d’Istituto
DEVIAZIONE STANDARD: esempio report
Il valore ottenuto dalla scuola o dalla classe ha senso se
confrontato con quello rilevato per gli altri livelli d’indagine
Media
Deviazione Standard
Regione: Marche
54,52
14,96
Area: Centro
54,11 (1,62)
12,34 (0,99)
Italia
52,70 (0,65)
11,79 (0,26)
Il valore più basso del livello “Italia” porta a supporre che
sarà più bassa la percentuale di studenti nel top dei
punteggi (voce ‘percentuale di studenti nelle fasce’).
SNV 2005 : corso di formazione per i referenti d’Istituto
PUNTEGGIO MINIMO E PUNTEGGIO MASSIMO
Avendo utilizzato punteggi normalizzati, ogni elaborato avrà
come punteggio minimo 0 e come punteggio massimo 100.
È molto Probabile che nella totalità dei questionari compilati sul
territorio nazionale almeno una prova sia totalmente errata e
almeno una sia invece priva di errori:
•
la prima avrà punteggio minimo = 0
•
la seconda avrà punteggio massimo = 100
Non è altrettanto sicuro che nella singola scuola qualche
studente abbia ‘toccato gli estremi’.
questi dati si ritroveranno nelle colonne relative al
punteggio minimo e al punteggio massimo.
SNV 2005 : corso di formazione per i referenti d’Istituto
PUNTEGGIO MINIMO E PUNTEGGIO MASSIMO : esempio report
Media
Dev. Stand.
Minimo
Massimo
Regione: Marche
54,52
14,96
13,79
100,00
Area: Centro
54,11 (1,62) 12,34 (0,99)
6,9
100,00
Italia
52,70 (0,65) 11,79 (0,26)
0,00
100,00
dai dati statistici riassuntivi non si può in alcun modo risalire
ai “singoli responsabili” degli esiti ottenuti !
SNV 2005 : corso di formazione per i referenti d’Istituto
MODA
Punteggio ottenuto più frequentemente fra tutti i punteggi
possibili.
Senza la contemporanea conoscenza della percentuale di
presenza di quel dato, la moda è poco significativa.
Ad esempio il valore ’Moda 0’ potrebbe essere preoccupante o
normale:
•
se il 50% degli studenti hanno consegnato la prova in
bianco o completamente errata è preoccupante;
•
se è determinata dal 10% degli studenti, ossia da 3 su
30 (gli altri 27 hanno ottenuto punteggi diversificati fra
loro almeno a due a due), la situazione non è
didatticamente preoccupante.
SNV 2005 : corso di formazione per i referenti d’Istituto
LIVELLO CLASSE
classe x
0
0
0
0
50
60
90
100
100
100
media
50
dev. Std
46,2
min. max
0 - 100
moda
0
% st.moda
40%
classe y
classe z
classe k
0
50
40
10
50
40
20
50
50
40
50
50
50
50
50
60
50
50
70
50
50
80
50
50
80
50
60
90
50
60
media
media
media
50
50
50
dev. Std
dev. Std
dev. Std
31,6
0,0
6,7
min. max
min. max
min. max
0 - 90
50 - 50
40 - 60
moda
moda
moda
80
50
50
% st.moda % st.moda % st.moda
20%
100%
60%
classe m
30
30
40
40
50
50
60
60
70
70
media
50
dev. Std
14,9
min. max
30 - 70
moda
30 anche 40, 50, 60 o 70
% st.moda
20%
SNV 2005 : corso di formazione per i referenti d’Istituto
MEDIANA
Rappresenta il valore che consente di asserire:
almeno il 50% degli studenti ha ottenuto un punteggio
minore o uguale alla Mediana e almeno il 50% di essi ha
ottenuto un punteggio maggiore o uguale alla Mediana.
Non è il punteggio rispetto al quale si può dire
“metà degli studenti hanno meno e metà degli studenti
hanno più”
SNV 2005 : corso di formazione per i referenti d’Istituto
MEDIANA
Esempio: punteggi ottenuti da 16 studenti:
0 13 23 25 25 25 38 40 40 40 40 49 83 85 90 100
il punteggio mediano è 40, ma se si include il 40:
•
11 su 16 studenti (il 68,8%) hanno un punteggio minore o uguale a
40
•
9 su 16 (il 56,3%) hanno un punteggio maggiore o uguale a 40
Se si esclude il 40:
•
7 studenti su 16 (il 43,8%) hanno un punteggio minore di 40
•
5 su 16 (il 31,3%) hanno un punteggio maggiore di 40
’almeno’ è indispensabile ripeterlo 2 volte, poiché non è
detto che la somma della percentuale dei punteggi minori o
uguali alla mediana e della percentuale di punteggi
maggiori o uguali alla mediana dia come risultato 100.
SNV 2005 : corso di formazione per i referenti d’Istituto
classe x
0
0
0
0
50
60
90
100
100
100
media
50
dev. Std
46,2
min. max
0 - 100
moda
0
% st.moda
40%
mediana
55
classe y
0
10
20
40
50
60
70
80
80
90
media
50
dev. Std
31,6
min. max
0 - 90
moda
80
% st.moda
20%
mediana
55
classe z
50
50
50
50
50
50
50
50
50
50
media
50
dev. Std
0,0
min. max
50 - 50
moda
50
% st.moda
100%
mediana
50
classe k
40
40
50
50
50
50
50
50
60
60
media
50
dev. Std
6,7
min. max
40 - 60
moda
50
% st.moda
60%
mediana
50
classe m
30
30
40
40
50
50
60
60
70
70
media
50
dev. Std
14,9
min. max
30 - 70
moda
30
% st.moda
20%
mediana
50
è la coerenza fra più dati di natura statistica che rende
credibile la lettura dei dati stessi
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI, CINQUANTILI E DEFINIZIONE DELLE FASCE
Legenda.
I quartili di riferimento sono stati calcolati sulla distribuzione dei dati del campione nazionale.
I quartili dividono la distribuzione in quattro parti uguali
% studenti nel campione
Fasce
Punteggi
nazionale
Bassa:
da 0 al primo Quartile incluso
0 <= Punt. <= 38
25
Medio-bassa:
dal primo Quartile escluso al secondo
Quartile incluso
38 < Punt. <= 52
25
Medio-alta:
dal secondo Quartile escluso al terzo
Quartile incluso
52 < Punt. <= 63
25
Alta:
dal terzo Quartile escluso al punteggio
massimo 100 incluso
63 < Punt. <= 100
25
I percentili di riferimento sono stati calcolati sulla distribuzione dei dati del campione
Top (Fascia di eccellenza):
dal novantesimo percentile incluso al
punteggio massimo
100 incluso
72 <= Punt. <= 100
10
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI, CINQUANTILI E DEFINIZIONE DELLE FASCE
classe x
0
0
0
0
50
60
90
100
100
100
classe y
0
10
20
40
50
60
70
80
80
90
classe z
50
50
50
50
50
50
50
50
50
50
utilizzando tutti i dati si delimitano i quartili
fascia
fascia
fascia
bassa
medio bassa
medio alta
0
41
51
40
50
60
classe k
40
40
50
50
50
50
50
50
60
60
fascia
alta
61
100
classe m
30
30
40
40
50
50
60
60
70
70
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI, CINQUANTILI E DEFINIZIONE DELLE FASCE
classe x
0
0
0
0
50
60
90
100
100
100
classe
classe x
classe y
classe z
classe k
classe m
classe y
0
10
20
40
50
60
70
80
80
90
classe z
50
50
50
50
50
50
50
50
50
50
classe k
40
40
50
50
50
50
50
50
60
60
classe m
30
30
40
40
50
50
60
60
70
70
fascia bassa fascia medio bassa fascia medio alta fascia alta
0 - 40
41 - 50
51 - 60
61 - 100
40
10
10
40
40
10
10
40
0
100
0
0
20
60
20
0
40
20
20
20
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI, CINQUANTILI E DEFINIZIONE DELLE FASCE
Una volta delimitati i quartili (cinquantili per la classe II
della scuola primaria) vengono calcolati:
per classe, scuola, area geografica e regione:
•
percentuale di studenti nel quartile
per scuola, area geografica, regione e territorio nazionale:
•
punteggio medio nel quartile
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI, CINQUANTILI E DEFINIZIONE DELLE FASCE:
esempio di report
percentuale di studenti nel quartile
Regione: Marche
Area: Centro
Italia
Fascia Bassa
16,76
20,37 (2,41)
-
Fascia mediobassa
29,78
30,09 (2,58)
-
Fascia Medio-alta
25,23
20,53 (2,18)
-
Fascia Alta
28,24
29,01 (3,83)
-
Fascia Top
14,29
17,06 (3,20)
-
punteggio medio nel quartile
Regione: Marche
Area: Centro
Italia
Punteggio medio
nella fascia bassa
31,54
30,44 (0,67)
30,30 (0,30)
Punteggio medio
nella fascia mediobassa
47,14
46,90 (0,30)
46,82 (0,13)
Punteggio medio
nella fascia
medio-alta
58,50
58,35 (0,37)
58,50 (0,12)
Punteggio medio
nella fascia alta
72,38
75,23 (2,37)
73,33 (0,56)
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI: esempio di report livello classe
percentuale di studenti nel quartile
Codice
classe
12345601
12345602
12345603
Fascia
media mediana bassa
25
26
40
65
67
49
50
-
Fascia
Mediobassa
60
4
13
Fascia
Fascia
Medio-alta
Alta
26
70
81
6
Fascia
Top
48
1
Fasce
Punteggi
% studenti nel campione
nazionale
Bassa:
0 <= Punt. <= 23
25
Medio-bassa:
23 < Punt. <= 38
25
Medio-alta:
38 < Punt. <= 56
25
Alta:
56< Punt. <= 100
25
I percentili di riferimento sono stati calcolati sulla distribuzione dei dati del campione
Top (Fascia di eccellenza):
71 <= Punt. <= 100
10
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI: esempio di report livello classe
percentuale di studenti nel quartile
Codice
classe
12345601
12345602
12345603
Fascia
media mediana bassa
25
26
40
65
67
49
50
-
Fascia
Mediobassa
60
4
13
Fascia
Fascia
Medio-alta
Alta
26
70
81
6
Fascia
Top
48
1
la classe 12345601 ha il 40% di studenti con abilità bassa e il 60% con
abilità medio-bassa;
nessuno studente ha meritato un punteggio maggiore di 38 (limite della fascia
Medio Bassa) e almeno il 50% di essi ha un punteggio minore o uguale a 26;
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI: esempio di report livello classe
percentuale di studenti nel quartile
Codice
classe
12345601
12345602
12345603
Fascia
media mediana bassa
25
26
40
65
67
49
50
-
Fascia
Mediobassa
60
4
13
Fascia
Fascia
Medio-alta
Alta
26
70
81
6
Fascia
Top
48
1
la classe 12345602 presenta una situazione decisamente migliore:
nessuno studente è nella fascia bassa, solo il 4% in quella media-bassa, il
26% nella fascia medio-alta e ben il 70% nella fascia alta.
Il 48% degli studenti è nella ‘fascia Top’, ossia ha un punteggio maggiore
o uguale a 71.
la media aritmetica (65) e la mediana (67) suggeriscono un livello di classe
ottimo;
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI: esempio di report livello classe
percentuale di studenti nel quartile
Codice
classe
12345601
12345602
12345603
Fascia
media mediana bassa
25
26
40
65
67
49
50
-
Fascia
Mediobassa
60
4
13
Fascia
Fascia
Medio-alta
Alta
26
70
81
6
Fascia
Top
48
1
la classe 12345603 si situa fra la prima e la seconda:
non ci sono studenti nella fascia bassa, solo il 6% è nella fascia alta
(ma solo l’1% nella ‘fascia top’), la gran parte dei risultati è nella fascia
medio-alta (l’81%) e solo il 13% è nella fascia medio-bassa.
La media aritmetica (49) e la mediana (50) sono esattamente a metà di
100.
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI: esempio di report
punteggio medio nel quartile
scuola
Regione: Marche
Area: Centro
Italia
Punteggio medio
nella fascia bassa
16,5
16,7
16,7
16,5
Punteggio medio
nella fascia mediobassa
32,1
30,5
30,4
30,3
Punteggio medio
nella fascia
medio-alta
47,6
46,2
46,1
46,1
Punteggio medio
nella fascia alta
65,2
69,2
69,1
69,2
fra tutti gli studenti di fascia bassa (punteggio maggiore di 0 e minore o uguale
a 23) il punteggio medio ottenuto è stato 16,5
fra tutti gli studenti di fascia medio-bassa (punteggio maggiore di 23 e minore
o uguale a 38) il punteggio medio ottenuto è stato 32,1
fra tutti gli studenti di fascia medio-alta (punteggio maggiore di 38 e minore o
uguale a 56) il punteggio medio ottenuto è stato 47,6
fra quelli della fascia alta (punteggio maggiore di 56) il punteggio medio è
stato 65,2.
SNV 2005 : corso di formazione per i referenti d’Istituto
QUARTILI: esempio di report
punteggio medio nel quartile
scuola
Regione: Marche
Area: Centro
Italia
Punteggio m edio
nella fascia bassa
16,5
16,7
16,7
16,5
Punteggio m edio
nella fascia m ediobassa
32,1
30,5
30,4
30,3
Punteggio m edio
nella fascia
m edio-alta
47,6
46,2
46,1
46,1
Punteggio m edio
nella fascia alta
65,2
69,2
69,1
69,2
È interessante osservare che:
•
47,6 è di poco maggiore del punteggio medio del totale del terzo
quartile (46,1)
•
65,2 è inferiore al punteggio medio del totale del quarto quartile
(69,2)
quindi gli studenti della fascia medio-alta della scuola hanno un rendimento
migliore di quelli dell’intera popolazione scolastica italiana, mentre quelli della
fascia alta hanno un rendimento peggiore rispetto ai “bravi” a livello nazionale.
SNV 2005 : corso di formazione per i referenti d’Istituto
È importante ricordare che:
•
è la coerenza fra più dati di natura statistica che rende credibile la
lettura dei dati stessi
•
possono intervenire variabili aleatorie che alterano il dato grezzo
Esempio limite:
se nella classe 12345602 nel giorno della prova s’era verificata un’assenza di
tutti gli studenti meno preparati in quella materia, i risultati assumerebbero
un significato diverso e il paragone con la classe 12345601, nella quale,
magari, erano stati assenti solo i migliori, andrebbe interpretato in maniera
differente
Codice
classe
12345601
12345602
12345603
Fascia
media mediana bassa
25
26
40
65
67
49
50
-
Fascia
Mediobassa
60
4
13
Fascia
Fascia
Medio-alta
Alta
26
70
81
6
Fascia
Top
48
1
SNV 2005 : corso di formazione per i referenti d’Istituto
LETTURA ED ANALISI DEI RISULTATI:
AIUTI POSSIBILI
Per ovviare alle difficoltà di lettura ed analisi dei dati, il
referente o la commissione per la valutazione potrebbe
avvalersi dei seguenti aiuti:
•
•
•
insegnante esperto di statistica
materiale reperibile sul sito INVALSI
referente regionale del progetto
A partire dal prossimo anno scolastico sarà attivato un
corso on-line per la lettura ed analisi dei risultati
SNV 2005 : corso di formazione per i referenti d’Istituto
DIFFUSIONE DEI RISULTATI:
SUGGERIMENTI
Collegio dei docenti
dati generali
Docenti delle discipline
dati per fasce di livello e
classi
Collaboratori
dati per classi
Genitori
dati generali ed eventualmente
per fasce di livello
Studenti
dati generali e per fasce di
livello
SNV 2005 : corso di formazione per i referenti d’Istituto
POSSIBILI CONSEGUENZE
Se
i risultati saranno affidabili e comunemente
accettati
Allora potrebbero avere una ricaduta su:
• ridistribuzione degli OSA nei piani di studio
personalizzati
• ridistribuzione risorse economiche su progetti mirati
• definizione degli indicatori della Qualità della scuola
• definizione dei criteri per la formazione delle classi
