qualità dei dati, analisi e suggerimenti per la rilevazione

FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
“Il sistema scolastico come sistema
complesso: qualità delle rilevazioni e modelli
di interpretazione dei risultati”
QUALITÀ DEI DATI,
ANALISI E SUGGERIMENTI
PER LA RILEVAZIONE
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope"
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
Errare è umano, perdonare è divino,
includere gli errori in un’indagine….è
statistico (Kish, 1978)
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
...che EUROSTAT declina in base ad un set di criteri
TEMPESTIVITÁ
LA QUALITÁ DEI DATI
ACCURATEZZA
è
RILEVANZA
QUALITÁ
DEI DATI
Un concetto multidimensionale….
COERENZA
ACCESSIBILITÁ
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
L’ACCURATEZZA
L’ ACCURATEZZA rappresenta la chiave di
volta nel quadro generale della qualità
dell’informazione statistica.
Infatti...
Se il dato disponibile è un dato statisticamente non “accurato”
Le altre proprietà che lo caratterizzano
passano automaticamente
in secondo piano (Olson, 2003)
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
L'accuratezza delle informazioni statistiche è il
grado di corrispondenza tra la stima ottenuta
dall'indagine e il vero (ma ignoto) valore della
caratteristica in oggetto nella popolazione
obiettivo.
DEFINIZIONE
ERRORE TOTALE
Errore
di COPERTURA
L’ACCURATEZZA È DESCRITTA IN TERMINI DI ERRORE
DELLE STIME STATISTICHE
Errore
campionario
Descrive l'influenza
indotta
dall'operazione di
campionamento sulla
varianza e sulla
distorsione delle
stime
Errore
non campionario
Errore
da NON RISPOSTA
Errore
di MISURA
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
DESCRIZIONE ATTIVITÀ DI RICERCA
- I ANNO -
RILEVAZIONE
APPRENDIMENTI
Progettazione di un sistema di correzione e
controllo che consenta di realizzare
l’obiettivo di una gestione ottimale del
problema dei dati anomali, ai fini di un
conseguente miglioramento della qualità
dell’informazione statistica finale.
Analisi descrittiva della struttura dei dati
mancanti in modo da quantificare
l’intensità e la portata del fenomeno;
Cercando di valutare l’eventuale presenza
di fattori condizionanti del meccanismo di
mancata risposta
QUESTIONARIO
SISTEMA
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
PUNTEGGI MEDI
DI CLASSE - MATEMATICA A.S. 2004/05
Histogram
Histogram
Histogram
Histogram
Histogram
2.000
500
500
1.250
1.250
400
400
1.500
1.000
1.000
I CLASSE
III
CLASSE
IV
II CLASSE
CLASSE
SECONDARIA
PRIMARIA
DI
DI III GRADO
GRADO
Frequency
Frequency
Frequency
Frequency
Frequency
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
UNA PROCEDURA DI CONTROLLO E
CORREZIONE DEGLI OUTLIER
300
300
750
750
1.000
200
500
200
500
500
250
100
100
250
0 00
0
0
0
0,00
0,00
00,00
20
20,00
20,00
20,00
20
40
60
40,00
60,00
40,00 avergita
60,00
40,00
60,00
40
60
VAR00002
VAR00005
VAR00005
avergita
80
80,00
80,00
80,00
80
100
100,00
100,00
100,00
100
Mean =74,71
MeanDev.
=59,57
Std.
=14,133
Mean
=52,21
Mean
=71,65
Mean
=51,24
Std.
Dev.
=10,382
N
=30.097
Std.
Dev.
=15,229
Std.
Dev.
=16,15
Std.
Dev.
N =14,451
=27.437
N =9.280
N =8.454
N =29.559
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
II e IV classe primaria
LA PROCEDURA È
STATA PROGETTATA
ED IMPLEMENTATA
Tutte le tre discipline
oggetto di valutazione
(italiano, matematica e scienze)
PER I DATI
Anni scolastici
2004/05 e 2005/06
In totale sono state analizzate e “trattate”
12 basi di dati
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
PER LA RILEVAZIONE
E SUGGERIMENTI
E SUGGERIMENTI PER LA RILEVAZIONE
DATI, ANALISI
DEI DATI, ANALISI
2005 - QUALITÀ
FINVALI 2005 - QUALITÀ DEI
FINVALI
FASI DELLA PROCEDURA
LA PROCEDURA DI EDITING HA PREVISTO:
1[
]
Preparazione delle basi di dati (data
cleaning) e la predisposizione di set di
indicatori sintetici a livello di classe
2[
Identificazione dati anomali e
sperimentazione di un fattore di
ponderazione in grado di correggere
l’impatto degli outlier
]
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
FASE I
Eliminazione delle unità a livello micro (studenti) considerate
“PSEUDO NON RISPONDENTI”
Studenti che, per ogni dataset presentano
un dato mancante rispetto alla variabile
che esprime il punteggio di valutazione
alla prova somministrata
Percentuale di unità compresa tra il 9% ed il 16%,
maggiore presenza nelle classi della scuola secondaria di II grado
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
COSTRUZIONE
DI INDICATORI A
RIEPILOGO
LIVELLO DI CLASSE
Punteggio medio per classe
Per ogni classe di studenti sono stati
calcolati i seguenti indicatori:
La prima fase della
procedura di editing ha
previsto l’eliminazione,
Scarto
Tasso
quadratico
di
mancata
medio
del
Scarto quadratico medio
Indice
medio
dida
omogeneità
Punteggio
medio
per
classe
:
del punteggio per classe
ognuno dei 12 dataset, delle
compilazione
per per
classe
classe:
:
risposte
unitàpunteggio
pseudodelle
non rispondenti
NUMERO DI RISPOSTE MANCANTI O NON
ed il calcolo dei seguenti
PUNTEGGIO
DELL’I-ESIMO
VALIDE RISCONTRATE
PER ALUNNO
L’I-ESIMO
DELLA
J-ESIMA
ALUNNO
DELLA
J-ESIMA
CLASSE
indicatori a livello di classe:
Tasso di mancata
INDICE DI ETEROGENEITÀ DELLE RISPOSTE DATE DAGLI
N
compilazione
classe
N jN
STUDENTI DELLA J-ESIMA CLASSE
AL S-ESIMOper
QUESITO
Q jj
2
pijEpM
pijj ij
sj
MC
Epj Jj jis1ii111
NUMERO DI QUESITI SOMMINISTRATI
Indice medio
di omogeneità
Njjj Q
NN
Q
ALLA CLASSE
J-ESIMA




delle risposte per classe
AMPIEZZA DELLA J-ESIMA CLASSE
AMPIEZZA DELLA J-ESIMA CLASSE
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
ANALISI IN COMPONENTI PRINCIPALI
(ACP)
Il ricorso all’Analisi in Componenti Principali (ACP) ha permesso di
ridurre il numero di indicatori che esprimono il comportamento di
risposta a solo due variabili
Seconda
componente
Prima
componente
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
ANALISI IN COMPONENTI PRINCIPALI
(ACP)
Permette di semplificare la procedura di editing
e di isolare, graficamente, le classi anomale
Proiezione delle
classi di
studenti sui due
assi fattoriali
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
IL METODO DELLE K MEDIE SFOCATO
-FUZZY K-MEANSIn base alle due componenti
principali sono state
classificate le classi di
studenti in 8 gruppi mediante
un algoritmo di
FUZZY CLUSTERING
Produzione di una matrice dei
gradi di appartenenza dove
per ogni classe di studenti (righe
della matrice) viene calcolata la
probabilità di appartenenza ad
ognuno degli 8 gruppi (colonne
della matrice)
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
IDENTIFICARE IL CLUSTER DI
UNITÀ ANOMALE
Mediante la proiezione sugli assi fattoriali dei centroidi di ognuno
Valori negativi
rispetto
degli 8elevati
gruppi
è possibile identificare il cluster di unità anomale
alla I componente principale,
che indica un punteggio medio
molto elevato e una scarsa
variabilità interna sia rispetto al
punteggio sia rispetto
all’eterogeneità delle risposte
Gruppo di
OUTLIER
Punteggi fattoriali prossimi allo
zero rispetto alla II componente
principale che indicano una
presenza trascurabile di valori
mancanti (missing data)
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
IDENTIFICARE IL CLUSTER DI
UNITÀ ANOMALE
Si potrà interpretare il grado di appartenenza
di ogni unità al cluster individuato:
µia
come la probabilità per ogni classe di
studenti di essere considerata un outlier
Lo stesso indice può essere interpretato, in
alternativa, come una misura del livello di
anomalia di ogni classe i-esima
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
CORREZIONE DEI DATI
ANOMALI
Sulla base del grado di appartenenza al cluster di unità
anomale è possibile correggere i punteggi medi di ogni
classe ricorrendo ad un fattore di ponderazione wi
Fattore di correzione
Probabilità di
essere un outlier
Wi =1 - µia
Wi assumerà valori prossimi allo zero se l’unità è
classificata con una probabilità elevata tra gli outlier,
viceversa assumerà valori vicini all’unità se la classe non
può essere considerata anomala
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
LA LOGICA DI FONDO
Il criterio ispiratore dell’intera procedura di correzione è
quello di attribuire ad ogni unità un peso diverso
determinato dal complemento ad uno della probabilità di
appartenere al cluster di unità anomale.
Si supera il limite della logica dicotomica di classificare in
modo “drastico” un’osservazione come outlier o meno (hard
clustering), a favore di un approccio sfumato (fuzzy) che
permette di quantificare, rispetto ad ogni classe, il livello di
anomalia e conseguentemente di tarare adeguatamente
l’intervento correttivo.
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
EFFETTI CORREZIONE
Dipartimento
di Statistica
e eMatematica
laRicerca
RicercaEconomica
Economica
Dipartimento
di Statistica
Matematica per
per la
Università
degli
Studi
di
Napoli
"Parthenope"
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
CARATTERIZZAZIONE TERRITORIALE DEL
FENOMENO DEI DATI ANOMALI
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
CARATTERIZZAZIONE TERRITORIALE DEL
FENOMENO DEI DATI ANOMALI
Escludendo
dall’analisi le regioni
del Sud, si noterà
l’attenuarsi delle
anomalie che sono
state riscontrate
rispetto alle
distribuzioni
calcolate sull’insieme
dei dati italiani
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
PUNTEGGI MEDI PER REGIONE
86
84
II elem MAT 0405
82
80
78
76
74
72
70
68
66
64
62
60
58
56
54
52
50
lia
na
ci
eg
Si
d
r
Sa
Si
ci
lia
Sa
rd
eg
na
a
ia
ria
at
gl
ab
lic
l
i
Pu
a
s
C
Ba
Pu
gl
ia
Ba
si
lic
at
a
C
al
ab
ria
e
ia
is
an
ol
p
M
am
C
Ab
ru
zz
o
M
ol
is
e
C
am
pa
ni
a
La
zi
o
M
ar
ch
e
U
m
br
ia
o
o
o
e
a
e
a
a
ia
ia
ia
te
lia
zi
ig
st
et
zz
ch
ur
an
rd
br
gn
iu
a
d
o
n
r
on
u
c
g
a
a
L
r
a
m
G
A
s
'A
b
Li
Ve
U
M
em
D
ia
m
om
Ab
To
lto
z
o
Pi
R
ll e
A
e
L
o
en
ilia
Va
in
V
t
m
i
n
l
E
e
iu
Tr
MediaMedia
ponderata
Fr
Pi
em
on
Va
te
lle
D
'A
os
ta
L
om
Tr
en
ba
tin
rd
o
ia
Al
to
Ad
ig
e
Fr
iu
V
li
en
Ve
et
ne
o
zi
a
G
iu
lia
Li
Em
gu
ilia
ria
R
om
ag
na
To
sc
an
a
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
II elem MAT 0405
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
QUESTIONARIO DI SISTEMA E
DATI MANCANTI
Analisi della presenza dei missing data nell’indagine di
sistema che l’INVALSI ha condotto sulle scuole del
I ciclo nell’a.s. 2005/06
OBIETTIVI
E Individuare punti di criticità del
X modulo di rilevazione e fornire
A
N
T
E
una panoramica dei fattori che
condizionano maggiormente la
collaborazione all’indagine in
modo da poter migliorare il
processo di data capturing
nelle edizioni successive della
rilevazione
E
X
P
O
S
T
Acquisire gli elementi per
valutare la possibilità di
implementare un metodo di
ricostruzione delle
informazioni mancanti
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
PROFILI SCOLASTICI
Profilo
Profilo
S_INF
Tipologia di istituzione scolastica
Scuola dell'infanzia non statale
Numero istituzioni
scolastiche presenti
nel profilo
Valori
assoluti
Valori
percentuali
2.025
21,25
Per rendere più snello il lavoro di analisi si è proceduto ad una
Profilo
Scuola
2,74
suddivisione
della matrice dei
datiprimaria
in modo da ottenere261
un dataset
S_PRIM
specifico per ogni profilo scolastico (inteso come tipologia di livello di
Profilo
istruzione Scuola
che ogni
istituzione
secondaria
di I gradopresenta) 1.439
15,10
S_SEC
Profilo
M_INF_PRIM
Scuola dell'infanzia e scuola primaria
(circolo didattico)
2.531
26,56
Profilo
M_PRIM_SEC
Scuola primaria e scuola secondaria di I grado
490
5,14
Profilo
INF_PRIM_SEC
Scuola dell'infanzia, scuola primaria e scuola
secondaria di I grado (istituto comprensivo)
2.784
29,21
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
PROFILI
SCOLASTICI
La suddivisione in profili stata
effettuata in base ad un criterio
di “AUTOREFERENZIALITÀ”
ogni istituzione è stata
considerata appartenente ad un
determinato profilo, non in base
alle informazioni contenute nella
lista di riferimento, bensì
osservando la tipologia di
domande a cui la stessa scuola
ha fornita risposta
Il ricorso ai profili di istituzione scolastica ha
permesso di distinguere le variabili
espressamente “dedicate” ad una
determinata tipologia scolastica da quelle
non indirizzate alla stessa, definite “variabili
non applicabili per il profilo scolastico”
Sono stati estratti dal questionario
generale, e conseguentemente dalla
matrice dei dati, tanti subset di quesiti, e
di variabili, quanti sono i profili di
istituzioni scolastiche individuate
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
LE MANCATE RISPOSTE
NON RISPOSTE
quando l’istituzione scolastica non ha
fornito il dato richiesto
I DATI MANCANTI SI
CLASSIFICANO IN
RISPOSTA NON APPLICABILE
quando non è possibile per l’istituzione
scolastica fornire una risposta poiché la
domanda che è stata posta nel
questionario non “fa al caso”
RISPOSTA NON VALIDA
quando il dato ottenuto non corrisponde
all’informazione richiesta
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
N

p mij
j 1
pN
N

p eij
Totale delle non risposte individuate rispetto all’i-esima
istituzione del p-esimo profilo
Numero di variabili indirizzate al p-esimo profilo
Totale delle risposte non valide individuate rispetto all’i-esima
istituzione del p-esimo profilo
INDICATORI
DI
MANCATA
j 1
Numero
di variabili indirizzateRISPOSTA
al p-esimo profilo
pN
N

j 1
p naij
pN
Totale delle risposte non applic. individuate rispetto all’i-esima
istituzione del p-esimo profilo
Numero di variabili indirizzate al p-esimo profilo
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
DATI NON APPLICABILI
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
700
Media
0,059
Moda
0,042
Varianza
0,045
Minimo
0,002
Massimo
0,303
Primo quartile
0,025
Mediana
0,046
Terzo quartile
0,083
600
500
400
300
200
100
0
0,000
0,050
0,100
0,150
0,200
0,250
0,300
0,350
Oltre la metà del collettivo non supera il 5% di dati non applicabili;
mentre, soltanto 95 unità (1%) hanno compilato il questionario con una
quota di dati non applicabili compresa tra il 20% ed il 40%.
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
Sardegna
Sicilia
Calabria
Basilicata
Puglia
Campania
Molise
Abruzzo
Lazio
Marche
Umbria
Toscana
Emilia Romagna
Liguria
Friuli Venezia Giulia
Veneto
Trentino Alto Adige
Lombardia
Valle D'Aosta
Piemonte
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
TASSI DI RISPOSTA NON APPLICABILE
0,20
0,18
0,16
0,14
0,12
0,10
0,08
0,06
0,04
0,02
0,00
-0,02
-0,04
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
TASSI DI RISPOSTA NON APPLICABILE
0,24
0,20
0,18
0,16
0,14
0,12
0,10
0,08
0,06
0,04
0,02
0,00
Secondaria
Infanzia, Primaria e Secondaria
Primaria e secondaria
Circolo didattico
Infanzia
-0,02
Primaria
Poiché numerosi quesiti
sono indirizzati a istituzioni
Scuole
secondarie
di I
scolastiche
che possono
essere
definite
grado interessate
in
“complesse” dal punto di
misura minore dal
vista delle attività svolte
fenomeno della
non
(partecipazione
a progetti,
applicabilità
presenza
di esperti dei
esterni,
stipula diquesiti
convenzioni con
altri enti, etc..), delle
strutture (sedi e laboratori
attivati) e del numero di
allievi e di unità di
personale.
Tasso di risposta non applicabile
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
0,22
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
TASSI DI RISPOSTA NON APPLICABILE
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
SI RITIENE CHE UN SIMILE ANDAMENTO DEI TASSI DI RISPOSTA NON
TALE ANDAMENTO
COSTITUISCE
UN FATTORE
DI CRITICITÀ
APPLICABILE
SIA DANON
CONSIDERARSI
FISIOLOGICO
QUANDO
LE UNITÀ DI
DELLA RILEVAZIONE PER DUE ORDINI DI MOTIVI
INDAGINE SONO ETEROGENEE E COMPLESSE COME LE ISTITUZIONI
SCOLASTICHE
1[
]
anche le scuole maggiormente interessate dalla presenza di
questa tipologia di dati mancanti, con valori mediani compresi
tra il 6% e l’8%, non superano soglie preoccupanti che
consiglierebbero una rimodulazione del modulo di rilevazione
2[
]
la riprogettazione dei questionari di indagine,
costruendo moduli specifici per ogni livello
scolastico, comporterebbe un incremento dei costi
e dei tempi dell’intero processo di indagine non
giustificato dalla scarsa intensità del fenomeno
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
Il tasso di non risposta è riconducibile
ad una mancata
collaborazione
La presenza
di mancate
risposte, si èda
parte dell’intervistato attestata
a fornire su
le informazioni
richieste
livelli soddisfacenti
evidenziati
A differenza
della
non applicabilità,
essere
soltanto
in
DA
UN’ANALISI
UNIVARIATA
DEIdaTASSI
DIfenomeno
NON
RISPOSTA
SI EVINCE
UN
untale
tasso
medio
dipuò
mancate
risposte
pari
FORTE
SPIRITO e
COLLABORATIVO
DI
SISTEMA
parte controllato
prevenuto
che
predispone
l’indagine.
al dall’ente
5% edALL’INDAGINE
una
variabilità
limitata
prossima
Media
0,053
Moda
0,000
Varianza
0,004
Minimo
0,000
Massimo
0,784
allo zero (σ2=0,004)
Histogram
3.000
2.500
Primo quartile 0,013
Mediana
0,034
Terzo quartile 0,070
2.000
Frequency
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
TASSI DI NON RISPOSTA
1.500
1.000
500
Mean = 0,05
Std. Dev. = 0
N = 9.530
0
0,00
0,10
0,20
0,30
0,40
0,50
0,60
tasso_miss_semplice
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
TASSO NETTO DI NON RIPOSTA
SUPERIORE O UGUALE AL 10%
Numero istituzioni scolastiche con elevata
propensione alla non collaborazione
(Tasso netto di non risposta ≥ 0,1)
Valori assoluti
[1]
Valori percentuali
[2]
Numero
istituzioni
scolastiche
presenti nel
profilo
[3]
Primaria
71
4,58%
261
27,20%
Primaria e
secondaria
118
7,61%
490
24,08%
Infanzia, primaria
e secondaria
459
29,59%
2.784
16,49%
Infanzia e
primaria
363
23,40%
2.531
14,34%
Infanzia non
statale
270
17,41%
2.025
13,33%
Secondaria
143
17,41%
1.439
9,93%
Profilo scolastico
Intensità nel
profilo (*)
[1] / [3]
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
TASSI DI NON RISPOSTA PER LIVELLI
SCOLASTICI
0,20
0,18
0,16
0,14
0,12
0,10
0,08
0,06
0,04
0,02
0,00
Infanzia
Secondaria
Circolo didattico
Infanzia, Primaria e Secondaria
Primaria e secondaria
-0,02
Primaria
Tasso netto di non risposta
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
0,22
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
-0,04
-0,04
di 800
studenti
Più Più
di 800
studenti
Più di 400 studenti
a 800
studenti
Da Da
701701
a 800
studenti
Da
a 700
studenti
Da 301
601601
700
studenti
Da
aa 400
studenti
Da 201 a 300 studenti
a 600
studenti
Da Da
501501
a 600
studenti
a 500
studenti
Da Da
401401
a 500
studenti
Da 101 a 200 studenti
a 400
studenti
Da Da
301301
a 400
studenti
DaDa
51201
aa 100
studenti
a 300
studenti
Da
201
300
studenti
a 200
studenti
Da Da
101101
a 200
studenti
Fino a 50 studenti
a 100
studenti
FinoFino
a 100
studenti
TASSI DI NON RISPOSTA
NUMERO STUDENTI
0,20
0,20
0,16
0,16
0,12
0,12
0,12
0,08
0,08
0,04
0,04
SECONDARIA
INFANZIA
PRIMARIA
0,00
0,00
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
UN’ANALISI PER SEZIONI DEL
QUESTIONARIO
Per ogni profilo scolastico è stato
calcolato
un indice di Mancata
Compilazione (MC) per sezione
Non risposte registrate dalle K istituzioni
scolastiche del p-esimo profilo rispetto alle
variabili della s-esima sezione
s
k
  p mij
p MCs

Numero totale di unità
del p-esimo profilo
j 1i 1
pK  pS
Numero totale di
variabili appartenenti
alla s-esima sezione
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
Il tasso di mancata compilazione essendo una misura “relativizzata”, sia
rispetto al numero di variabili che rispetto al numero di unità, è in grado di
consentire sia confronti tra sezioni dello stesso profilo (confronti verticali) sia tra
profili diversi rispetto alla stessa sezione (confronti orizzontali)
0,12
0,1
0,08
Organizzazione scolastica
0,06
Organizzazione dell'insegnamento
0,04
Gestione strategica
0,02
Monitoraggio, valutazione e
miglioramento
Secondaria di I
grado
Primaria e
Secondaria di I
grado
Primaria
Istituto
comprensivo
Circolo
didattico
0
Infanzia non
statale
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
IL TASSO DI MANCATA COMPILAZIONE
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
CONCLUSIONI
-ANALISI DATI DI SISTEMAEffettuare una revisione dei quesiti
maggiormente interessati dalle mancate risposte,
in particolar modo quelli relativi agli aspetti della
dispersione scolastica oppure quelli relativi
all’impiego di esperti esterni
L’analisi ha permesso di esprimere un giudizio
Offrire una maggiore assistenza
Per innalzare
alle istituzioni scolastiche di
COMPLESSIVAMENTE
POSITIVO
ulteriormente il
dimensioni minori che hanno
mostrato una minor propensione a
livello qualitativo
sull’accuratezza dei dati di sistema
collaborare all’indagine
della rilevazione si
potrebbe…
Ridurre il numero di quesiti che non
prevedono un’opzione di risposta
esaustiva per evitare confusione e/o
incertezza e conseguente aumento
delle non risposte e delle risposte non
valide
RIdimensionare il modulo di
rilevazione, cercando di
individuare il giusto compromesso
tra il dettaglio delle informazioni ed
il numero di quesiti
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -
FINVALI 2005 - QUALITÀ DEI DATI, ANALISI E SUGGERIMENTI PER LA RILEVAZIONE
SVILUPPI FUTURI
ANALISI DEI DATI 2006/2007
OFFRIRE SPUNTI E SUGGERIMENTI
E
PER UN PECORSO DI QUALITÀ
CONFRONTO CON ANNI PRECEDENTI
Dipartimento di Statistica e Matematica per la Ricerca Economica
Università degli Studi di Napoli "Parthenope“ -