Analisi di efficienza e di efficacia del sistema universitario

Analisi di efficienza e di efficacia del sistema universitario italiano attraverso
nuove metodologie statistiche multivariate robuste
Motivazioni e scopo principale della ricerca
L’analisi della valutazione della didattica universitaria e lo studio delle modalità di inserimento
professionale dei laureati e dei diplomati ha assunto negli ultimi anni un’importanza crescente come
strumento di verifica dei risultati conseguiti dalle diverse Università. Per valutare l’efficienza e
l’efficacia e dei processi formativi attuati dai diversi Atenei, nonché definire un quadro comparativo
in riferimento alla performance di questi ultimi, - soprattutto alla luce dei nuovi cambiamenti in
termini di autonomia finanziaria, manageriale ed organizzativa (passaggio dal vecchio al nuovo
ordinamento) -, è fondamentale predisporre opportuni modelli statistici che permettano di
comprendere le caratteristiche delle singole Università e/o delle diverse Facoltà e di segnalare
eventuali disomogeneità presenti sul territorio.
Tra le problematiche connesse all’attività di formazione, oltre a quelle appena menzionate,
risulta molto importante quella relativa alla questione di quali siano le Facoltà che tendono ad avere
il costo medio per studente sistematicamente superiore alle altre, oppure quelle che presentano un
eccessivo ammontare di risorse impiegate per i servizi di funzionamento che vanno a coprire
essenzialmente costi per personale non docente non qualificato.
E’ altresì importante, nell’ambito della allocazione delle risorse del sistema universitario,
procedere ad un’analisi statistica della variabilità dei costi e delle risorse per studente, al fine di
definire quanta parte della variabilità osservata sia imputabile a situazioni oggettivamente diverse
oppure sia dovuta al trattamento diversificato di situazioni simili. Nel primo caso, ad esempio, la
diversa allocazione delle risorse può essere imputabile alle diverse dimensioni, o alle differenti
condizioni ambientali e strutturali, o anche alla specificità delle aree disciplinari. Nel secondo caso,
la variabilità osservata deriva dallo squilibrio tra le dotazioni assegnate agli Atenei in termini medi
per studente a parità di aree disciplinari.
La notevole variabilità osservabile all’interno del sistema universitario italiano, nei costi per
studente, a livello di ateneo e di facoltà, è alla base della legge 537/93 riguardante il modello di
riequilibrio del Fondo di Finanziamento Ordinario (FFO), che definisce i criteri per la ripartizione
tra gli atenei delle risorse del fondo stesso. Tale legge, ponendo l’accento sul concetto di
“riequilibrio”, riconosce, implicitamente, che dietro l’ampia variabilità dei costi riscontrata nelle
analisi empiriche (Catalano e Silvestri, 1992), si cela, almeno in parte, dell’iniquità nell’allocazione
delle risorse. Iniquità che si sarebbe venuta a determinare a causa dei meccanismi di finanziamento
vigenti prima dell’entrata in vigore della legge sull’autonomia universitaria, non particolarmente
attenti al problema di una adeguata allocazione delle risorse in rapporto al numero di studenti
iscritti.
Tuttavia, la legge 537/93, indicando che il “riequilibrio è finalizzato anche alla riduzione dei
differenziali nei costi standard di produzione nelle diverse aree disciplinari ed al riallineamento
delle risorse erogate tra le aree disciplinari”, implicitamente riconosce che “squilibrio” e
“variabilità” (dei costi per studente) sono due concetti diversi e non sovrapponibili. E’ importante
sottolineare questo aspetto poiché, essendo stata la norma di riequilibrio, stimolata da analisi che
mettevano in evidenza la grande variabilità dei costi per studente, c’è il rischio che si tenda a
confondere il concetto di “variabilità”, che rinvia a quello di “diversità di trattamento”, con il
concetto e di “squilibrio”, che rinvia invece a quello di “iniquità di trattamento”.
Come noto la nozione aristotelica di equità suggerisce di trattare in modo eguale situazioni
simili, e in modo diverso (da definire adeguatamente) situazioni dissimili; questo implica che in
presenza di situazioni molto variegate, come è appunto il caso dell’università italiana, caratterizzata
da atenei con numero e tipo di facoltà, nonché numero di studenti, molto differenti, una variabilità
dei costi è necessaria al fine di una “equa” allocazione delle risorse. Il punto è che dietro tale
variabilità si può spesso celare “iniquità”.
Nella ricerca delle fonti di variabilità, l’interpretazione dei seguenti commi della legge 537/93 può
aiutare a tentare una prima classificazione: “…la quota di riequilibrio è da …ripartirsi sulla base di
criteri ….. relativi a standard dei costi di produzione per studente e agli obiettivi di qualificazione
della ricerca, tenuto conto delle dimensioni e condizioni ambientali e strutturali", e ancora “….Il
riparto della quota di riequilibrio è finalizzato anche alla riduzione dei differenziali nei costi
standard di produzione nelle diverse aree disciplinari ed al riallineamento delle risorse erogate tra le
aree disciplinari, tenendo conto delle diverse specificità e degli standard europei”.
Tali commi portano a concentrare l’attenzione sul costo standard per studente quale strumento per
la riduzione di differenziali “ingiustificati” e, al tempo stesso, evidenziano quali fattori di variabilità
del costo standard alcuni elementi fondamentali, quali:
 le diverse dimensioni, condizioni ambientali e strutturali
 la specificità delle aree disciplinari
 gli obiettivi di qualificazione della ricerca
 l’efficacia nella formazione e nella ricerca scientifica.
Il primo punto fa riferimento ad eventuali redimenti di scala del processo produttivo di formazione
(dimensioni), nonché ad elementi che possono giustificare maggiori costi, connessi a condizioni
ambientali e strutturali. Tra questi possiamo annoverare, ad esempio, l’offerta formativa in termini
di numero di facoltà presenti nell’ateneo, o il fatto se una facoltà sia di costituzione recente o meno.
Per quanto riguarda il secondo punto (specificità delle aree disciplinari) è indubbio che i costi
standard debbano tenere conto della maggiore costosità della formazione in determinate aree, e in
questo senso il richiamo agli standard europei dovrebbe stimolare analisi tese a evidenziare quale
tipo di variabilità si riscontri negli altri paesi tra le aree disciplinari. Gli altri punti (qualificazione
della ricerca ed efficacia della formazione e della ricerca) necessitano di analisi particolareggiate
che consentano di evidenziare criteri in base ai quali si possa definire come legittimo uno
scostamento dagli standard fissati tenendo conto dei primi due criteri.
Tra i fattori di variabilità relativa al costo standard per studente quale strumento per la riduzione di
differenziali “ingiustificati” sembra di potere classificare invece tutto ciò che è connesso a diversità
di trattamento a parità dei fattori precedentemente enunciati, ed in particolare:
 variabilità derivante da squilibrio tra le dotazioni assegnate agli atenei in termini medi per
studente, anche a parità di aree disciplinari.
In questo senso si può affermare che 2 modelli fin qui utilizzati per il riequilibrio, il primo elaborato
dalla Commissione tecnica per la spesa pubblica (Commissione tecnica per la spesa pubblica, 1996)
e il secondo dall’Osservatorio per la Valutazione del Sistema Universitario (Doc. 03/98), possono
servire ad esplicare la loro funzione solo per quanto riguarda il riequilibrio tra atenei, mentre
considerano solo marginalmente il problema delle aree disciplinari.
Finora le analisi relative a queste problematiche (efficienza, efficacia, variabilità dei costi,..)
sono state effettuate utilizzando semplici strumenti di analisi descrittiva o un approccio di
modellistica classico che non tiene conto della presenza di situazioni atipiche multivariate. Ad
esempio, ci possono essere Atenei che, a causa di particolari situazioni contingenti, non risultano
“anomali” sulla base di indicatori presi singolarmente, ma lo possono diventare se si considerano
congiuntamente due o più indicatori, in quanto si scostano marcatamente dalle relazioni rilevate per
le altre coppie di valori. Nell’ambito della valutazione dell’efficienza risulta molto importante
capire quali sono le situazioni Universitarie che si discostano notevolmente dalle rimanenti. E’
ormai diffusamente riconosciuto nella letteratura che la presenza di valori anomali può inficiare i
risultati di qualunque analisi statistica. Il problema si rivela particolarmente grave quando i valori
anomali sono numerosi e si “mascherano” a vicenda, per cui le tecniche diagnostiche tradizionali
non sono in grado di individuarli. Per ovviare a tale inconveniente è stato recentemente proposto un
approccio di analisi innovativo (forward search), robusto ed applicabile con successo anche in
situazioni complesse, che parte da un data set ridotto privo di outliers ed include sequenzialmente le
rimanenti osservazioni in base ad una misura via via crescente di “anomalia” delle stesse (Atkinson
e Riani, 2000).
I componenti del gruppo di ricerca intendono applicare questo nuovo approccio metodologico
all’analisi statistica di dati forniti dal Comitato Nazionale per la Valutazione del Sistema
Universitario (CNVSU), prodotti dal MIUR in collaborazione con il CINECA; ai dati sulla didattica
e sugli sbocchi occupazionali relativi all’Università di Firenze, provenienti da recenti indagini
condotte dal Dipartimento di Statistica “G. Parenti” dell’Università di Firenze.
In particolare, essi potranno riguardare
1) dati riguardanti l’Università italiana negli anni accademici più recenti, ad esempio a partire
dall’anno solare 2000, e rilevati ai livelli di ateneo e/o di facoltà.
Le informazioni contenute nei database che potranno essere utilizzate per le analisi
riguardano gli immatricolati, gli iscritti in corso e fuori corso nei vari anni, i laureati, il
personale docente ed il numero di corsi di laurea attivati, il personale impegnato nei
programmi di ricerca, i dati finanziari e, infine, quelli relativi alle strutture didattiche e di
ricerca (cfr. documento “Note tecniche su dati ed informazioni da trasmettere entro il 30
aprile 2002”).
2) gli indicatori proposti dal Comitato (doc11/98).
Gli obiettivi del gruppo di ricerca saranno quelli di:
1. effettuare una serie di operazioni di verifica e di controllo tendente a migliorare la qualità
dei dati di base;
2. predisporre metodi robusti che consentano di evidenziare situazioni di squilibrio tra i diversi
Atenei e/o, a livello più disaggregato, tra facoltà dello stesso ateneo e tra le stesse facoltà di
atenei differenti;
3. costruire opportuni modelli che permettano di valutare l’efficienza e l’efficacia delle singole
strutture Universitarie, e di svolgere analisi comparative sempre in termini di performance
tra vecchio e nuovo ordinamento universitario;
4. portare i ricercatori della segreteria tecnica del Comitato, a conoscenza dell’approccio
robusto allo scopo di incrementare le competenze tecniche sull’analisi dei dati.
L’impiego della metodologia della forward search consentirà di ordinare le osservazioni in base al
loro grado di aderenza ad un determinato modello, di cogliere l’effetto inferenziale di ciascuna unità
sui risultati proposti e di individuare in maniera robusta quali sono gli indicatori migliori per
valutare l’efficienza del sistema universitario.
Obiettivi specifici della ricerca
Il gruppo di ricerca si propone di affrontare il problema della predisposizione di metodi robusti che
consentano di
 valutare l’efficienza dei diversi Atenei;
 analisi comparative tra vecchio e nuovo ordinamento;
 segnalare le situazioni universitarie che presentano un profilo multidimensionale molto diverso
dalle rimanenti a parità di aree disciplinari;
 valutare l’impatto dell’autocorrelazione spaziale per quanto riguarda l’efficienza;
 analizzare la variabilità dei costi medi per studente;
 segnalare i fattori più importanti che facilitano l’inserimento del mondo del lavoro;


implementare un software appropriato che permetta l’implementazione dei modelli sviluppati
dal gruppo di ricerca attraverso un interfaccia grafica di semplice utilizzo. Alla fine del progetto
il relativo software sarà messo a disposizione del Comitato;
addestrare i ricercatori della segreteria tecnica del Comitato all’impiego del metodo robusto
nelle analisi statistiche.
Per raggiungere gli scopi delle ricerca il gruppo di studio indirizzerà i propri sforzi verso la
predisposizione di metodologie nuove, basate sugli algoritmi di forward search. In particolare esso
prenderà in esame le seguenti metodologie di previsione e di analisi di osservazioni
multidimensionali:
 regressione multivariata;
 analisi dei gruppi;
 analisi discriminante;
 analisi delle componenti principali;
 modelli autoregressivi per dati territoriali;
 tecniche per la previsione di dati spaziali (kriging);
Principali attività da svolgere per raggiungere gli obiettivi della ricerca
Per raggiungere gli obiettivi prefissati, si prevede di strutturare la ricerca secondo i passi seguenti:
 analisi preliminare dei dati provenienti dal Comitato, con segnalazioni dell’eventuale presenza
di valori inammissibili;
 definizione della modellistica più appropriata da adottare nelle varie analisi da effettuare;
 costruzione del software per l’implementazione pratica dei modelli di volta in volta proposti.
Per la stesura del software sono previsti contatti con i programmatori di Seattle della Insightful;
 analisi delle problematiche teoriche legate all’applicazione della metodologia della forward
search a campi finora non esplorati nella letteratura (modelli a componenti di varianza, modelli
multilivello, modelli di analisi fattoriale, ecc.). Per raggiungere questo obiettivo è prevista la
collaborazione di specialisti in materie statistiche e matematiche;
 analisi e validazione dei modelli proposti mediante l’algoritmo robusto di forward search in
modo da
o cogliere l’effetto inferenziale di ciascuna unità (ateneo o corso di laurea) sui risultati
dell’analisi;
o evidenziare la presenza di eventuali gruppi di osservazioni atipiche (atenei o corsi di laurea);
o ordinare le osservazioni (atenei o corsi di laurea) in base al loro accordo con il modello
proposto;
 ciclo di seminari in cui si prevede l’introduzione del metodo robusto e l’addestramento dei
ricercatori della segreteria tecnica del Comitato all’analisi robusta, anche con l’impiego del
relativo software implementato dal gruppo.
Componenti del programma di ricerca
Marco Riani (coordinatore), Professore Associato di Statistica presso l’Università degli Studi di
Parma, coordinatore generale del gruppo di ricerca;
Anthony C. Atkinson, Professore Ordinario di Statistica e Direttore del Dipartimento di Statistica
della London School of Economics and Political Sciences;
Andrea Cerioli, Professore Associato di Statistica presso l’Università degli Studi di Parma;
Matilde Bini, Professore Associato di Statistica Economica presso l’Università degli Studi di
Firenze.
Enti associati al programma di ricerca:
Sezione di Statistica del Dipartimento di Economia dell’Università di Parma, il Dipartimento di
Statistica “G. Parenti” di Firenze e Il Dipartimento di Statistica della London School of Economics
and Political Sciences.