Dipartimento di Economia – Conferenza di Ateneo sulla Valutazione della ricerca
(Silvia Terzi)
Premessa
Ho raccolto la sollecitazione del Prorettore alla Ricerca prof. Di Battista sia per esporvi brevemente
il risultato delle analisi fatte e condivise in consiglio di Dipartimento già all’indomani della
pubblicazione del rapporto VQR, sia e soprattutto per condividere alcune riflessioni sulla
valutazione della qualità della ricerca. Seguirò quindi un duplice filo conduttore: da una parte il
confronto tra SSD presenti e valutati nel Dipartimento, dall’altro una riflessione su come si possa
valutare non tanto la premialità della ricerca (per questo abbiamo già le indicazioni dell’ANVUR
per quanto riguarda il voto standardizzato di Dipartimento ed il percentile ad esso associato) bensì
più semplicemente (?!) la sua qualità.
1. Presentazione del Dipartimento di Economia
Al Dipartimento afferiscono circa 50 docenti sia di area economica (Economia Politica, Politica
Economica, Scienza delle Finanze, Economia Applicata) che quantitativa ( Statistica, Matematica
per l’Economia, Telecomunicazioni) che giuridica (Diritto Pubblico, Privato, del Lavoro,
Amministrativo). Due le aree coinvolte: la 13 e la 12. Per l’area 12 non abbiamo una valutazione
disaggregata per i docenti del Dipartimento pertanto i settori IUS non verranno citati in questa sede
(se non per dire che hanno avuto una buona valutazione aggregata: il voto medio dei prodotti di area 12 nel
Dipartimento è stato pari a 0,52 con un indice R= 1,04, una % di lavori eccellenti del 13,3% ed un 33% classificati
come Limitati).
Composizione del Dipartimento
• AREA 13 – ECONOMIA • AREA 12 –
GIURIDICA
• Sub-GEV E area economica:
• 32 docenti
• Sub-GEV M area aziendale:
• 3 docenti
• Sub-GEV S area statisticomatematica: 8 docenti
•
5docenti di diversi settori
• AREA 9 –
INGEGNERIA
•
1 docente SSD ING-INF/03
2.Come e’ avvenuta la VQR per l’Area 13
Ciascuno dei 3 sub-GEV ha predisposto una banca dati delle riviste: le riviste nella banca dati sono
poi state suddivise in 4 fasce (A,B,C,D), la cui proporzione sarebbe dovuta essere 20/20/10/50 (ma
che e’ stata un po’ più generosa).
Per la valutazione dei lavori: analisi bibliometrica per articoli su rivista;
peer review per tutti i lavori scientifici non pubblicati su riviste
(monografie, capitoli di libro, atti di congresso).
A latere e’ stato condotto uno studio per verificare la concordanza tra valutazione bibliometrica e
peer review, concludendo che le differenze non sono significative a parte una sottovalutazione da
parte dei peer reviewers degli articoli pubblicati in fascia A.
(Si noti pero’ che i valutatori conoscevano la collocazione editoriale dell’articolo e la sua
classificazione).
sub-GEV
E
(area economica)
M
(area aziendale)
S
(area statistica)
Totale
voto medio
(I=v/n)
% prodotti E
% prodotti L
0,42
25,17
37,54
0,18
8,44
67,14
0,40
23,35
38,30
0,32
18,10
49,27
C’e’ una forte eterogeneità; in particolare il sub-GEV aziendale (M ) ha sia il voto medio che la %
di eccellenze più bassi degli altri due; e una % di L più elevata. Tale differenza potrebbe essere
dovuta ad una diversa composizione dei prodotti conferiti. Infatti i prodotti sottoposti a peer review
hanno riportato valutazioni più basse:
modalità di
valutazione
voto medio
(I=v/n)
% prodotti
E
% prodotti
L
peer review
bibliometria
Totale
0,14
0,57
0,37
0,95
35,43
19,29
76,25
31,60
52,50
Inoltre, per i settori di area aziendale (sub-GEV M):
SSD
SECS-P/07
SECS-P/08
SECS-P/09
SECS-P/10
SECS-P/11
SECS-P/13
% peer review
74,87
52,42
64,04
67,36
71,95
80,36
% bibliometria
28,55
52,49
35,96
37,69
30,86
22,18
% doppia valutazione
3,42
4,99
0,00
5,04
2,81
2,55
Mentre invece per i settori degli altri due sub-GEV abbiamo, per il sub-GEV di economia (E):
SSD
SECSP/01
SECSP/02
SECSP/03
SECSP/04
SECSP/05
SECSP/06
SECSP/12
% peer
review
%
bibliometria
% doppia
valutazione
34,70
73,34
8,19
42,56
65,68
8,24
42,27
63,41
5,91
62,86
45,71
8,57
21,14
87,43
8,57
46,48
60,80
7,29
91,33
11,42
2,96
Per il sub-GEV statistico-matematico (S):
SSD
SECSS/01
SECSS/02
SECSS/03
SECSS/04
SECSS/05
SECSS/06
% peer
review
%
bibliometria
% doppia
valutazione
35,14
73,17
8,30
35,82
79,10
14,93
45,45
61,23
6,68
56,91
46,28
3,19
67,58
36,26
3,85
41,40
69,03
10,43
(in verde i SSD presenti in Dipartimento)
Viceversa le differenze tra i due sub-GEV E ed S non sono molto significative (a parte i settori
SECS P/04 e SECS P/12 - rispettivamente Storia del Pensiero Economico e Storia Economica - che
hanno una elevata % di peer review).
3. I nostri risultati
Andando a vedere i dati specifici per i SSD presenti (e valutati) nel dipartimento, per quanto
riguarda i voti abbiamo:
voto
medio
di
di
Dipartimento Ateneo
voto medio
SSD
Settori Area 13 valutati per il
Dipartimento di Economia
RM3
voto medio
Nazionale
SECS-P/01
economia
SECS-P/02
pol. econ
0,42
0,39
0,49
0,46
0,39
0,40
SECS-S/01
statistica
0,48
0,46
0,44
I voti medi di tutti e tre i SSD sembrano comparabili nei livelli; ma lo sono anche dal punto di vista
metodologico. Infatti i settori P/01 e P/02 appartengono al medesimo sub-GEV e quindi fanno
riferimento alla medesima classificazione di riviste; ma anche tra gli elenchi di riviste di fascia A
dei due sub-GEV c’e’ pressoché totale coincidenza. Inoltre tra i settori SECS-P/01 e SECS-P/02 vi
e’ spesso mobilità durante la carriera dei docenti: frequenti i casi, registratisi anche di recente da
noi, di ricercatori in economia politica che diventano associati in politica economica; e associati in
politica economica che conseguono l’idoneità in economia o viceversa.
Per quanto riguarda le % di Eccellenze:
% E
SSD
SECS-P/01
economia
Settori Area 13 valutati per il
SECS-P/02
Dipartimento di Economia
pol. econ
RM3
SECS-S/01
statistica
% E
%E
Nazionale
nel
Dipartimento
a RM3
24,32
22,41
32,37
40,63
35,14
24,83
38,89
38,48
23,14
Per quanto riguarda le % di prodotti limitati :
% L % L
SSD
%L
nel
a
Nazionale
Dip RM3
SECS-P/01 45,95 54,05
economia
Settori Area 13 valutati per il Dipartimento di Economia RM3 SECS-P/02 46,88 39,66
pol. econ.
SECS-S/01 38,89 41,38
statistica
41,76
30,17
37,74
questa e’ la nota dolente: per tutti e tre i settori le nostre % di L sono superiori alla % nazionale;
questo vale sia a livello di singoli SSD, sia – per l’ateneo – a livello di sub-GEV E ed S.
Come mai? Forse perché ciascuno di noi (nella nostra area non-bibliometrica) e’ in grado di
distinguere tra pubblicazioni “da fascia A” e pubblicazioni “da fascia non-A”. Ma per le riviste
non-A non si disponeva – all’epoca - di alcuna classificazione; accadeva quindi che si pubblicasse
sugli atti di un congresso dedicato a quella tematica, su una rivista su cui compariva l’articolo che ci
aveva offerto lo spunto per scrivere il nostro, su una rivista conosciuta che garantisse tempi rapidi di
pubblicazione.
4.Che altro si può dire dei risultati della VQR?
Possiamo confrontare questi risultati con i SSD del sub-GEV di ambito aziendale?
No perche’ i voti medi nazionali sono troppo diversi.
Soprattutto: no perche’ la composizione dei prodotti valutati e’ troppo diversa.
Se nel dipartimento avessimo avuto storia economica (SECS P12), appartenente al sub- GEV
Economia, anche lì i risultati sarebbero stati incomparabili.
Infatti la composizione dei prodotti conferiti e’la seguente:
SSD
SECS-P/12
storia econ.
SECS-P/01
economia
SECS-P/02
politica econ
SECS-S/01
statistica
%
%
%
%
Articolo
su
rivista
Atto di
convegno
Contributo
in volume
Monografia
27,00
7,81
40,72
23,21
80,11
0,61
13,73
4,78
73,99
0,86
17,79
5,52
79,08
5,57
12,48
2,30
E pertanto nella valutazione dei lavori del SSD SECS P/12 e’ prevalsa la peer review (91%).
Di conseguenza non sorprende che a livello nazionale:
voto medio
(I=v/n)
% prodotti E
% prodotti L
SECS-P/01
economia
0,49
32,37
30,17
SECS-P/02
politica ec.
0,40
24,83
41,76
SECS-S/01
statistica
0,44
23,14
37,74
5,66
46,67
SSD
SECS-P/12
storia econ
0,29
Si possono confrontare le performance di dipartimenti diversi? Come? Per esempio,
volendo confrontare i dipartimenti che come il mio hanno a che fare con area 13 e 12 che si
puo’ dire?
I punteggi ottenuti in aree diverse e soprattutto con tipologie di valutazione diverse sono troppo
eterogenei per poter essere comparati. Lo stesso dicasi per le % di eccellenza o di lavori limitati:
non sono valori direttamente comparabili; così come all’interno dell’area 13 non lo sono le
valutazioni riguardanti il sub-GEV di area aziendale con gli altri due sub-GEV: c’e’ troppa
eterogeneità. Come fare a compararli?
L’ANVUR (in collaborazione con la CRUI) suggerisce di comparare i dipartimenti calcolando
preliminarmente il voto standardizzato di dipartimento (che a sua volta e’ una combinazione dei
voti medi standardizzati dei singoli settori, ponderati in base al numero di prodotti attesi per settore)
e valutando i dipartimenti sulla base del percentile in cui tale voto cade. “In fondo – si afferma nel
documento – le università americane nel valutare la domanda di ammissione di uno studente ci
chiedono non quale voto abbia preso all’esame bensì in quale percentile della distribuzione dei
nostri studenti si collochi”.
Questo significa però considerare “bravi” i docenti di settori che spiccano rispetto al voto medio del
settore a prescindere dal loro livello, cioè a prescindere dal voto medio riportato nella VQR. Ma non
sempre e’ questo ciò che vogliamo misurare.
Esempio. Immaginiamo due ipotetici SSD.
Nel primo (SSD 1 A) supponiamo che tutti i docenti del settore abbiano riportato voto medio 1.
Nel secondo SSD (SSD 2 B) immaginiamo che tutti i docenti (tranne 4) abbiano riportato voto
0,167; e 4 (tutti in uno stesso dipartimento) abbiano riportato voto 0,333.
Nel primo caso l’indicatore R=1 per tutto il SSD 1A; nel secondo caso per il dipartimento a cui
afferiscono i 4 docenti di spicco l’indicatore R assume addirittura valore: R=2. (Eppure non c’e’
ombra di dubbio che il livello della ricerca nel settore 1A e’ di livello superiore a quello del settore
2B).
Personalmente non sono così convinta che nel confronto tra settori ci si debba basare solo su quanto
ci si discosti dalla media (o su una standardizzazione di questi scostamenti). E’ utile anche (se non
di più) un’indicazione del livello della ricerca di ciascun settore; in altri termini abbiamo bisogno di
poter comparare i livelli di eccellenza e/o di limitatezza. Per farlo abbiamo bisogno di standard
condivisi e comparabili.
Anche le università americane, oltre a chiederci notizie sul percentile a cui appartiene il nostro
studente, si domandano anche quale sia il livello o il rating dell’università presso cui lo studente ha
studiato.
Vorrei che tenessimo conto di questo: quando ricorriamo agli indicatori R ed X o al voto
standardizzato di dipartimento ci stiamo domandando chi spicca di più nell’ambito del proprio
settore/area e di conseguenza chi premiare; non quali siano i settori in cui la ricerca raggiunge
standard più elevati.
