Paola Galimberti
CIVR e SURplus: un’esperienza di
analisi dei dati per la valutazione
della ricerca
Premessa
• Parlando di valutazione della ricerca ci si concentra spesso sui
criteri, o sulle metodiche, o sugli indicatori, dimenticando che
essi sono una conseguenza di scelte legate agli obiettivi e alle
motivazioni: perché si valuta e per chi (committente), chi trae
vantaggio dalla valutazione
• Un secondo elemento da tenere in conto è la “scala” di lettura:
le diverse dimensioni (Ateneo, Dipartimenti, Aree/gruppi di SSD,
SSD, individui) non sono direttamente scalabili o cumulabili in
quanto rispondono a criteri e metodi diversi
• Un terzo punto sono i tempi: i fenomeni che si osservano sono
dinamici e non sempre la rilevazione viene fatta nel momento
giusto
• Di conseguenza le classifiche che ne derivano sono sempre
relative e tendono alla semplificazione di fenomeni complessi
Scopo dell’analisi
• Tracciare un quadro chiaro della produzione e della
produttività dei Dipartimenti della Facoltà di Lettere
(cosa, quanto, dove e come si pubblica)
• Lavorare attraverso il modulo di business intelligence
sui dati contenuti nell’archivio istituzionale per
sperimentare nuovi indicatori e nuove metriche che
permettano di superare alcune debolezze tipiche della
valutazione nelle scienze umane (in particolare la
molteplicità degli output e i tempi di produzione)
rendendole più oggettive e dunque misurabili.
Indicatori quantitativi e indicatori qualitativi
• Gli strumenti che abbiamo ora a disposizione (indici
bibliometrici e peer review) non sono in grado di
cogliere completamente la qualità dei lavori scientifici
ma solo una proxy
• Ciò è ancora più vero per le discipline umanistiche. I
dati, soprattutto quelli quantitativi, vanno
interpretati e in molti casi le analisi automatiche
servono a rendere conto solo di una piccola parte
della produzione scientifica
Conseguenze: problemi aperti
Di cosa c’è bisogno?
In primo luogo di dati:
Raccolti in maniera standardizzata in un unico punto
avendo in mente il fine (valutare per conoscere,
valutare per correggere…?) che potrebbe dunque non
essere chiaro o non essere unico o variare di volta in
volta
Affidabilità e completezza
Quali dati per la valutazione?
I dati raccolti a fini valutativi devono avere
caratteristiche specifiche e richiedono dunque una
archiviazione specifica (scelta dei metadati,
inserimento, organizzazione, validazione)
Spesso queste caratteristiche non coincidono con quelle
necessarie per l’archiviazione
Le procedure di organizzazione e soprattutto di
validazione dei dati sono costose ed implicano
l’interazione di professionalità specifiche
I dati sulla ricerca in Italia
• Manca in Italia una anagrafe della ricerca nazionale
• Il sito docente del MIUR contiene solo una parte molto
parziale di quanto prodotto dai ricercatori italiani inoltre i
dati sono “sporchi” perché non validati. Risultano dunque
inutilizzabili per la maggior parte delle analisi valutative
• I dati caricati sul sito docente sono accessibili ai singoli
ricercatori ma non in maniera cumulativa ai loro enti che per
averli devono concordare estrazioni specifiche eventualmente
a pagamento.
• La creazione di anagrafi della ricerca locali interoperabili con
l’anagrafe della ricerca nazionale è raccomandata dal
documento della CRUI “L’Open Access e la valutazione dei
prodotti della ricerca scientifica”
• La presenza di un’anagrafe locale rende più facile la
validazione dei dati contenuti
I dati e la loro elaborazione : UNIMI
• Si è scelto di raccogliere i dati relativi alle pubblicazioni
e agli incarichi scientifici dell’Ateneo attraverso un
archivio istituzionale, strumento predisposto secondo
standard internazionali e per lo scambio dei dati.
• L’archivio è integrato con una serie di strumenti
amministrativi e gestionali, in particolare il modulo di
Business intelligence effettua le estrazioni e le
elaborazioni necessarie per rispondere alle diverse
domande valutative.
L’archivio istituzionale della ricerca
• Frutto della collaborazione di professionalità diverse
(area ricerca, biblioteche, divisione sistemi informativi)
• Attivo dal 2005
• Oltre 62000 registrazioni
• Buona copertura a partire dal 2005 (fra le 10 e le 11mila
registrazioni ogni anno)
• Alimentato costantemente. Dal 2008 i dati inseriti in AIR
passano ogni giorno al sito docente del MIUR evitando ai
docenti inutili duplicazioni
• IMPORTANTE
• 2009 delibera SA individua in AIR la fonte privilegiata
per gli esercizi di valutazione interni ed esterni
Workflow
• Docenti, ricercatori, assegnisti, borsisti e dottorandi
inseriscono i metadati delle pubblicazioni entro un mese
dall’uscita. Laddove possibile aggiungono il full-text
• Un gruppo di 80 bibliotecari valida i dati inseriti,
correggendo quanto verificabile o respingendo le
registrazioni non corrette e pubblicando i record
validati.
La valutazione della ricerca in ambito
umanistico
Di cosa c’è bisogno
• Indicatori che tengano conto della specificità delle
discipline umanistiche:
Frammentazione
Discipline a lenta maturazione della visibilità (diverso
concetto di impatto)
Modalità di comunicazione dei risultati e tipologie degli
output
La Facoltà di Lettere: l’esercizio pilota
• Una prima sollecitazione è venuta dalla valutazione
delle scuole di dottorato, ma con già in mente il
prossimo esercizio di valutazione nazionale.
• Situazione di partenza: scarsa chiarezza su quanto cosa
e dove pubblicano i ricercatori della facoltà
• Necessità di una indagine conoscitiva che desse
informazioni sulla produzione e sulla produttività della
facoltà a partire da Dipartimenti che avevano una
assoluta diffidenza nei confronti delle analisi
quantitative.
• Le analisi quantitative opportunamente utilizzate
possono dare indicazioni molto utili rispetto alla
produzione di ricercatori e dipartimenti
La Facoltà di Lettere: l’esercizio pilota
•
•
•
•
Arco temporale: 2006-2008
196 (associati e ordinari) 106 ricercatori
Dal 2007 8 Dipartimenti
Dati rilevanti per lo studio:
Numero pubblicazioni per docente e per ricercatore
nelle tipologie rilevanti (saggio, articolo, libro, inter. a
conv.) al fine di individuare la produttività
Utilizzo delle lingue diverse dall’inglese per una
definizione di internazionalizzazione
Pubblicazione in riviste con IF al fine di capire quanto
questo tipo di scelta sia rilevante per i diversi SSD
Produttività per ricercatore all’interno dei dipartimenti
per effettuare una comparazione interna
Editori a cui ci si rivolge
Alcuni dati
Numero pubblicazioni docenti e ricercatori
(2006-2008)
Docenti
Ricercatori
900
400
850
800
377
350
700
300
600
250
500
256
200
400
440
Docenti
355
300
294
Ricercatori
150
150
122
100
200
50
100
0
0
Articoli
Saggi
Int a conv.
libri
Numero totale di pubblicazioni sul triennio
Articoli
Saggi
Int a conv.
libri
Numero di pubblicazioni sul triennio
Il saggio risulta la tipologia di prodotto della
ricerca più diffusa fra ricercatori e docenti
Utilizzo di lingue diverse dall’italiano
Docenti
Ricercatori
Libri
Libri
Int. a convegno
italiano
lingue diverse
dall'italiano
saggi
articoli
Int. a convegno
italiano
lingue diverse
dall'italiano
saggi
articoli
0%
20% 40% 60% 80% 100%
0%
20% 40% 60% 80% 100%
Solo il 10/20% dei lavori di ricerca sono in lingue diverse dall’italiano (non
necessariamente in inglese) ad indicare la scarsa rilevanza dell’uso
dell’inglese come criterio di internazionalizzazione
Media pubblicazioni per docente all’interno
dei dipartimenti (2007-2008)
Dip. Studi linguistici, lett. e filologici
Dip. Storia delle arti, musica e spett.
Dip. Scienze dell’antichità
Dip. Scienze della storia e doc. storica
Media per docente
Dip Scienze linguaggio e lett. straniere
Dip. Geografia e scienze Umane
Dip. Filosofia
Dip Filologia Moderna
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
Grado di collaborazione
Media autori per tipologia e per anno
2006
2007
2008
Articolo
1,182
1,233
1,152
Saggio
1,542
1,194
1,688
Int. a convegno
1,2
1,6
1,2
libro
3,722
9,482
7,716
Gli umanisti lavorano per lo più da soli o con colleghi
della Facoltà
Scelta delle sedi editoriali
• Estremamente variegata:
• Prestigiose university press straniere (Cambridge,
Oxford)
• Editori internazionali di rilievo (Blackwell, Brill, Springer
ACM)
• University press italiane (FUP, Pisa, Bari)
• Editori Universitari (Il Mulino, Angeli, Carocci)
• Editori di varia (Mondadori, Einaudi, Bompiani, Laterza
ecc.)
• Editori a cui la Facoltà è legata da contratti
Prossimi passi
• Dopo aver preso coscienza di cosa quanto e dove
scrivono i ricercatori afferenti alla Facoltà è stata creata
una griglia che tiene conto oltre che delle pubblicazioni
anche delle cariche e degli incarichi.
• Il prossimo passo sarà quello di assegnare un peso alle
diverse voci
L’archivio e i full-text
• Gli archivi istituzionali sono predisposti anche per
accogliere i full-text dei lavori archiviati.
• Ciò ha una rilevanza particolare per ambiti disciplinari in
cui manca uno Citation index e a cui possono essere
applicati i nuovi strumenti di misurazione del web (Web
Impact factor, Usage factor) e della social scholarship
(rating, inserimento negli strumenti di social tagging
ecc.) che sono liberamente accessibili ed indipendenti
da operatori commerciali
L’archivio e i full-text
• Dopo una iniziale diffidenza (e reticenza) rispetto alla
archiviazione dei full-text si è cominciato a capire
l’importanza della visibilità data da uno strumento come
l’archivio istituzionale
• In vista del VQR l’archivio è in grado di ospitare in una
sorta di dark archive (accessibile solo ai valutatori) tutti
i PDF editoriali delle pubblicazioni che verranno
presentate (come già stato fatto per gli esercizi di
valutazione australiano e britannico)
VQR e SURplus
• L’esercizio pilota ha fornito una serie di indicazioni per
l’imminente VQR, a partire dall’individuazione dei
ricercatori inattivi o parzialmente attivi e dal conteggio
di pubblicazioni per docente nelle tipologie rilevanti.
• L’archivio istituzionale contiene la maggior parte dei
dati necessari ad una prevalutazione interna.
• Si sta pensando di raccogliere i dati mancanti (abstract,
parole chiave e full-text) attraverso un modulo di BI che
permetta all’ateneo di effettuare una scelta prima che i
dati vengano inviati
• Resta l’incognita della possibilità di trasferire i dati
raccolti da BI al sito Cineca
Conclusioni
• L’esercizio pilota si è rivelato un’esperienza positiva e ha
soprattutto fornito una serie di indicazioni di cui fino ad ora si aveva
una percezione solo indistinta.
• Se il dato meramente quantitativo può di fatto essere facilmente
confutato ad una analisi più raffinata (e ciò vale sia per le scienze
dure che per le scienze umane) esso si rivela certamente, nella
media, più solido ed atto a rendere conto di una buona parte dei
lavori prodotti.
• Il fine a cui tendere è quello di costruire metodi condivisi nella
produzione di dati robusti che pur nella loro confutabilità
permettano la comparazione.
• L’uso generalizzato degli archivi istituzionali come anagrafi della
ricerca che colloquiano con l’anagrafe centrale può portare a livello
locale ad una maggiore e trasparente disponibilità di informazioni, a
livello nazionale alla creazione di un quadro completo della
produzione scientifica, affidabile e comparabile con altri sistemi di
ricerca.
