Osservazioni pervenute dalle altre Associazioni area 12 sul doc ANVUR
Mozione su “Base dati bibliometrica italiana nelle aree umanistiche e sociali”
Il Direttivo dell’Associazione italiana di diritto comparato
PREMESSO
- che l’ANVUR ha varato un progetto teso a costituire una base dati bibliometrica italiana nelle aree
umanistiche e sociali, le cui specifiche preliminari, redatte dal “Gruppo di lavoro Database e nuovi
indicatori” verranno presentate a Roma il prossimo 20 gennaio 2014
RILEVATO
- che detto progetto presenta numerose criticità di seguito riassunte:
a) ARCHITETTURA DEL SISTEMA DI VALUTAZIONE. L’ANVUR è titolare di molti poteri. Spesso assume il ruolo
sia di regolatore che di valutatore. Non è auspicabile che sia l’ANVUR a prendere anche l’iniziativa di varare
esperimenti pilota come quello di cui si discute. In ogni caso dovrebbero essere le comunità degli studiosi a
stabilire i parametri di valutazione delle diverse discipline scongiurando l’approccio teso a ‘trapiantare’
nelle scienze umane criteri pensati per altre scienze.
b) USO DELLA BIBLIOMETRIA NELLE SCIENZE SOCIALI. Il progetto riguarda un numero limitato di riviste e di
indicatori, mentre nell’area giuridica di gran lunga prevalente è la monografia (sia individuale che
collettanea) di talché il database, quand’anche implementato al meglio, fotograferebbe comunque una
parte molto limitata della letteratura giuridica con innegabili effetti distorsivi. Nelle scienze giuridiche gli
stili citazionali sono molto diversi. Ne deriva una intrinseca difficoltà a raggiungere dati aggregati
attendibili. Il documento contenente le specifiche preliminari ammette, inoltre, che possono esserci diversi
tipi di citazioni: per adesione, per tributo, per rassegna, per dissenso, per rituale accademico. Ma in che
modo saranno interpretate e pesate queste diverse tipologie? Si deve considerare, infine, che per molte
aree delle scienze umane l’impatto citazionale è un indice che non fornisce alcuna reale indicazione
qualitativa, soprattutto nei casi in cui la ricerca scelga un certo – e pienamente legittimo – orientamento
culturale.
c) RICADUTE PREGIUDIZIAVOLI SULL’ATTIVITA’ DI RICERCA. Com’è noto, le tecniche di valutazione
indirizzano i comportamenti dei ricercatori che cercheranno di orientare la propria attività verso i prodotti
che vengono meglio valutati. A parte il fatto che introdurre nuovi sistemi di valutazione “in corsa” penalizza
quanti negli anni precedenti hanno svolto attività non omogenee ai nuovi criteri (ad esempio: pubblicare su
riviste che non si sapeva non fossero in fascia A, le uniche che verrebbero prese in considerazione dal
database), si deve considerare che un sistema che valorizzi la pubblicazione solo su (alcune) riviste,
penalizza il genere letterario della monografia nel quale tradizionalmente la cultura giuridica vede lo
strumento principale di progresso scientifico. E non pare che un cambiamento epocale si possa giustificare
per ragioni… ‘informatiche’ o per volontà …’uniformatrici’. La scelta di limitare il database a riviste
classificate (da chi?) di fascia A se da una parte sottende l’idea che solo le citazioni ‘eccellenti’ sono
considerate valide, dall’altro aumenta a dismisura il potere dei comitati editoriali delle riviste con effetti
distorsivi sul reclutamento accademico ma anche sulla produzione del sapere: è migliore chi è citato per
articoli pubblicati su riviste che per definizione decidono chi è migliore perché ne pubblicano i lavori. Si
deve anche evidenziare che l’introduzione di indici citazionali ha effetti penalizzanti nei confronti della
ricerca critica ed innovativa o su tematiche “di frontiera”.
RIBADITA
- la necessità di introdurre meccanismi di valutazione della ricerca
MA RIBADITA ANCHE
- la necessità che la valutazione della ricerca avvenga sulla base di parametri realmente fondati e
qualitativamente attendibili
CHIEDE
- che l’ANVUR chiarisca la natura strettamente sperimentale di qualsiasi progetto relativo all’elaborazione
di strumenti quantitativi di valutazione per le scienze umane e sociali, escludendone perciò l’applicazione
pratica ai fini della valutazione a qualsiasi livello (individuale e di struttura);
- che l’eventuale passaggio da una fase sperimentale a una fase operativa avvenga solo dopo un periodo
prolungato di testing, sufficiente a verificare robustezza, copertura, utilizzabilità di basi dati e indicatori e
che tale passaggio possa avvenire solo a seguito di un’ampia e condivisa discussione con le comunità
scientifiche;
- che venga abbandonato l’approccio teso ad uniformare la valutazione dei diversi campi del sapere
piegando la valutazione della ricerca nelle aree umanistiche e sociali alla logica che governa la valutazione
delle cosiddette scienze dure (ammesso che quest’ultima sia realmente attendibile);
- che si salvaguardi la diversità di approcci alla valutazione come espressione della diversità degli statuti
epistemologici dei diversi saperi, diversità che costituisce il fondamento del progresso scientifico;
- che si proceda alla definizione di indicatori multipli, non solo citazionali, aperti e condivisi per la
valutazione della ricerca nelle aree umanistiche e sociali;
- che si attribuisca in tale definizione un ruolo di primo piano alle comunità degli scienziati anche al fine di
sottrarre l’ANVUR al contestuale ruolo di definitore delle regole e di valutatore, ruoli che è bene restino
distinti.
Roma, 10 gennaio 2014
S.I.S.D.
Società italiana di Storia del diritto
Il Consiglio Direttivo della Società Italiana di Storia del Diritto, riunitosi a Milano il 10 gennaio 2014, in
merito al Documento ANVUR – Gruppo di lavoro Database e nuovi indicatori. Specifiche preliminari per
una base dati bibliometrica italiana delle aree umanistiche e sociali, ha approvato all’unanimità il
seguente documento:
- Premesso che il consiglio direttivo della SISDI ritiene che la valutazione della ricerca sia un obiettivo
condivisibile e da perseguire, purché i criteri di tale valutazione siano elaborati e condivisi dalla
comunità accademica nel pieno rispetto dei principi costituzionali di libertà della ricerca scientifica;
- Rilevato che numerosi e autorevoli studi italiani e stranieri hanno costantemente messo in dubbio la
rilevanza per le SSH dei criteri bibliometrici e degli indicatori di impatto tradizionalmente applicati
nelle hard sciences e che, per quanto concerne, in particolare, le scienze giuridiche, la bozza del Leuven
Law Research Classification § Evaluation Model presentata a dicembre 2013 che sarà sottoposto
all’approvazione dei law deans della LERU nel maggio 2014, ritiene ineludibile l’applicazione di criteri
di una valutazione qualitativa, oltre che quantitativa, della ricerca giuridica;
- Rilevato che il dibattito sulla consistenza scientifica e sulla validità dell’impact factor e degli indici
citazionali, in generale, incluso l’h-index, è in corso da anni a livello internazionale anche ai fini della
valutazione delle hard sciences;
ritiene che la proposta ANVUR del Gruppo di lavoro Database e nuovi indicatori sia assolutamente
inadeguata a risolvere il problema della valutazione della ricerca delle SSH per una molteplicità di
motivi di merito e di metodo
In particolare:
- ritiene che ogni raccolta e diffusione di dati costituisca un vantaggio per la comunità accademica, ma
esclude che, da un punto di vista epistemologico, una raccolta di carattere quantitativo di dati possa
tradursi in un meccanismo di classificazione di merito e di valutazione, come del resto è chiaramente
espresso nel sopra citato Leuven Law Research Classification § Evaluation Model. Il Database appare,
infatti, destinato a costituire strumento di valutazione della ricerca individuale, delle strutture e al fine
della ripartizione amministrativa delle risorse. Un obiettivo radicalmente in contrasto con la
dichiarazione posta in capo alla proposta - secondo cui l’istituendo Database ha «caratteri di
neutralità» e non intende «predeterminare scelte valutative o di politica della ricerca che competono
ad altre istanze, quali, ad esempio, gli algoritmi di valutazione, i pesi da assegnare a vari indicatori
etc.» (p. 4) - dato che nella stessa si aggiunge che comunque il Database diventerebbe il punto di
riferimento fondamentale per ogni operazione di valutazione: «intende offrire dati e indicatori» che
sarebbero alla base di « utilizzi e rielaborazioni da parte dei soggetti interessati»;
- rileva che la proposta presenta considerevoli elementi critici, non trasparenti né tanto meno
condivisi con la comunità scientifica, quanto alla raccolta e all’organizzazione dei dati, alla selezione
dei metadati, all’individuazione dei soggetti destinati a tale operazione, alla scelta dei software (nessun
software è uno strumento neutro), alla prospettata interazione con altre banche dati sommariamente
elencate;
- rileva che il progetto ANVUR appare destinato all'applicazione immediata, salvo calcolo dei tempi
plausibili di realizzazione condizionati non solo dalla raccolta dei dati ‘grezzi’, ma anche dalla relativa
elaborazione di tali dati, e dalla necessità – sottolineata dal documento ANVUR – di incrociarli con altre
banche dati, peraltro sommariamente elencate;
- rileva che i costi della costruzione del Database possono risultare assolutamente sproporzionati
rispetto ai finanziamenti necessari per la ricerca giuridica, sia per quanto riguarda il tempo sottratto
agli appartenenti all’area 12 e alla loro ricerca scientifica per predisposizione dei dati loro richiesti, sia
per il ricorso all’attività non gratuita di soggetti terzi (cfr. 8. Business model) che richiede supporto
istituzionale ministeriale e condiviso tra vari soggetti pubblici, sponsorship privata, fornitura di servizi
personalizzati a pagamento ……;
- esprime con forza il timore che la proposta costituisca un ulteriore attentato alla libertà della ricerca
e tenda a deprimere la ricerca di base. Come indicato sopra, sia la scelta dell’oggetto delle
pubblicazioni che dovrebbero costituire il core di tale Database (contributi in riviste di fascia A), sia
ulteriori indicazioni contenute nella proposte (ad esempio, il richiamo all’uniformazione del metodo e
degli stili citazionali che si renderebbe necessario per le caratteristiche dei software esistenti (p. 8)),
fanno temere che l’operazione proposta finisca per introdurre elementi distorsivi della ricerca
giuridica e, pertanto, lesivi della libertà di ricerca, in quanto introdotti da soggetti esterni alla
comunità scientifica di riferimento;
- rifiuta il fattore citazionale e bibliometrico come unico elemento di valutazione della ricerca
scientifica dell’area giuridica, tanto piú se gli indicatori, come prospettato, devono essere
desunti esclusivamente dalle riviste di classe A: per contro, in virtú d’una consolidata
tradizione culturale, gli appartenenti ai SSD interessati sono soliti articolare la loro
produzione scientifica in una pluralità di canali editoriali, pur senza voler negare l’indiscusso
prestigio acquisito, nel corso del tempo, da alcuni periodici. L’esclusione delle monografie,
delle raccolte di studi a carattere tematico e di tutte le pubblicazioni che, di sovente,
costituiscono i contenitori della riflessione scientifica più originale estromette dal campo di
rilevazione una parte considerevole, per non dire preponderante, dei prodotti della ricerca
scientifica giuridica, umanistica e delle scienze sociali e, in prospettiva, inciderebbe
irragionevolmente sulla futura fisionomia delle discipline interessate;
- sostiene, infine, che questa proposta appare, in ordine di tempo, come l’ultimo degli interventi (o dei
tentativi di intervento) posti in atto dall’esecutivo tramite la longa manus dell’ANVUR (organismo sul
quale sono stati sollevati considerevoli dubbi di legittimità costituzionale) per interferire nell’esercizio
della libertà della ricerca garantita dalla nostra Carta Costituzionale e ribadita in più occasioni dalle
sentenze della Consulta: a questo proposito, si riserva di seguire tutte le possibili vie giurisdizionali a
tutela di tale libertà.
SULLA RELAZIONE FINALE DELLA VQR NELL'AREA 12
Da Vincenzo Zeno Zencovich, Presidente AIDC (ass. it dir comparato) a Pres. Conferenza Area 12
(invio a tutte le Associazioni)
Caro Presidente,
ti allego la relazione finale della VQR nell'Area 12.
Mi permetto di segnalarti che contiene una messe di dati e di valutazioni sulla scelta della peer review
(con rifiuto della bibliometria) e sulle criticità che purtuttavia essa presenta (vedi ad es. le pagine 6/8,
20/22). Nonché le conclusioni - in larga misura, penso, condivisibili da parte dell'Area 12 - che trovi
alle pagine 72/74 e 96/98.
Ma soprattutto mi preme sottolineare un punto: la VQR è stata svolto sotto il controllo e la direzione
dell'ANVUR. Il rapporto, come vedi è su carta intestata ANVUR. L'ANVUR avrebbe l'onere di
spiegare perchè, nonostante pochi mesi fa un suo comitato abbia rigettato la bibliometria, essa torna a
riproporla. Forse il prof. Bonaccorsi dovrebbe prima leggersi cosa è scritto in quel documento e poi
fare delle proposte sensate. Insomma, la 'consultazione' l'ANVUR ce l'ha già ed è motivatamente e
assolutamente contraria.
Da Michele Graziadei, Sird - Società italiana per la ricerca nel diritto comparato
Al Prof. Antonello D'Atena
Alla Prof. Claudia Storchi Storti
Alla Prof. Carla Barbati
A tutte le Associazioni di area giuridica.
Cari Colleghi,
sto leggendo il documento Anvur relativo alle valutazioni dei dotttorati che è
ora pubblico. Putroppo non potrò essere con voi domani.
In attesa di approfondimenti debiti, mi pare che la riunione con l'Anvur possa
essere l'occasione per ribadire alcuni concetti:
1) Anvur invita a inviare a breve termine le osservazioni ad un indirizzo e-mail,
ma non si impegna, com'è la regola in ogni consultazione pubblica degna di questo
nome, a rendere note su alcun sito web le osservazioni che pervengono dagli
atenei. Il metodo viola requisiti minimi di trasparenza. Le osservazioni che
pervengono, interessando tutta la comunità scientifica, devono essere messe a
disposizione di essa su di un sito web dell'Anvur. (Se l'Anvur non mette a
disposizione questo sito web, potremmo domandare alla Crui di farlo, per lo meno
quanto alle osservazioni provenienti dagli atenei). Credo che anche le altre
associazioni d'area possano essere d'accordo su questa richiesta.
2) Nella valutazione della composizione del collegio ritorna la proposta di
utilizzare le mediane (vedi pag. 8-9 del documento, punto 5.4.2), in particolare
con riferimento all'attività scientifica del coordinatore.
Lasciando da parte la classificazione delle riviste in fasce, va ricordato che
l'uso delle mediane così come disegnate dall'Anvur taglia fuori in larga misura la
produzione non affidata a riviste. Non si può proporre in questa sede un criterio
così arbitrario, che non rispetta affatto lo statuto epistemologico della nostra
disciplina. Si vuole davvero tagliar fuor dalla valutazione tutta la produzione
affidata a canali editoriali di tutto rispetto, che non sono le riviste ? Qui si
applicano per la prima volta dei criteri bibliometrici a dei settori non
bibliometrici, e non certo a titolo di informed peer review. Pensiamoci ci bene.
Mentre fin qui si è parlato di distribuzione di soldi (che comunque non ci sono),
la manovra sui dottorati porterà al mancato accredimento di strutture, ed è quindi
destinata ad incidere concretamente sulla vita delle nostre discipline ed in
particolare sui docenti maggiormente impegnati nella ricerca scientifica. Si impone
dunque una verifica quanto mai attenta della proposta Anvur.
Un cordiale saluto a tutti,
