Roma, 9 febbraio 2018
Già in altre occasioni recenti, l’Associazione Italiana per la Storia dell’Economia Politica (STOREP) ha espresso le proprie riserve sul sistema di valutazione della ricerca (in senso lato) attualmente in vigore. L’esigenza di identificare presunti criteri di oggettività ha condotto alla predisposizione di strumenti di identificazione di “eccellenze” in un insieme inevitabilmente eterogeneo di ambiti, dalla valutazione della ricerca accademica (VQR), a quella degli studiosi che aspirano a ricoprire un ruolo di docente universitario (ASN), a quella dei ricercatori meritevoli di un finanziamento per la ricerca di base (FFABR). Quella italiana, si è sottolineato e si intende ribadire, è da considerarsi, per molti versi, un’anomalia, nel panorama europeo[1].
Gli esercizi di valutazione sono infatti affidati a un’agenzia, ANVUR, di natura governativa: i suoi membri sono nominati direttamente dal Ministero dell’Istruzione, Università e Ricerca, e le sue attività sono definite direttamente da decreti ministeriali. Nessuna istituzione di questo genere in Europa (ad esempio AERES in Francia, o ANECA in Spagna), può vantare una simile concentrazione di potere e funzioni e generare un simile controllo governativo sulla ricerca. È questo il carattere di anomalia che maggiormente desta preoccupazioni: il sistema di valutazione (che per altro comporta costi decisamente elevati, se confrontati con i benefici attesi[2]) è destinato a produrre effetti irreversibili sulla struttura stessa, e l’evoluzione nel tempo, dell’accademia italiana, e delle discipline in essa insegnate.
Per quanto riguarda gli esercizi di valutazione della ricerca nell’area 13 (Scienze Economiche e Statistiche), che rivestono un interesse specifico per STOREP, se l’utilizzo di procedure di valutazione massive della ricerca è un’anomalia generale che accomuna il nostro paese alla sola Gran Bretagna nel contesto europeo, l’Italia è ormai l’unica nazione al mondo a fondare tali procedure sulla compilazione di ranking di riviste scientifiche internazionali. Un fondamento davvero esile, come emerso dalle critiche, per citare quelle più autorevoli, giunte da tre premi Nobel per la fisica al “cieco algoritmo valutativo” utilizzato per la valutazione italiana[3], da quelle espresse dalla Fondazione Nobel contro l’uso di indicatori bibliometrici per le riviste[4], come anche dall’evidenza dei dati in favore di un uso parsimonioso della peer review in rapporto alla bibliometria come metodo di valutazione[5].
STOREP ritiene che sia necessaria una revisione dell’impianto legislativo generale, che consenta una semplificazione delle procedure, una riduzione dei costi, una maggior trasparenza del sistema. Le procedure valutative, nell’area 13, hanno comportato come effetto collaterale, tra le altre distorsioni, un’evidente riduzione del pluralismo negli ambiti disciplinari coinvolti, con effetti certamente negativi per l’evoluzione della produzione di conoscenza. In particolare, i criteri adottati penalizzano gli ambiti di ricerca dei nostri associati, ambiti caratterizzati da minore numerosità dei ricercatori coinvolti, diverso uso delle citazioni, minore propensione al co-autoraggio. Per ovviare al problema del deficit di pluralismo, STOREP avanza un pacchetto di proposte specifiche. Per quanto concerne le procedure di valutazione per l’ASN:
- le liste di riviste scientifiche internazionali reputate di eccellenza dovrebbero considerare non esclusivamente un indice tratto da “Scopus”, ma anche indici forniti da altri database generali come WoS di Clarivate e CWTS journal indicators, o specifici di area come RePEc. L’uso di diversi indici e diverse fonti di dati appare quantomeno un piccolo correttivo alle note distorsioni che la letteratura sulla bibliometria ha spesso evidenziato; in ogni caso, dovrebbe essere garantito che la lista delle riviste di fascia A ai fini dell’abilitazione non sia discriminatoria nei confronti di alcuna tra le aree tematiche codificate dal Journal of Economic Literature classification system (si veda anche più avanti): attualmente solo 4 riviste su più di 400 in fascia “A” appaiono riconducibili all’area B e alle sotto-aree E11-E12 del sistema di classificazione JEL;
- le riviste considerate di fascia “A” in uno degli specifici settori dell’area 13 dovrebbero essere considerate di fascia “A” anche in tutti gli altri settori dell’area;
- le procedure dovrebbero garantire una effettiva regolarità, per evitare un’eccessiva numerosità dei candidati in singole tornate di valutazione e consentire la effettiva lettura dei lavori da parte delle commissioni[6], nonché per compensare gli effetti distorsivi introdotti dalla struttura della valutazione.
Per quanto concerne la VQR, STOREP non può esimersi dal lamentare l’impossibilità a priori per la ricerca nell’ambito della storia del pensiero economico ed eterodosso, di ottenere una valutazione di eccellenza, a causa dell’applicazione di criteri che impediscono alle riviste del settore di posizionarsi tra quelle di fascia “A”. Si propone dunque che:
la lista delle riviste considerate eccellenti (fascia “A”) per il principale settore dell’area 13, e cioè 13/A1, Economia politica, non sia discriminatoria nei confronti di alcuno tra i “codici” del Journal of Economic Literature classification system (JEL codes, a cura dell’American Economic Association[7], che costituiscono lo standard internazionalmente accettato di classificazione degli articoli economici), e che dunque includa al suo interno una rappresentanza qualificata (da determinarsi in base a una formula specifica) di riviste di riferimento per ciascuno dei codici stessi di classificazione.
In conclusione, STOREP ritiene necessaria un’analisi critica delle principali distorsioni prodotte dall’utilizzo di meccanismi di valutazione massiva della ricerca nel sistema italiano. Auspica a tal riguardo, con l’occasione del prossimo avvio di una nuova legislatura, una revisione dell’intero impianto legislativo della valutazione, e nel quadro dell’impianto esistente, suggerisce l’introduzione di dispositivi volti a ridurre la drammatica compressione degli spazi del pluralismo nell’area 13 (Scienze Economiche e Statistiche).
Maria Cristina Marcuzzo
Presidente dell’Associazione Italiana per la Storia dell’Economia Politica
Note
[1] Le ragioni sono esposte compiutamente nell’articolo di A. Baccini e G. De Nicolao, “How Pseudoscientific Rankings Are Distorting Research”, Institute for New Economic Thinking, 18 gennaio 2018.
[2] Come rilevato ad esempio nell’articolo “La VQR? Uno spreco. Il premio vale 58 MLN, la gara ne costa almeno 30”, a cura della Redazione Roars, 20 febbraio 2017, disponibile alla pagina https://www.roars.it/online/la-vqr-uno-spreco-il-premio-vale-58-mln-la-gara-ne-costa-almeno-30/.
[3] La lettera dei tre Premi Nobel, inviata al Ministro dell’Istruzione, dell’Università e della Ricerca in data 21 agosto 2017, è disponibile (introdotta dalle parole del Presidente della Società Italiana di Fisica Luisa Cifarelli) alla pagina https://www.primapagina.sif.it/article/646/la-scottante-questione-della-valutazione#.WmUOK6jiY2w.
[4] Si veda la serie di interviste a 12 premi Nobel, disponibili in formato video al canale YouTube “What Do Nobel Laureates Think of Impact Factors?”.
[5] Si veda in merito la recente dichiarazione congiunta dell’Académie des Sciences, Leopoldina e Royal Society: “Statement by three national academies (Académie des Sciences, Leopoldina and Royal Society) on good practice in the evaluation of researchers and research programmes”, 27 ottobre 2017, disponibile alla pagina https://royalsociety.org/~/media/policy/Publications/2017/08-12-2017-royal-society-leopoldina-and-academie-des-sciences-call-for-more-support-for-research-evaluators.pdf.
[6] Sul problema costituito dalla eccessiva mole di lavoro per le commissioni dell’ASN e su alcuni possibili rimedi si veda l’articolo di E. Bellino e S.M. Fratini, “Abilitazione e reclutamento dei professori universitari nei settori economici dal 2012 ad oggi”, pubblicato in due parti sul portale “Menabò” dell’Associazione Etica ed Economia, agli indirizzi https://www.eticaeconomia.it/abilitazione-e-reclutamento-dei-professori-universitari-nei-settori-economici-dal-2012-ad-oggi-i-parte/ e https://www.eticaeconomia.it/abilitazione-e-reclutamento-dei-professori-universitari-nei-settori-economici-dal-2012-ad-oggi-ii-parte/.
[7] L’elenco dei JEL codes e le specifiche di ogni codice sono disponibili alla pagina https://www.aeaweb.org/jel/guide/jel.php.
Mario Cedrini