di Antonio Banfi
L’utilizzo di classifiche di riviste nel corso di esercizi di valutazione è già stato discusso più volte su queste pagine. Vi sono infatti ragioni di carattere generale che dovrebbero indurre a prudenza nell’uso di strumenti di questa natura, per gli effetti distorsivi che essi possono produrre, sia nel panorama scientifico che nel mondo dell’editoria.
Al di là di queste riserve sullo strumento in sé, va detto che l’esperienza italiana in materia presenta alcune anomalie significative, in particolare (ma non solo) per quanto riguarda le aree per le quali non possono essere utilizzati strumenti di valutazione bibliometrica (aree CUN 10, 11, 12, 14, parte dell’area 13).
Le liste sono state costruite in tempi brevi, a cura dei singoli Gruppi di Esperti della Valutazione (GEV), con un coinvolgimento delle comunità scientifiche di riferimento che non si può che ritenere largamente insufficiente. Mentre per le aree “bibliometriche” si è fatto ricorso a un mix di indicatori – non senza produrre esiti discutibili – per le cosiddette scienze umane e sociali è stato reso noto unicamente il processo [1] che ha portato alla stesura delle classifiche, ma non i criteri che sono stati utilizzati.
La mancata pubblicazione dei criteri desta più di una perplessità e lascia supporre che essi non siano neppure stati definiti. Va anche osservato che la distribuzione per fasce di qualità, stabilita dal bando VQR, non è stata rispettata nelle aree delle scienze umane e sociali. E’ verosimile dunque che in più di un caso l’attribuzione del giudizio di qualità alle riviste sia stata frutto di concertazioni non trasparenti fra soggetti in alcuni casi neppure chiaramente identificabili [2].
In ogni caso, non stupisce che su queste liste si stia sviluppando un’accesa polemica, tanto più significativa in quanto voci insistenti fanno ritenere che tali rankings o ratings avranno un qualche ruolo nel processo delle abilitazioni nazionali. In ogni caso, mi limito qui a segnalare solo alcune anomalie relative a tali classifiche:
In questo quadro, l’ANVUR ha più volte difeso il proprio operato in maniera infelice, richiamandosi al carattere sperimentale dell’operazione. Il che è sbagliato, poiché la VQR non è una sperimentazione – contribuirà infatti a definire l’allocazione di una quantità consistente di risorse – e poiché è evidente che molti revisori ai quali saranno fornite tali classifiche saranno tentati di farne uso, trasferendo il rating dal contenitore al contenuto, specie se sarà loro sottoposta una mole ingente di prodotti da valutare. Inoltre, è ben chiaro dai documenti di alcuni GEV delle aree in questione, che le classifiche non hanno una funzione meramente sperimentale, ma potranno essere utilizzate per concorrere alla determinazione della qualità dei prodotti valutati.
Più in generale, sfugge a chi scrive quale sia il pro di una sperimentazione frettolosa e poco trasparente di uno strumento già discusso a livello internazionale e la cui efficacia è da molti esperti di valutazione messa in dubbio.
Tutto ciò premesso, l’Agenzia ha recentemente informato la comunità accademica della possibilità di provvedere a una revisione del rating assegnato a una singola rivista, con una comunicazione dello scorso 8 maggio. Senza entrare nei dettagli della procedura, merita di essere segnalato come unicamente il direttore della rivista o il suo editore siano legittimati a chiedere la revisione del rating.
Se questa scelta può apparire per certi versi comprensibile, va però osservato che essa avrà la conseguenza di rimettere in discussione unicamente il rating di riviste designate come non eccellenti: l’attribuzione della classe A si configura pertanto come un giudizio inappellabile. Infatti nessun direttore o editore ne chiederà mai la revisione, né questa possibilità è concessa a eventuali controinteressati. Il che, ancora una volta, suscita dubbi sulla fairness della procedura: si ammette la possibilità di sottovalutazioni, ma non quella di sopravvalutazioni. Il che non pare ragionevole.
In realtà, è l’idea della procedura di revisione che è sbagliata: una toppa, come si usa dire, peggiore del buco. Infatti se si fosse ottenuto un largo consenso sui rankings, sulla base di criteri chiari e verificabili e di una consultazione ampia, approfondita e trasparente delle comunità scientifiche, prevedendo al contempo una revisione delle liste con cadenza annuale, si sarebbe potuto evitare di escogitare meccanismi di revisione che finiscono per confermare l’inattendibilità dell’intero sistema di rankings.
In effetti, l’impressione è che la procedura di revisione sia un tentativo di prevenire possibili contenziosi giudiziari, piuttosto che uno strumento per assicurare la correttezza dell’intera procedura.
(© Roars. Return On Academic Research)
[1] Un processo a tre stadi: richiesta degli elenchi alle società disciplinari, loro revisione da parte di esperti anonimi (senza alcuna disclosure ex post), successiva revisione finale e pubblicazione per cura del GEV.
[2] Il che – sia detto per inciso – è frutto del fatto che criteri oggettivi e verificabili (a partire dalla peer review) non erano certificabili per larghissima parte delle riviste delle scienze umane e sociali coinvolte nel processo di valutazione per il periodo 2004-2010: il problema, in sostanza, deriva dall’applicazione retroattiva di criteri di valutazione non unanimemente condivisi dalle comunità scientifiche. Un problema che si sarebbe potuto almeno in parte risolvere adottando tempi più lunghi per preparare le comunità scientifiche all’esercizio di valutazione, oppure ricorrendo, per questo primo esercizio, alla sola peer review.
