di Antonio Banfi
Fin dall’epoca della VQR l’Agenzia Nazionale di Valutazione ha stupito gli osservatori con scelte discutibili, puzzles incomprensibili e stranezze varie, non giustificate dalla letteratura scientometrica e non difese dalla stessa ANVUR, che dopo qualche iniziale tentativo di rispondere alle critiche (credo non inutili né peregrine) che le venivano rivolte, ha deciso di chiudersi nella sua rocca, dalla quale far cadere sulla comunità scientifica le sue deliberazioni. Non faccio parte di un settore bibliometrico e non ho le competenze per analizzare e sbrogliare il garbuglio delle mediane bibliometriche, cosa che ha già fatto Giuseppe De Nicolao, mostrando le falle evidenti del sistema. Ora è giunto il turno delle mediane non bibliometriche (http://www.anvur.org/?q=asn-documenti), quelle per i settori delle scienze umane e sociali e colgo l’occasione per qualche prima, frettolosa osservazione.
Premetto comunque che considero la scelta del criterio delle mediane un’assurdità, non supportata da alcuna letteratura scientometrica, estranea a qualsiasi strumento di valutazione, inclusi i sistemi aziendali per le human resources, e last but not least certamente meritevole di essere approfonditamente valutata sotto il profilo costituzionale.
Si sa che alcuni colleghi devono aver pensato che questo sia un efficace rimedio alla corruttela dell’accademia italiana. Si sbagliano: è un criterio che non rimedia a un bel niente. Se da un lato può persino favorire la corruttela (vedi infra la questione dei jolly), dall’altro ci scredita agli occhi della comunitá internazionale come una banda di parvenus, che hanno scoperto le gioie della bibliometria ma non sanno come usarla. Anzi non sanno neppure esattamente cosa sia, affascinati dai poteri taumaturgici di pozioni cucinate al momento da cosiddetti “esperti di valutazione”, peraltro talora ottimi studiosi ma esperti di tutto fuorché di valutazione.
Ma andiamo al punto.
Il dubbio sul numero delle mediane sollevato da Valeria Pinto è risolto: le mediane sono tre. Il documento di accompagnamento definisce i prodotti computabili per le tre mediane relative a:
1. monografie
2. articoli e capitoli di libro
3. pubblicazioni su riviste collocate in fascia A.
Da quanto scrive l’Agenzia si deduce, che
A) qualsiasi pubblicazione con ISBN è monografia ed è valutata ai fini del superamento della mediana. Visto il numero di settori con mediana 0 per le monografie (specialmente in area 13) mi confermo nell’idea di aprire con il collega Carloni (Guida galattica per aspiranti professori) una casa editrice di instant books, anche dadaisti o futuristi (un libro di una sola parola ripetuta per 100 pagine, “interesse legittimo”, intitolato “studi di diritto amministrativo”, perchè no?) purchè dotati di ISBN; se non altro contribuiremmo a migliorare il PIL nazionale con soddisfazione di tutti e specialmente nostra, dal punto di vista pecuniario.
B) solo pubblicazioni con ISBN sono considerate contributo in volume. Eppure esistono volumi (non riviste) dotati di ISSN (monograph series), anche caratterizzati da direzioni scientifiche molto autorevoli. Questi però sono esclusi dal computo.
C) Dal documento ANVUR si deduce che una traduzione di un volume purchessia (basta che abbia l’agognato ISBN) equivale a una monografia scientifica.
D) Ancora meglio (le traduzioni richiedono pur sempre qualche sforzo, anche se forse si può trovare qualcuno che a pagamento attribuisca un ISBN a un traduzione prodotta con Google), le prefazioni o postfazioni valgono come capitolo di libro. E’ certo possibile trovare prefazioni o postfazioni di grande valore, va però detto che solitamente si tratta di prodotti non comparabili a un capitolo di libro. Lo stesso vale per l’equiparazione fra monografie e traduzioni, anche se è indubbio che esistano traduzioni di indubbio valore. Il punto è che queste pesature fra generi letterari sono malfatte: un conto è pesare patate, carote o merluzzi, un conto occuparsi di equivalenze fra prodotti della ricerca.
A questo proposito, osservo, divagando un po’, che nelle aree non bibliometriche non sono considerati valutabili due generi letterari: la recensione e la nota a sentenza. In verità ci sono recensioni e recensioni. Non avrei difficoltà a citare recensioni, solo per la mia disciplina, lunghe decine (se non centinaia) di pagine, che nulla hanno a che invidiare a densi articoli scientifici. Lo ammetto, anche io ne ho scritta qualcuna, anche se non tanto densa, pubblicata – pensa un po’ – su riviste che per la VQR erano di fascia A, perfino indicizzate in ISI. Ora apro la tabella ANVUR e scopro che per le aree bibliometriche le recensioni contano eccome, e concorrono a definire una delle tre mediane, sempre che siano pubblicate su riviste indicizzate. Sarei terribilmente curioso di capire perché si sia prodotta questa disparità di trattamento: le mie recensioni indicizzate in ISI non sono computabili, mentre lo sono per le aree 1-9. Ma andiamo oltre.
Il sistema della mediana una e trina presenta un’anomalia colossale. Poiché la mediana deve essere superata, se essa è 0, si supera con 1 (qualcuno penserà alle frazioni, ci arriviamo entro breve). Quindi, poichè per i settori non bibliometrici è sufficiente superare una mediana su tre, ne consegue che, per fare il caso di filosofia teoretica (Settore concorsuale 11/C1):
due articoli in fascia A (mediana 1) pesano come 5 monografie (mediana 4) o 21 articoli non in fascia A (mediana 20).
E’ razionale una tale pesatura?
Frazioni: gira una voce sinistra. Ossia che alcuni colleghi, per essere più sicuri di essere selezionabili come commissari abbiano diligentemente adottato una pratica di salami slicing. Se si è autori di una monografia, forse che non si è autori di capitoli di libro? Ergo, nella pagina CINECA si carica la monografia e anche – a parte – i capitoli che la costituiscono, in fondo che male c’è? Spiace solo non poter verificare al momento la notizia: ANVUR ha infatti già chiarito di non assumere alcuna responsabilità per l’esattezza dei dati sulla base dei quali sono state calcolate le mediane, e purtroppo il CINECA non è liberamente consultabile.
Come in un gioco di carte c’è il jolly o l’asso pigliatutto. Nella maggioranza dei settori le mediane per i contributi su riviste di fascia A sono 0 o 1. Quindi anche un solo articolo di qui a novembre (il bando è lungo, sia mai che qualcuno ci resti male e pensi di far ricorso) può divenire critico per il superamento della soglia e la potenziale abilitazione. È affascinante vedere come questo sistema proclamato ed elogiato come meritocratico consegni un potere quasi assoluto agli estensori di liste di riviste, veri seigneurs delle abilitazioni, e a cascata ai direttori e ai comitati scientifici delle riviste di fascia A. Confesso comunque di avere un senso di compatimento per coloro che dirigono riviste online di fascia A, non oso immaginare cosa li attende di qui ai prossimi mesi.
A proposito, quando si cominciò a discutere di rankings di riviste ai tempi della VQR non si disse fino alla nausea che avevano un valore sperimentale? Oggi scopriamo che invece essi sono determinanti ai fini delle abilitazioni.
Va osservato inoltre che:
Il punto è determinante perchè solo le riviste a cui sarà stata attribuita una valutazione (A,B,C) sono scientifiche, le altre non sono ritenute tali.
Quante sono le possibili omissioni? Le liste di riviste all’interno delle quali sono state distinte le scientifiche e le non scientifiche, nonchè i vari gradi di qualitá si sono fondate sul popolamento (volontario) del sito docente.
Se qualcuno non strutturato nell’università italiana (expat, precario, whatever), ha pubblicato su una rivista non censita, anche di grande prestigio (non sono poche quelle assenti negli elenchi VQR) potrà contare su questa pubblicazione per superare la mediana?
Non si sa. L’Agenzia è parca di informazioni in merito. Ma anche quel poco che dice non è rassicurante.
In particolare dice che la collocazione delle riviste in fascia A è dovuta, fra l’altro, al calcolo dell’indice-h attraverso una procedura automatica con Google Scholar.
Si è dunque usata una banca dati notoriamente inutilizzabile ai fini bibliometrici a quanto pare in modo automatico (esistono omonimie anche fra le riviste, che richiederebbero disambiguazione) per l’attribuzione della qualifica di asso pigliatutto.
Ancora meglio, la procedura ha previsto anche l’intervento di “esperti”: chi, selezionati come, richiesti di cosa, forniti di quali guidelines, è un mistero gaudioso.
In compenso ANVUR rende noto di aver adottato criteri poco restrittivi per la definizione di scientificità. Fra questi quello che stabilisce che se tre prodotti pubblicati su una certa rivista sono stati sottoposti alla VQR la rivista è considerata scientifica, per quanto non censita dalle società disciplinari e priva di altri requisiti: un criterio il cui rigore si commenta da sè.
Da un passo non molto chiaro del documento ANVUR che accompagna le mediane pare di capire che non sono considerate riviste scientifiche quelle con periodicità annuale e che occorra periodicità infra-annuale. Singolare affermazione: nel mio settore e negli altri settori che conosco (ad esempio quelli di scienze dell’antichità) sono numerosissime le riviste anche di grande tradizione con periodicità annuale: sarà interessante vedere se e come è stato applicato il criterio.
Restano poi in piedi tutte le considerazioni sull’attendibilità delle mediane, sulla effettiva completezza nel popolamento del sito docente, sulla corretta allocazione dei prodotti nelle diverse tipologie.
Ci sarà occasione di tornare in modo più meditato su tutto ciò, in ogni caso, nel complesso, l’osservatore resta profondamente sconcertato dinnanzi alla piega che hanno preso gli eventi: certe volte sembra quasi di sognare, trovandosi in un regno dell’assurdo nel quale ci si può aspettare di incontrare dietro l’angolo Stregatto, il Cappellaio Matto o la Lepre Marzolina. È la meritocrazia del paese delle meraviglie.
ROARS, 25 agosto 2012 – http://www.roars.it/online/?p=11323