Lo strumento più utilizzato per conoscere il valore di una pubblicazione scientifica è la misura dell’impact factor (IF), che consiste nel calcolare il numero medio di citazioni ricevute dagli articoli pubblicati su una certa rivista. Sebbene l’IF sia uno degli strumenti più diffusi in ambito scientifico, esso presenta alcune lacune e problematiche. In particolare, questo indicatore bibliometrico non tiene conto della variabilità tra diversi ambiti di ricerca – che vede la ricerca di base nettamente avvantaggiata – , del vantaggio intrinseco di alcuni tipi di articoli – per esempio le revisioni sistematiche – e del ritardo di pubblicazione, che in alcuni campi è superiore ai due anni.

Alternative all’impact factor

Un’alternativa abbastanza diffusa all’impact factor è il numero assoluto di citazioni, che misura quante volte un articolo è stato citato, utilizzando strumenti come Scopus o Google Scholar . Anche in questo caso però l’indicatore non tiene conto del vantaggio intrinseco che alcuni campi di ricerca hanno rispetto ad altri. Per ovviare a questa mancanza è stato introdotto un nuovo punteggio, chiamato i-Cite, in cui il numero di citazioni per un dato articolo è rapportato al numero medio di citazioni degli articoli per quel campo di ricerca.

Negli ultimi anni sono stati introdotti anche indici alternativi, come Altmetric che valuta l’interesse del grande pubblico per un articolo scientifico misurandone la diffusione a livello mediatico e sui social media.

Contributo del singolo autore e problemi informatici

Una limitazione cruciale di tutti gli indicatori biometrici utilizzati oggi è l’incapacità di soppesare il contributo del singolo autore. Ne consegue che alti tassi di citazione, valori elevati di h-indexes o di punteggi i-Cite possono essere raggiunti anche da autori che non hanno fornito un contributo significativo al loro campo di ricerca. Sarebbe importante incorporare negli indicatori futuri anche una valutazione del contributo del singolo autore, per esempio tenendo conto del numero totale di autori presenti in un articolo, nonché della loro posizione relativa, privilegiando gli autori in prima (e seconda) e in ultima posizione.

L’utilizzo di sistemi informatici può essere fonte di errori di misurazione o di vere e proprie “truffe” informatiche. Alcuni articoli possono essere persi dal conteggio perché non accuratamente trascritti o linkati; in altri casi esistono sistemi robotizzati che pubblicano lo stesso articolo molteplici volte, falsando il punteggio Altmetric. Infine, bisogna considerare che alcuni argomenti quali dieta, cibo, stili di vita o topic controversi hanno un vantaggio intrinseco e una maggiore risonanza a livello mediatico.

Il Research Exercise Framework (REF) 2014: valutazione degli esperti

Nel Regno Unito è stato condotto un importante esperimento per capire quali indicatori bibliometrici fornissero una valutazione vicina all’opinione espressa da un gruppo di esperti. L’analisi ha preso in considerazione quasi 150.000 articoli scientifici e ha confrontato i risultati di 15 diversi indicatori bibliometrici con la valutazione di un pannello di 39 ricercatori. Gli esperti erano chiamati a classificare ogni articolo con un punteggio da 1 a 4, che tenesse conto di originalità, importanza nel campo di ricerca e rigore con cui lo studio era stato condotto.

Gli indici di misurazione che hanno dato risultati più coerenti con l’opinione degli esperti sono stati lo SCImago Journal Rank – un indice che considera non solo il numero di citazioni ma anche l’importanza o il prestigio delle riviste da cui tali citazioni provengono –, il Source- Normalized Impact per Paper – che rapporta il numero di citazioni di un articolo con la media di citazioni in quel settore – e indicatori basati sui percentili delle citazioni. Da notare che l’attività Twitter di un articolo è risultata invece scarsamente correlata alla sua rilevanza a parere degli esperti.

Un indicatore combinato per il futuro

Secondo l’analisi del gruppo REF del 2014 è improbabile che i nuovi indicatori bibliometrici (es. Altmetric) possano sostituire gli indici standard più semplici e più diffusi quali impact factor o numero di citazioni annuali. È comunque importante non limitare la valutazione di un articolo a un unico parametro di misurazione e incorporare alle valutazioni standard altri aspetti, quali i media e l’interesse del grande pubblico. Un indice bibliometrico ideale dovrebbe combinare impact factor, numero di citazioni, punteggio Altmetric e un codice colore per evidenziare i lavori in cui un autore ha fornito un contributo particolare: questo permetterebbe di avere una valutazione più chiara del vero valore di una pubblicazione scientifica.

FONTE:

Fazel S, Wolf A. What is the impact of a research publication? Evid Based Ment Health. 2017 May;20(2):33-34. doi: 10.1136/eb-2017-102668. Epub 2017 Apr 6. https://www.ncbi.nlm.nih.gov/pubmed/28385690