La scarsa riproducibilità dei risultati delle revisioni sistematiche è un problema che coinvolge spesso la ricerca di base e quella secondaria, e che si traduce in una limitata fiducia del pubblico verso questa tipologia di studi.
Per ovviare a questo limite è stato proposto di introdurre una fase finale di controllo nel disegno delle revisioni sistematiche, con lo scopo di testare la riproducibilità dei risultati e aumentare la robustezza dello studio. Sulla base di tale proposta le revisioni sistematiche dovrebbe comprendere i seguenti passaggi: definire il quesito della ricerca; scegliere i criteri di eleggibilità; ricercare, raccogliere e selezionare i dati; valutare la qualità metodologica degli studi e la forza statistica dei dati; presentare e discutere i risultati e infine, testarne la riproducibilità.
Test di riproducibilità
I test di riproducibilità possono essere eseguiti con due diverse modalità. Una prima possibilità è che, prima della finalizzazione della revisione sistematica, un ricercatore dello stesso gruppo ma non direttamente coinvolto nel progetto ripeta i processi eseguiti dagli autori in una sorta di controllo qualità del lavoro svolto. Se vengono identificate delle discrepanze rispetto ai risultati iniziali gli autori hanno l’occasione di rivedere il lavoro prima della pubblicazione, cercando di chiarire e risolvere i motivi di discrepanza.
Un secondo approccio consiste invece nella revisione dei risultati da parte di un gruppo di autori indipendenti, dopo la finalizzazione della revisione. A conclusione del processo, tutti gli autori potrebbero discutere le eventuali discrepanze identificate e correggere il lavoro di conseguenza, ripetendo il processo di revisione, identificazione e risoluzione delle discrepanze per ogni fase dello studio.
Maggiore qualità e trasparenza
I risultati dei test di riproducibilità dovrebbero essere raccolti in un report ed essere pubblicati come supplemento alla revisione sistematica, in modo da favorire una comunicazione completa e trasparente e facilitare la comprensione della qualità del lavoro da parte del pubblico. Da notare che le revisioni sistematiche vengono comunque valutate dal pubblico tramite strumenti quali AMSTAR-2 e ROBIS, che permettono di controllare la qualità metodologica e il rischio di bias.
I test di riproducibilità potrebbero diventare un nuovo requisito di pubblicazione per la conduzione delle revisioni sistematiche. L’implementazione di questa nuova regola potrebbe portare a una riduzione di quelle revisioni sistematiche con risultati poco o per nulla riproducibili, favorendo al contrario la pubblicazione di lavori di buona qualità.
FONTE