Una pubblicazione indicizzata, una rivista autorevole o un risultato statisticamente significativo non bastano, da soli, a rendere un’evidenza utile per una decisione clinica o scientifica.
Valutare criticamente la letteratura significa capire se uno studio risponde davvero alla domanda di interesse, se il metodo utilizzato è adeguato e quanto i risultati possano essere applicati al contesto in cui verranno utilizzati.
Per Medical Affairs, Medical Information, Farmacovigilanza e Regulatory Affairs, la critical appraisal è quindi un passaggio essenziale per trasformare una pubblicazione scientifica in un’informazione affidabile.
La qualità dell’evidenza non coincide con il prestigio della fonte
Una pubblicazione su una rivista autorevole può rappresentare un segnale di qualità editoriale, ma non sostituisce la valutazione metodologica dello studio.
Ogni evidenza deve essere letta rispetto alla domanda a cui dovrebbe rispondere.
È necessario chiedersi:
- la popolazione studiata è pertinente?
- il comparatore è adeguato?
- gli endpoint sono clinicamente rilevanti?
- il follow-up è sufficiente?
- il disegno dello studio consente di sostenere la conclusione proposta?
La pertinenza viene prima della gerarchia.
Uno studio metodologicamente valido può essere poco utile se riguarda una popolazione, un setting o un outcome diversi da quelli realmente rilevanti.
Gerarchia delle evidenze: utile, ma non sufficiente
Revisioni sistematiche e meta-analisi occupano generalmente una posizione elevata nella gerarchia delle evidenze, ma il loro valore dipende dalla qualità degli studi inclusi e dal metodo utilizzato.
Lo stesso vale per i trial randomizzati.
La randomizzazione migliora la capacità di valutare relazioni causali, ma un trial può avere criteri di inclusione molto selettivi e rappresentare poco la pratica clinica reale.
Gli studi osservazionali, invece, possono offrire informazioni importanti su utilizzo reale, popolazioni poco rappresentate nei trial, esposizioni prolungate o eventi rari.
Non bisogna quindi chiedersi soltanto: “Qual è il livello di evidenza?” ma: “Questa evidenza è adatta alla decisione che dobbiamo prendere?”
Leggere il metodo prima dei risultati
Uno dei passaggi più importanti della critical appraisal è leggere con attenzione il metodo dello studio.
Un abstract può orientare la lettura, ma raramente è sufficiente per una valutazione completa.
Nei trial clinici è utile verificare:
- modalità di randomizzazione;
- gestione dell’allocazione;
- presenza e fattibilità della cecità;
- appropriatezza del comparatore;
- definizione preventiva degli endpoint;
- gestione dei dati mancanti;
- perdite al follow-up;
- analisi intention-to-treat o per protocol.
Negli studi osservazionali cambiano i punti di attenzione.
Bisogna valutare la selezione della coorte, la qualità dei dati, la definizione dell’esposizione, l’identificazione degli outcome e la gestione dei potenziali confondenti.
Tecniche statistiche più sofisticate possono ridurre alcuni bias, ma non eliminano automaticamente tutti i limiti del disegno.
Il risk of bias cambia il peso del risultato
Due studi che riportano risultati simili possono avere livelli di affidabilità molto differenti.
Il rischio di bias può derivare dalla selezione dei partecipanti, dalla misurazione degli outcome, dalla gestione delle perdite al follow-up o dal reporting selettivo.
Particolare attenzione merita la differenza tra endpoint prespecificati e analisi introdotte successivamente.
Analisi di sottogruppo non pianificate o enfasi selettiva sui risultati più favorevoli richiedono una lettura prudente.
La domanda fondamentale è quindi: quanto è probabile che il risultato osservato rifletta realmente l’effetto studiato e non una distorsione metodologica?
Significatività statistica e rilevanza clinica
Un risultato statisticamente significativo non è automaticamente clinicamente importante. La significatività statistica descrive la compatibilità dei dati con un determinato modello, ma non indica da sola quanto il beneficio sia rilevante per il paziente o per la pratica clinica. Per interpretare correttamente il risultato è necessario considerare:
- dimensione dell’effetto;
- intervalli di confidenza;
- rischio di base;
- differenze assolute;
- rilevanza dell’endpoint.
Una riduzione relativa importante può tradursi in una differenza assoluta limitata quando il rischio iniziale è molto basso.
La lettura del risultato deve quindi andare oltre il semplice valore di p.
Endpoint clinici ed endpoint surrogati
Non tutti gli endpoint hanno lo stesso significato.
Un biomarcatore, un parametro laboratoristico o un risultato radiologico possono essere utili, ma non sempre corrispondono direttamente a un beneficio percepibile dal paziente.
Gli endpoint surrogati devono essere interpretati considerando il grado di validazione e il contesto clinico.
Quando un risultato viene utilizzato per supportare un contenuto scientifico o una decisione, è importante distinguere ciò che lo studio dimostra direttamente da ciò che può essere soltanto inferito.
Questa distinzione riduce il rischio di comunicare conclusioni più ampie rispetto alle evidenze disponibili.
Validità interna e applicabilità
Uno studio può essere metodologicamente solido e comunque avere una limitata trasferibilità alla pratica.
Età, comorbilità, severità di malattia, trattamenti concomitanti, area geografica e standard of care possono rendere la popolazione studiata diversa da quella di interesse.
È quindi necessario separare due domande: Lo studio è affidabile nella popolazione analizzata? e: I suoi risultati sono applicabili al contesto per cui vogliamo utilizzarli?
La seconda domanda è particolarmente importante quando l’evidenza deve supportare una risposta scientifica, un materiale informativo o una valutazione regolatoria.
La sicurezza richiede una lettura dedicata
I dati di sicurezza non devono essere interpretati con gli stessi criteri utilizzati per l’efficacia. Occorre considerare:
- numerosità del campione;
- durata dell’esposizione;
- definizione degli eventi;
- eventi gravi;
- interruzioni del trattamento;
- decessi;
- completezza del follow-up.
L’assenza di un evento in uno studio di piccole dimensioni non dimostra l’assenza di rischio.
Per eventi rari o a lunga latenza, può essere necessario integrare le informazioni provenienti dalla letteratura con altre fonti di farmacovigilanza.
La valutazione deve quindi considerare sempre anche i limiti della capacità dello studio di intercettare determinati segnali.
Dall’articolo alla sintesi scientifica
Una volta valutata la qualità dello studio, il passaggio successivo consiste nel tradurre l’evidenza in una sintesi appropriata.
Una buona sintesi scientifica dovrebbe distinguere chiaramente:
- ciò che lo studio dimostra;
- ciò che suggerisce;
- ciò che non permette di concludere;
- quali limiti influenzano l’interpretazione.
La finalità del contenuto conta.
Una risposta destinata a un professionista sanitario, una valutazione di safety o un documento interno possono richiedere livelli di dettaglio differenti, ma il rigore metodologico alla base deve rimanere invariato.
Critical appraisal come strumento decisionale
Valutare la letteratura clinica non significa semplicemente stabilire se uno studio è “buono” o “cattivo”.
Significa comprenderne il peso reale rispetto alla decisione da prendere.
Eureka InfoMed supporta le aziende Life Science nella ricerca bibliografica complessa, nella valutazione critica delle evidenze e nella trasformazione dei dati scientifici in contenuti coerenti con il contesto di utilizzo.
Il valore di una pubblicazione non dipende soltanto dal risultato che riporta, ma dalla solidità del percorso che permette di arrivare a quel risultato e dalla correttezza con cui viene interpretato.
Fonti
1.Schulz KF, Altman DG, Moher D; CONSORT Group. CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ. 2010;340:c332. doi:10.1136/bmj.c332.
