Negli ultimi 20 anni internet e i social media sono diventati parte integrante della nostra vita, trasformandosi anche in una piattaforma di ricerca e di condivisione di informazioni mediche. Questo nuovo utilizzo li rende una fonte utilissima di dati di farmacovigilanza, ma richiede lo sviluppo di programmi per l’analisi del linguaggio naturale (Natural Language Processing) o macchine ad apprendimento automatico che siano in grado di identificare ed estrarre le possibili reazioni avverse dalle discussioni che avvengono quotidianamente online. La creazione di strumenti informatici di questo tipo richiede una metodologia particolarmente rigorosa perché i risultati ottenuti siano sufficientemente affidabili da indirizzare le scelte in ambito medico.
Il progetto francese ADR-PRISM
Il Ministro dell’Industria francese ha recentemente lanciato il progetto Adverse Drug Reactions from Patient Reports in Social Media (ADR-PRISM) con lo scopo di sviluppare un nuovo strumento di indicizzazione e estrazione delle sospette ADR dalla rete. La complessità del progetto ha richiesto la partecipazione di molteplici figure, tra cui un’azienda che sviluppa software per il text mining, un’azienda specializzata in farmaco-epidemiologia, 3 gruppi di ricerca esperti in statistica e informatica in ambito sanitario, e 2 esperti in farmacovigilanza.
Una volta sviluppato il programma, il consorzio ADR-PRISM ha disegnato un protocollo simile a quello di una sperimentazione clinica per valutare la performance dello strumento, confrontandolo con un gold standard costituito dalle annotazioni manuali di due esperti in terminologia medica.
Un protocollo standardizzato per la validazione del software
L’efficacia del programma, chiamato Skill Cartridge, è stata testata su un numero limitato di record raccolti retrospettivamente tra i post pubblicati nel database Kappa Santé Detect’ tra gennaio 2007 e Ottobre 2016. Come da protocollo, sono stati inclusi solo i post che contenevano almeno il nome di un farmaco e di una reazione avversa che fossero compresi in una lista predefinita redatta da un gruppo di esperti. Utilizzando i dizionari Rachine Pharma e MedDRA, per mappare rispettivamente i farmaci e le reazioni avverse, il programma doveva classificare ogni caso di presenza contemporanea di un farmaco e un AE come ADR positiva, ADR negativa o nessuna ADR.
La performance di Skill Cartridge è stata paragonata al gold standard confrontandone a livello statistico la precisione, la capacità di recupero dei dati, e l’impatto delle condizioni esterne (granularità e limitazioni del linguaggio normale) sui risultati.
Punti di forza di Skill Cartridge
Alcuni dei punti di forza del progetto ADR-PRISM sono sicuramente la definizione e la validazione di un gold standard, il calcolo a priori del sample size per ottenere un potere statistico adeguato, la scelta di dizionari di riferimento esaustivi ed espressivi, e l’applicazione di regole legate alla struttura della frase che permettono di escludere frasi non informative.
L’approccio utilizzato dal consorzio ADR-PRISM è un esempio di metodologia scientifica e rigorosa che è necessario introdurre in tutti gli studi sulla farmacovigilanza online per trasformare i software di estrazione delle sospette ADR, ad oggi ancora agli inizi, in strumenti efficaci nella farmacovigilanza post marketing.