La Tecnica di Apprendimento Rinforzato, un approccio di intelligenza artificiale, ha il potenziale di guidare i medici nella progettazione di strategie di trattamento sequenziali per ottenere migliori risultati per i pazienti, ma richiede significativi miglioramenti prima di poter essere applicata in ambito clinico, come risulta da uno studio condotto da ricercatori della Weill Cornell Medicine e della Rockefeller University.
L’Apprendimento per Rinforzo (RL) è una classe di algoritmi di apprendimento automatico in grado di prendere una serie di decisioni nel tempo. Responsabile dei recenti progressi dell’IA, compresa la performance superumana negli scacchi e nel Go, RL può utilizzare l’evoluzione delle condizioni del paziente, i risultati dei test e le risposte ai trattamenti precedenti per suggerire il prossimo passo migliore nella cura personalizzata del paziente. Questo approccio è particolarmente promettente per la presa di decisioni nella gestione di malattie croniche o psichiatriche.
La ricerca, pubblicata nei Proceedings della Conferenza sui Sistemi di Elaborazione delle Informazioni Neurali (NeurIPS) e presentata il 13 dicembre, introduce “Episodes of Care” (EpiCare), il primo benchmark di RL per l’assistenza sanitaria.
Il miglioramento delle prestazioni nelle applicazioni di apprendimento automatico, tra cui visione artificiale, elaborazione del linguaggio naturale, riconoscimento del parlato e auto a guida autonoma, è stato stimolato dai benchmark. Speriamo che ora possano spingere anche il progresso del RL nella sanità”, ha dichiarato il dott. Logan Grosenick, professore assistente di neuroscienze in psichiatria, che ha guidato la ricerca.
Gli agenti di RL migliorano le loro azioni in base al feedback che ricevono, imparando gradualmente una politica che migliora la loro capacità di prendere decisioni. “Tuttavia, i nostri risultati mostrano che mentre i metodi attuali sono promettenti, sono estremamente avidi di dati”, aggiunge il dott. Grosenick.
I ricercatori hanno prima testato le prestazioni di cinque modelli RL online all’avanguardia su EpiCare. Tutti e cinque hanno battuto una linea guida di cura standard, ma solo dopo essere stati addestrati su migliaia o decine di migliaia di episodi di trattamento simulati realisticamente. Nel mondo reale, i metodi RL non sarebbero mai addestrati direttamente sui pazienti, quindi i ricercatori hanno successivamente valutato cinque comuni metodi di valutazione “fuori politica” (OPE): approcci popolari che mirano a utilizzare dati storici (come quelli provenienti da studi clinici) per evitare la necessità di raccolta dati online. Utilizzando EpiCare, hanno scoperto che i metodi OPE all’avanguardia hanno costantemente fallito nel fornire prestazioni accurate per i dati sanitari.
I nostri risultati indicano che gli attuali metodi di OPE all’avanguardia non possono essere considerati affidabili per prevedere con precisione le prestazioni del reinforcement learning in scenari di assistenza sanitaria longitudinale”, ha dichiarato il primo autore, il dottor Mason Hargrave, borsista presso l’Università Rockefeller. Poiché i metodi di OPE sono stati sempre più discussi per le applicazioni nell’ambito della sanità, questa scoperta sottolinea la necessità di sviluppare strumenti di benchmarking più accurati, come EpiCare, per verificare gli approcci di RL esistenti e fornire metriche per misurare il miglioramento.
“Confidiamo che questo lavoro faciliterà una valutazione più affidabile del reinforcement learning nei contesti sanitari e contribuirà ad accelerare lo sviluppo di migliori algoritmi RL e protocolli di formazione adatti per applicazioni mediche”, ha dichiarato il Dott. Grosenick.
Adattamento delle Reti Neurali Convoluzionali per l’interpretazione dei dati grafici
In una seconda pubblicazione NeurIPS presentata lo stesso giorno, il dottor Grosenick ha condiviso la sua ricerca sull’adattamento delle reti neurali convoluzionali (CNN), ampiamente utilizzate per elaborare immagini, per lavorare su dati strutturati a grafo più generali come reti cerebrali, genetiche o proteiche. Il vasto successo delle CNN per compiti di riconoscimento delle immagini nei primi anni 2010 ha gettato le basi per il “deep learning” con le CNN e l’era moderna delle applicazioni di intelligenza artificiale guidate da reti neurali. Le CNN sono utilizzate in molte applicazioni, tra cui il riconoscimento facciale, le auto a guida autonoma e l’analisi delle immagini mediche.
“Siamo spesso interessati ad analizzare dati di neuroimaging che sono più simili a grafi, con vertici e archi, piuttosto che ad immagini. Ma ci siamo resi conto che non c’era nulla di disponibile che fosse veramente equivalente alle CNN e alle CNN profonde per dati strutturati su grafi,” ha affermato il Dr. Grosenick.
Le reti cerebrali sono comunemente rappresentate come grafi in cui le regioni cerebrali (rappresentate come vertici) propagano informazioni ad altre regioni cerebrali (vertici) lungo “archi” che connettono e rappresentano la loro forza reciproca. Questo vale anche per le reti di geni e proteine, i dati comportamentali umani e animali e la geometria dei composti chimici come i farmaci. Analizzando direttamente tali grafi, possiamo modellare con maggiore precisione le dipendenze e i modelli tra le connessioni locali e più distanti.
Isaac Osafo Nkansah, un associato di ricerca che era nel laboratorio di Grosenick al momento dello studio e primo autore del paper, ha contribuito allo sviluppo del framework Quantized Graph Convolutional Networks (QuantNets) che generalizza le CNN ai grafi. “Ora lo stiamo utilizzando per modellizzare i dati EEG (attività cerebrale elettrica) nei pazienti. Possiamo avere una rete di 256 sensori sulla testa che registrano l’attività neuronale – questo è un grafo”, ha affermato il dott. Grosenick. “Stiamo prendendo questi grandi grafi e riducendoli a componenti più interpretabili per comprendere meglio come la connettività cerebrale dinamica cambia quando i pazienti vengono sottoposti a trattamento per depressione o disturbo ossessivo-compulsivo”.
I ricercatori prevedono un’ampia applicabilità per QuantNets. Ad esempio, stanno anche cercando di modellare i dati di posa strutturati a grafo per tracciare il comportamento nei modelli di topo e nelle espressioni facciali umane estratte utilizzando la visione artificiale.
“Nonostante stiamo ancora navigando la sicurezza e la complessità nell’applicare metodi di IA all’avanguardia per la cura dei pazienti, ogni passo avanti – che sia un nuovo sistema di benchmarking o un modello più preciso – ci avvicina gradualmente alle strategie di trattamento personalizzate che hanno il potenziale di migliorare profondamente gli esiti della salute dei pazienti”, ha concluso il Dott. Grosenick.
