AI in sanità, perché non basta più scegliere il modello migliore - Agenda Digitale

L’intelligenza artificiale rappresenta oggi uno dei principali fattori di trasformazione dei sistemi sanitari. Se fino a pochi anni fa le applicazioni di AI erano prevalentemente limitate all’analisi predittiva, al supporto diagnostico o all’elaborazione di immagini cliniche, l’avvento dell’AI generativa ha modificato radicalmente il panorama tecnologico e organizzativo.Per comprendere questa evoluzione è utile distinguere quattro livelli progressivi di maturità: Large Language Model (LLM), Retrieval Augmented Generation (RAG), AI Agent e Agentic AI.Indice degli argomenti

Dai Large Language Model all’Agentic AICosa cambia con gli agenti AILa crisi dei benchmark tradizionaliValutare l’AI in sanità oltre la semplice accuratezzaDall’AI Testing all’AI AssuranceIl procurement dell’AI in SanitàI cambiamenti necessariCosa dice il Codice dei Contratti PubbliciLo scenarioDai Large Language Model all’Agentic AIGli LLM costituiscono il primo livello. Si tratta di modelli linguistici in grado di comprendere e generare testo, sintetizzare documenti, supportare attività redazionali e interagire in linguaggio naturale. In sanità possono assistere il personale nella consultazione di linee guida, nella redazione di documentazione clinica e nella produzione di contenuti informativi.Il paradigma RAG introduce un secondo livello di evoluzione. Integrando il modello linguistico con basi documentali e sistemi di ricerca semantica, l’intelligenza artificiale può accedere a contenuti aggiornati e contestualizzati. In ambito sanitario ciò significa poter interrogare procedure aziendali, regolamenti, protocolli clinici, documentazione tecnica e basi di conoscenza specialistiche, migliorando accuratezza e affidabilità delle risposte.Cosa cambia con gli agenti AICon gli AI Agent si compie un ulteriore salto di qualità. L’intelligenza artificiale non si limita più a fornire informazioni, ma acquisisce la capacità di pianificare attività, utilizzare strumenti software, accedere a sistemi informativi, interrogare basi dati ed eseguire operazioni all’interno di processi organizzativi.L’ultima fase di questa evoluzione è rappresentata dall’Agentic AI, nella quale più agenti collaborano tra loro per perseguire obiettivi complessi. Questi sistemi possono coordinare attività articolate, mantenere memoria persistente, adattare il proprio comportamento ai risultati ottenuti e interagire con molteplici applicazioni aziendali.La progressione da LLM ad Agentic AI rappresenta un cambiamento sostanziale anche per le Direzioni ICT. Non si tratta più di acquistare semplici applicazioni software, ma sistemi dotati di capacità cognitive crescenti, in grado di influenzare processi clinici, amministrativi e decisionali. Di conseguenza, anche i criteri di valutazione e procurement devono evolvere.La crisi dei benchmark tradizionaliPer valutare le soluzioni di intelligenza artificiale il mercato ha finora fatto ampio ricorso a benchmark standardizzati che misurano capacità linguistiche, ragionamento, programmazione e problem solving. Tali benchmark hanno svolto un ruolo importante nella fase iniziale di sviluppo dell’AI generativa, consentendo di confrontare modelli differenti attraverso metriche condivise.Negli ultimi anni, tuttavia, sono emerse importanti criticità. Molti benchmark stanno raggiungendo livelli di saturazione, con modelli che ottengono risultati molto simili tra loro. Differenze marginali nei punteggi non sono più sufficienti per discriminare efficacemente le reali capacità operative delle diverse soluzioni.Parallelamente, cresce l’attenzione verso i limiti delle valutazioni condotte direttamente dai produttori. Le principali criticità riguardano il potenziale conflitto di interesse, la limitata trasparenza delle metodologie utilizzate e la difficoltà di riprodurre in modo indipendente i risultati dichiarati.Inoltre, l’evoluzione estremamente rapida dei modelli rende rapidamente obsolete molte metodologie di valutazione. Un benchmark efficace oggi potrebbe non essere più rappresentativo dopo pochi mesi.Sta pertanto emergendo un nuovo paradigma fondato su valutazioni indipendenti, audit di terze parti e sistemi di AI Assurance finalizzati a verificare non soltanto le prestazioni dei modelli, ma anche la qualità e l’affidabilità delle modalità con cui tali prestazioni vengono misurate.Valutare l’AI in sanità oltre la semplice accuratezzaNel settore sanitario la valutazione dell’intelligenza artificiale richiede un approccio multidimensionale. La semplice accuratezza delle risposte costituisce infatti solo una delle componenti necessarie per determinare l’idoneità di una soluzione all’interno di contesti clinici e organizzativi complessi.Una prima dimensione riguarda l’affidabilità clinica. Le risposte generate devono essere coerenti con le evidenze scientifiche disponibili, aggiornate rispetto alle linee guida e adeguate al contesto di utilizzo.Una seconda dimensione riguarda la sicurezza. Occorre verificare la capacità del sistema di evitare suggerimenti errati, indicazioni inappropriate o comportamenti potenzialmente dannosi.Particolare attenzione deve essere dedicata alla robustezza. I sistemi devono mantenere prestazioni stabili anche in presenza di dati incompleti, richieste ambigue o situazioni non previste durante l’addestramento.La trasparenza rappresenta un ulteriore elemento fondamentale. Sebbene i modelli generativi non siano completamente spiegabili, le organizzazioni sanitarie devono poter comprendere le fonti informative utilizzate, i limiti del sistema e le condizioni in cui le prestazioni possono degradarsi.Non meno rilevanti risultano gli aspetti legati alla protezione dei dati personali, alla conformità normativa e all’interoperabilità con l’ecosistema digitale sanitario, che comprende Fascicolo Sanitario Elettronico, Cartella Clinica Elettronica, sistemi amministrativi e altre piattaforme regionali.Infine, assume crescente importanza la capacità di monitorare nel tempo il comportamento del sistema. Le prestazioni di un modello AI non possono essere considerate statiche, ma devono essere sottoposte a verifiche continue per identificare fenomeni di degrado, deriva del modello (model drift) o cambiamenti nelle condizioni operative.Dall’AI Testing all’AI AssuranceL’evoluzione normativa europea sta contribuendo a modificare profondamente il modo in cui le organizzazioni dovranno valutare e governare l’intelligenza artificiale.L’AI Act introduce infatti un approccio basato sul rischio che supera la logica della semplice certificazione iniziale. La conformità non viene più considerata un evento puntuale ma un processo continuo che accompagna l’intero ciclo di vita della soluzione.In questo contesto assume rilevanza il concetto di AI Assurance, inteso come insieme di attività finalizzate a fornire garanzie sull’affidabilità, la sicurezza e la conformità dei sistemi di AI.L’AI Assurance comprende audit indipendenti, monitoraggio continuo delle prestazioni, valutazione degli impatti, verifica della qualità dei dati e controllo delle modifiche introdotte nel tempo.Per le organizzazioni sanitarie ciò significa sviluppare nuove competenze di governo e controllo, affiancando alle tradizionali attività di gestione ICT funzioni specialistiche dedicate alla supervisione dei sistemi intelligenti.Il procurement dell’AI in SanitàL’adozione dell’intelligenza artificiale pone una sfida significativa anche ai modelli di acquisizione delle tecnologie digitali utilizzati dalle organizzazioni sanitarie.Le procedure di gara tradizionali sono state progettate per l’acquisizione di prodotti software caratterizzati da requisiti funzionali relativamente stabili e da comportamenti prevedibili. In tali contesti è possibile definire in modo dettagliato specifiche tecniche, funzionalità attese, livelli di servizio e modalità di collaudo (si precisa che le procedure di gara vengono effettuate sia nel mondo della sanità pubblica sia nel mondo della sanità privata come principio etico di valutazione trasparente delle offerte a parità di requisiti richiesti).L’intelligenza artificiale introduce invece elementi di forte discontinuità. Le prestazioni di un sistema AI dipendono non soltanto dal software fornito, ma anche dalla qualità dei dati, dalla configurazione del modello, dai meccanismi di aggiornamento, dai processi di supervisione e dal contesto organizzativo in cui viene utilizzato.Ne deriva che l’oggetto dell’acquisto non coincide più esclusivamente con un prodotto, ma con una capacità operativa che evolve nel tempo.I cambiamenti necessariQuesta trasformazione richiede una revisione dei capitolati tecnici. Oltre ai requisiti funzionali tradizionali, le amministrazioni dovranno iniziare a richiedere evidenze documentate relative ai processi di valutazione del modello, alla qualità dei dati utilizzati, alle misure di sicurezza adottate e alle modalità di monitoraggio continuo delle prestazioni.Un primo cambiamento riguarda i criteri di qualificazione delle soluzioni. Le organizzazioni sanitarie potrebbero richiedere la disponibilità di benchmark indipendenti, risultati di audit di terze parti, documentazione tecnica del modello e informazioni dettagliate sulle procedure di gestione del rischio.Un secondo elemento riguarda la governance. Le future gare potrebbero prevedere obblighi specifici relativi alla disponibilità di Model Card, registri degli aggiornamenti, documentazione delle fonti informative utilizzate dai sistemi RAG, tracciabilità delle decisioni e sistemi di supervisione umana.Particolare attenzione dovrà essere posta ai sistemi agentici. Quando una soluzione AI è in grado di accedere a sistemi aziendali, eseguire operazioni o coordinare processi, il procurement dovrà considerare aspetti tradizionalmente estranei alle forniture software, quali la definizione dei livelli di autonomia, la segregazione dei privilegi, la gestione delle autorizzazioni e la responsabilità delle azioni intraprese dal sistema.Anche le modalità di collaudo dovranno evolvere. Accanto ai test funzionali tradizionali, sarà necessario introdurre attività di validazione continua, simulazioni operative, verifiche periodiche delle prestazioni e controlli finalizzati a individuare fenomeni di degrado o deriva del modello.Cosa dice il Codice dei Contratti PubbliciIl nuovo Codice dei Contratti Pubblici offre già alcuni strumenti che possono favorire questo cambiamento. In particolare, il rafforzamento degli approcci orientati al risultato, al ciclo di vita delle soluzioni e alla valutazione del valore generato può rappresentare un’opportunità per superare logiche esclusivamente basate sulla conformità tecnica iniziale.Nel medio periodo è plausibile attendersi l’emergere di nuovi modelli contrattuali orientati non solo alla fornitura di tecnologia ma anche alla garanzia di livelli minimi di affidabilità, sicurezza, trasparenza e qualità delle prestazioni nel tempo.Le Direzioni ICT delle aziende sanitarie saranno quindi chiamate a sviluppare competenze che integrano conoscenze tecnologiche, capacità di valutazione del rischio, elementi di governance dei dati e comprensione dei modelli di funzionamento dell’intelligenza artificiale.In questa prospettiva, il procurement diventa uno strumento strategico di governo dell’innovazione. La capacità di formulare requisiti adeguati, valutare correttamente le soluzioni e monitorarne l’evoluzione rappresenterà uno degli elementi chiave per garantire un’adozione dell’AI sicura, sostenibile e coerente con gli obiettivi del sistema sanitario.Lo scenarioL’intelligenza artificiale sta determinando una trasformazione profonda dei sistemi informativi sanitari. L’evoluzione dai Large Language Model ai sistemi Agentic AI comporta un progressivo aumento delle capacità operative, dell’autonomia e dell’impatto organizzativo delle soluzioni adottate.In questo scenario, la tradizionale domanda “qual è il modello migliore?” rischia di diventare sempre meno rilevante. La vera sfida dei prossimi anni potrebbe quindi non essere costruire modelli sempre più intelligenti, ma costruire sistemi sempre più affidabili per misurarne capacità, limiti e rischi. Perché nell’era dell’intelligenza artificiale generativa, la fiducia non nasce dalle promesse dei modelli. Nasce dalla qualità delle evidenze che siamo in grado di produrre per verificarli.La vera sfida per le Direzioni ICT delle strutture sanitarie consiste quindi nell’identificare le soluzioni capaci di garantire il miglior equilibrio tra efficacia, sicurezza, trasparenza, governance e sostenibilità operativa.Parallelamente i processi di valutazione e procurement saranno pertanto chiamati a evolvere verso modelli che considerino non soltanto le prestazioni dichiarate dai produttori, ma anche la qualità delle valutazioni indipendenti, la robustezza dei sistemi di controllo e la capacità di governare nel tempo tecnologie sempre più autonome e pervasive. La transizione dall’acquisto di software all’acquisto di capacità cognitive digitali rappresenta probabilmente uno dei cambiamenti più significativi che le Direzioni ICT dovranno affrontare nel prossimo futuro.