Il 90% dei medici si fida della propria IA clinica. Ne coglie un terzo degli errori pericolosi.

La prima versione del nostro strumento per la sicurezza dell'IA clinica funzionava magnificamente. Ed era proprio questo il problema.

L'avevamo costruito per fare la cosa ovvia: individuare le allucinazioni. Puntarlo su uno scriba ambientale o su uno strumento di redazione per il portale del paziente, fornirgli l'output dell'IA e fargli segnalare le affermazioni fattualmente errate. Individuava i nomi sbagliati dei farmaci. Individuava i valori di laboratorio impossibili. Individuava un dosaggio errato di un ordine di grandezza. Ricordo di essermi sentito davvero soddisfatto — stavamo trovando errori, la demo funzionava, i numeri sembravano puliti.

Poi un consulente clinico del progetto, un medico ospedaliero che aveva trascorso due decenni in corsia, mi illustrò un esempio a cui penso ancora. Un'IA aveva redatto una risposta MyChart a un paziente che chiedeva informazioni sui propri farmaci. La bozza diceva di continuare la metformina e annotava allegramente che l'ultima HbA1c era del 6,8%. Ogni singolo dato in essa contenuto era vero. La nota era empatica, ben strutturata, esattamente ciò che scriverebbe un buon medico. Il nostro strumento la approvò senza alcuna segnalazione.

La creatinina del paziente era in aumento nell'arco di tre visite. Una creatinina in aumento significa una funzione renale in declino, e una funzione renale in declino rende la metformina pericolosa. L'IA non sapeva di dover controllare. E — questa è la parte che ha riorganizzato il mio modo di pensare la sicurezza dell'IA clinica — nemmeno il medico revisore l'avrebbe fatto, scorrendo una bozza fluente, cordiale e fattualmente coerente nei dieci o quindici secondi che un clinico impegnato le concede prima di cliccare su invia.

Il nostro rilevatore di allucinazioni stava risolvendo il problema sbagliato. Gli errori che danneggiano i pazienti di solito non sono quelli palesemente errati. Sono quelli localmente corretti e contestualmente letali. Non puoi arrivare alla sicurezza attraverso il fact-checking, perché il pericolo risiede in ciò che l'IA non ha detto.

Quel fallimento è il motivo per cui Veriprajna ha smesso di costruire un rilevatore di allucinazioni e ha iniziato a costruire un'infrastruttura di sicurezza indipendente per l'intero stack di IA che un sistema sanitario effettivamente utilizza. Questo saggio parla di ciò che abbiamo scoperto quando abbiamo osservato onestamente quello stack.

Il numero che dovrebbe togliere il sonno a ogni CMIO

Nell'aprile 2024, The Lancet Digital Health ha pubblicato uno studio che ritengo essere la scoperta più importante e meno assorbita nell'IA sanitaria. I ricercatori hanno fatto revisionare ai medici le risposte redatte dall'IA ai messaggi dei pazienti. Il 7,1% di quelle bozze poneva un grave rischio di danno per il paziente. Lo 0,6% poneva un rischio di morte.

Ecco la parte che conta più del tasso di errore. I medici, facendo esattamente ciò che chiediamo loro di fare — revisionare il lavoro dell'IA — hanno mancato il 66,6% delle bozze dannose. Tra un terzo e quasi la metà di quelle errate sono uscite del tutto senza modifiche. E quando interpellati, il 90% di quegli stessi medici ha dichiarato di fidarsi delle prestazioni dello strumento.

Novanta per cento di fiducia, e un terzo degli errori pericolosi individuato. Quel divario non è un problema di formazione. È il risultato prevedibile del chiedere a un essere umano di verificare una macchina che scrive in modo più fluente di lui.

Questo è il bias di automazione, e non è un difetto caratteriale nei medici. È una proprietà dell'interazione. Quando una bozza è ben scritta ed empatica, la qualità della prosa sostituisce la verifica indipendente nella mente del lettore. Meglio scrive l'IA, meno l'essere umano controlla. Stiamo implementando strumenti la cui più grande forza — un linguaggio fluente e sicuro — è precisamente il meccanismo che disarma la rete di sicurezza che abbiamo costruito attorno a essi.

ECRI, l'organizzazione no-profit per la sicurezza dei pazienti che pubblica la classifica annuale dei principali rischi delle tecnologie sanitarie, ha classificato il rischio diagnostico guidato dall'IA come il rischio numero uno sia per il 2025 che per il 2026. Non tra i primi dieci. Numero uno, per due anni consecutivi.

"Letto e revisionato" è una finzione giuridica

L'AB 3030 della California, in vigore da gennaio 2025, impone ai sistemi sanitari di comunicare quando l'IA viene utilizzata nelle comunicazioni cliniche con i pazienti. Contiene un'esenzione che suona ragionevole: se un professionista abilitato legge e revisiona l'output dell'IA, non è necessaria alcuna comunicazione. La logica è che un essere umano nel ciclo rende il contributo dell'IA invisibile e sicuro.

I dati di Lancet demoliscono quella logica. Se i medici mancano due terzi degli errori dannosi, allora "letto e revisionato" è, per una gran parte dei casi, un timbro di gomma. L'esenzione presuppone una qualità di revisione che il bias di automazione rende impossibile su larga scala. Le violazioni arrivano fino a 25.000 dollari per incidente per una struttura, oltre all'esposizione disciplinare per il medico il cui nome è sulla nota.

Trascorro molto tempo con i chief medical information officer, ed è qui che la conversazione di solito si fa scomoda. Il quadro giuridico presuppone che la revisione umana sia significativa. La realtà clinica è che una revisione significativa richiede un'impalcatura tecnica che i fornitori di IA per lo più non hanno costruito — l'evidenziazione dell'incertezza, il collegamento delle citazioni alla fonte, i flussi di lavoro di conferma attiva che costringono il medico a fermarsi sulle affermazioni che contano. Alcuni fornitori hanno iniziato a costruirla — la Linked Evidence di Abridge fa risalire ogni riga di una nota generata all'esatto segmento audio che l'ha prodotta — il che dimostra solo che la capacità esiste e che la maggior parte degli strumenti ancora non la privilegia. Senza quell'impalcatura, "un essere umano l'ha revisionato" è una casella di conformità da spuntare, non un controllo di sicurezza.

Il fornitore ha detto 0,001%. Il procuratore generale del Texas ha detto: dimostralo.

Ogni fornitore di IA clinica esordisce con un dato di accuratezza. La prima cosa che ho imparato verificando questi strumenti è che il dato è un artefatto di marketing finché non sai come è stato calcolato.

Nel settembre 2024, il procuratore generale del Texas ha raggiunto un accordo con Pieces Technologies riguardo alla sua dichiarazione pubblicizzata di un "tasso di allucinazioni critiche" inferiore allo 0,001%. Il software di Pieces era stato implementato in quattro grandi ospedali del Texas — Houston Methodist, Children's Health, Texas Health Resources e Parkland. L'aspetto sorprendente del caso è che il procuratore generale non ha avuto bisogno di alcuna legge specifica sull'IA. La normativa esistente a tutela dei consumatori è stata sufficiente a contestare una dichiarazione di accuratezza che l'azienda non poteva comprovare.

L'accordo — un Assurance of Voluntary Compliance quinquennale — ora costringe Pieces a comunicare, a ogni cliente, come sono definite e calcolate le sue metriche, su quali dati è stato addestrato il modello e quali usi dannosi conosce. Questo è un modello per l'intero settore.

Un tasso di allucinazioni senza un denominatore non è una misurazione. È una pubblicità.

Confronta lo 0,001% con ciò che noi e altri effettivamente troviamo sul campo. In un progetto pilota del primo trimestre 2025, un assistente IA per le dimissioni ha raccomandato un farmaco per un paziente esplicitamente indicato come allergico a quella classe di farmaci. Il suo tasso reale di affermazioni errate clinicamente rilevanti era dello 0,98% — dodici volte lo 0,08% dichiarato dal fornitore. Stessa categoria di prodotto, un divario di un ordine di grandezza tra la slide e il paziente. Il MIT Media Lab ha rilevato che, senza mitigazione, i modelli raggiungono tassi di allucinazione superiori al 60% sui casi clinici. La risposta onesta è che il dato di punta di nessuno significa nulla finché non si chiede: calcolato su quale dataset, validato da chi, in quale periodo, e — la domanda che quasi nessuno pone — su quali fasce demografiche di pazienti?

Quest'ultima domanda si è rivelata quella con dei corpi alle spalle.

Il bias che non puoi vedere perché il dispositivo lo nasconde

C'è un fatto che vorrei fosse più conosciuto al di fuori della terapia intensiva. Il pulsossimetro — la piccola clip sul dito di un paziente che legge la saturazione di ossigeno nel sangue, uno dei numeri più affidabili in medicina — è sistematicamente meno accurato sulla pelle scura.

I pazienti neri hanno all'incirca tre volte più probabilità di avere un'ipossiemia occulta: un livello di ossigeno nel sangue pericolosamente basso che il dispositivo legge come normale. La sovrastima varia da 0,6 a 1,5 punti percentuali, il che sembra irrilevante finché non è la differenza tra "ricovero in terapia intensiva" e "dimissione a casa". Nei dati pediatrici, il dispositivo ha mancato il basso livello di ossigeno nel 7% dei bambini con le tonalità di pelle più scure e nello 0% con quelle più chiare. La FDA ha emesso una bozza di linee guida nel gennaio 2025 raccomandando ai produttori di effettuare test su almeno 150 partecipanti diversificati utilizzando la scala Monk Skin Tone, rispetto a una norma precedente di appena dieci.

Ora sovrapponi l'IA a una misurazione che è già distorta a livello del sensore. Il modello eredita il bias e lo ricicla attraverso un output sicuro. Questa è la parte della sicurezza dell'IA clinica che i fornitori sono meno attrezzati a individuare in se stessi, perché individuarla richiede di stratificare deliberatamente le prestazioni per razza, sesso ed età — e poi pubblicare i divari.

L'Epic Sepsis Model è il monito che porto a ogni discussione sulla governance. Lo sviluppatore ha riportato un AUC — una misura standard dell'accuratezza predittiva in cui 1,0 è perfetto e 0,5 è un lancio di moneta — da 0,76 a 0,83. Quando l'Università del Michigan lo ha validato esternamente sui propri pazienti, hanno ottenuto 0,63. La sensibilità era del 33%, il che significa che mancava due terzi dei casi di sepsi. Il suo valore predittivo positivo era del 12%, il che significa che l'88% dei suoi allarmi erano falsi allarmi. Ed era mal calibrato per i pazienti neri e ispanici, che hanno un'incidenza di sepsi quasi doppia. Un modello addestrato sul giudizio clinico storico apprende i punti ciechi clinici storici, per poi ritorcerli contro i clinici indossando l'autorità di un algoritmo. Epic ha rinnovato completamente il modello nel 2022, e una validazione prospettica multicentrica della sua seconda versione è stata pubblicata su JAMA Network Open nel febbraio 2026 — che è esattamente il punto. La validazione esterna, post-implementazione, è ciò che coglie il divario che una dichiarazione originale di AUC nasconde, e qui ci sono voluti anni e ricercatori esterni per imporla.

La versione più estrema di questo emerge nell'assistenza materna. Le donne nere muoiono durante il parto a un tasso da 42,8 a 50,3 ogni 100.000 nati vivi, contro il 13 e il 14,5 delle donne bianche. Una revisione californiana ha rilevato che i sistemi di allerta precoce basati sull'IA mancavano il 40% dei casi di grave morbilità nelle pazienti nere. Quando il sistema di allerta è cieco alla popolazione più a rischio, non fallisce semplicemente in modo neutro — allarga il divario che era stato venduto per colmare.

Perché non si può semplicemente testare il modello per i bias e passare oltre?

La gente mi chiede perché i sistemi sanitari non eseguano semplicemente un controllo di equità e certifichino il modello. Un tempo pensavo fosse un problema di risorse. È più profondo di così, ed è matematico.

C'è un risultato chiamato teorema di impossibilità di Chouldechova. In parole semplici: due definizioni ragionevoli di equità — la parità demografica (il modello segnala ogni gruppo alla stessa frequenza) e le probabilità equalizzate (il modello è ugualmente accurato all'interno di ciascun gruppo) — non possono essere entrambe soddisfatte contemporaneamente, tranne che in casi banali. Devi scegliere quale tipo di equità stai ottimizzando, e quella scelta ha conseguenze cliniche.

"Abbiamo testato i bias" è privo di senso senza nominare il criterio. Qualsiasi fornitore che non sappia dirti quale definizione di equità ha scelto ne ha scelta una e non te lo sta dicendo.

Ecco perché un vero audit sui bias non è un certificato una tantum. Sono tabelle di prestazioni stratificate per sottogruppo, curve di calibrazione per fascia demografica e un Population Stability Index — una metrica di deriva — monitorato per ogni sito di implementazione, perché un modello che era equo a Boston può andare fuori calibrazione a Houston man mano che cambia la composizione dei pazienti. Le etichette ground-truth arbitrate da esperti per questo lavoro costano da 50 a 200 dollari per caso. È un'infrastruttura costosa, specializzata e continuativa. È anche l'unica cosa che si frappone tra una decisione di approvvigionamento e il referto di un medico legale.

Nessuno possiede l'intero stack

Il problema strutturale in cui continuavo a imbattermi è questo: un sistema sanitario di medie o grandi dimensioni utilizza tra i cinque e i quindici strumenti di IA contemporaneamente. Uno scriba ambientale (Abridge nei quaranta e più ospedali di UPMC, o DAX Copilot di Nuance integrato nell'EHR), un modello di sepsi di Epic, un redattore per il portale del paziente, un algoritmo di triage, un assistente alla codifica. Ognuno ha la propria dichiarazione di accuratezza, il proprio profilo di sicurezza, i propri punti ciechi e la propria dashboard. Nessun fornitore fornisce una governance trasversale agli strumenti, perché nessun fornitore li vende tutti.

E la governance che esiste è più esile di quanto suggeriscano gli organigrammi. I dati 2026 di Censinet mostrano che l'84% dei sistemi sanitari ha un comitato di governance dell'IA — ma solo il 59% ha un processo di approvazione formale e documentato prima che uno strumento di IA entri in funzione. I CIO siedono nel 63% di quei comitati; il CMIO, la persona clinicamente responsabile quando lo strumento sbaglia, siede solo nel 45%. Nel frattempo i clinici stanno adottando strumenti per conto proprio — shadow AI — più velocemente di quanto qualsiasi comitato possa revisionarli.

Questo è il divario che Veriprajna è stata creata per colmare, ed è il motivo per cui ho smesso di descrivere ciò che facciamo come "rilevamento di allucinazioni". Effettuiamo una valutazione indipendente e neutrale rispetto ai fornitori dell'IA che un sistema sanitario ha effettivamente implementato: sottoponiamo gli strumenti al red-teaming nel modo in cui lo farebbe un avversario o una brutta giornata, validiamo le dichiarazioni di accuratezza dei fornitori rispetto al denominatore reale, eseguiamo gli audit sui bias che la maggior parte dei team IT non ha la capacità di eseguire, e trasformiamo l'AB 3030, l'AI Act del Colorado e le regole sull'alto rischio dell'EU AI Act in controlli operativi anziché in ansie legali. Un unico strato di sicurezza che si estende su ogni strumento.

"Ma questo non sta solo rallentando l'innovazione?"

È l'obiezione che sento più spesso, di solito da qualcuno che ha visto la documentazione ambientale diventare una categoria da 600 milioni di dollari in un solo anno e non vuole essere il dirigente che ha detto di no.

Sosterrei il contrario. La sicurezza indipendente è ciò che rende sopravvivibile un'adozione rapida. I sistemi sanitari che si scottano non sono quelli prudenti — sono quelli che hanno implementato sulla base della slide di un fornitore e hanno scoperto il divario tra lo 0,08% e lo 0,98% dopo che un paziente è stato danneggiato. L'investimento medio in IA sanitaria rende circa 3,20 dollari per ogni dollaro, realizzato entro 14 mesi. Quel ROI evapora la prima volta che uno strumento non verificato produce una richiesta di risarcimento per negligenza medica — e le richieste correlate all'IA sono già aumentate del 14% dal 2022, concentrate in radiologia, cardiologia e oncologia. La verifica non è la tassa sull'innovazione. È l'assicurazione che ti permette di continuare a innovare dopo che la prima cosa va storta.

La seconda obiezione: il nostro team di informatica interno non può occuparsene? A volte, in parte. Ma il valore di una valutazione indipendente è precisamente che è indipendente — la stessa ragione per cui non lasci che un'azienda verifichi i propri bilanci. Un fornitore non farà il red-teaming di se stesso fino a ottenere un numero dall'aspetto peggiore, e un team interno che ha sostenuto un acquisto ha un interesse silenzioso nel suo successo. Qualcuno che non ha alcuna posizione nell'affare pone le domande che tutti gli altri hanno una ragione per non porre.

Cosa direi oggi a un CMIO

La domanda che pensavo contasse era questa IA funziona? Mi sbagliavo. Ogni fornitore ti mostrerà che funziona. La domanda che conta è puoi dimostrare che funziona — su ogni fascia demografica di pazienti — il giorno in cui un regolatore, l'avvocato di un querelante o un giornalista te lo chiede?

In questo momento la maggior parte dei sistemi sanitari non può. Hanno dati di accuratezza che non riescono a riprodurre, un comitato di governance senza il referente clinico al suo interno e una flotta di strumenti che nessuna parte indipendente ha mai testato insieme. Sulla bozza fluente si continuerà a cliccare. L'allarme di sepsi continuerà a gridare al lupo l'88% delle volte. Il pulsossimetro continuerà a leggere normalità sul paziente per cui non lo è.

Ho creato la pratica di sicurezza dell'IA sanitaria di Veriprajna perché l'esempio della metformina non mi ha mai abbandonato. La nota era perfetta. Tutto ciò che conteneva era vero. E avrebbe potuto uccidere qualcuno — non perché l'IA fosse stupida, ma perché era convincente, e nessuno era attrezzato per controllare la cosa che non aveva detto. La sicurezza nell'IA clinica non consiste nel cogliere l'errore ovvio. Consiste nel costruire l'infrastruttura per cogliere quello invisibile, prima che lo faccia il paziente.