Il numero più pericoloso nell'AI oggi è 99,999%

Ero in videochiamata con il CIO di un ospedale l'anno scorso quando ha aperto la presentazione commerciale di un fornitore e ha condiviso lo schermo. La settima slide riportava un solo numero, centrato, in carattere da 72 punti: tasso di allucinazione <0,001%. Sotto, in caratteri più piccoli: "clinicamente validato."

Mi ha guardato attraverso la webcam e ha detto: "Ashutosh, dovrei crederci?"

Gli ho detto che non lo sapevo — ma che quel numero in sé avrebbe dovuto renderlo nervoso, non rassicurarlo. Un tasso di allucinazione inferiore a uno su centomila, per un sistema che riassume note cliniche disordinate, contraddittorie, scritte a mano e dettate, in decine di specialità diverse? Non è un'affermazione di accuratezza. È un gioco di prestigio. E, nella mia esperienza, quando qualcuno ti mostra un gioco di prestigio in una riunione di vendita, dopo faresti bene a controllarti le tasche.

Qualche mese dopo, il Procuratore Generale del Texas ha reso ufficiale quell'istinto. Nel settembre 2024, lo Stato ha raggiunto un accordo storico con Pieces Technologies, un'azienda di AI sanitaria con sede a Dallas, riguardo a quelle che il Procuratore Generale sosteneva fossero affermazioni ingannevoli sull'accuratezza — incluso proprio quel tasso di allucinazione critica dello 0,001%. È stata la prima azione di applicazione della legge di questo tipo contro un'azienda di AI generativa nel settore sanitario, e non ha richiesto alcuna nuova legge specifica sull'AI. Solo la vecchia e semplice Texas Deceptive Trade Practices Act, la stessa norma usata per perseguire concessionarie d'auto poco raccomandabili.

Quell'accordo ha cambiato il mio modo di pensare a tutto ciò che costruiamo in Veriprajna. Non perché stessimo facendo qualcosa di sbagliato, ma perché ha cristallizzato qualcosa che faticavo ad articolare ai clienti: il problema dell'AI aziendale non è che i modelli allucinano. È che l'industria ha costruito un'intera strategia di go-to-market fingendo che non lo facciano.

Cosa significa davvero un tasso di allucinazione dello 0,001%?

Lasciate che vi guidi attraverso i calcoli, perché è nei calcoli che il gioco di prestigio crolla.

I grandi modelli linguistici sono sistemi probabilistici. Non "sanno" le cose nel modo in cui le sa un database. Predicono la parola successiva — o più precisamente, il token successivo — sulla base di schemi appresi durante l'addestramento. La probabilità di qualsiasi output generato è il prodotto delle probabilità di ogni singolo token nella sequenza. Ogni token è una piccola scommessa, e l'output finale è una lunga catena di piccole scommesse moltiplicate insieme.

Ora, affermare un tasso di allucinazione critica inferiore allo 0,001% significa che meno di 1 output su 100.000 contiene un errore abbastanza grave da causare un danno clinico. Per convalidare quell'affermazione con una qualsiasi confidenza statistica, servirebbe un enorme dataset di riferimento perfettamente annotato — decine di migliaia di riepiloghi clinici, ciascuno rivisto da esperti di dominio che concordano su cosa conti come "critico". Quel dataset non esiste. Non per Pieces Technologies, non per nessuno. Le note cliniche sono troppo idiosincratiche, troppo specifiche per specialità, troppo dipendenti dallo stile del singolo medico e dall'anamnesi del paziente.

Quando qualcuno afferma un'accuratezza del 99,999% su un compito in cui persino gli esperti umani non concordano su come debba apparire una risposta "corretta", non ha risolto il problema. Lo ha definito fuori dall'esistenza.

L'indagine del Procuratore Generale del Texas ha concluso che le metriche usate da Pieces erano "probabilmente inesatte" e potenzialmente fuorvianti per gli ospedali che impiegavano lo strumento — tra cui Houston Methodist, Parkland Hospital, Children's Health System of Texas e Texas Health Resources. Quattro grandi sistemi sanitari. Pazienti reali. Note cliniche reali riassunte da un sistema le cui affermazioni di accuratezza non reggevano al vaglio normativo.

La notte in cui ho smesso di fidarmi dei benchmark

Voglio raccontarvi di un momento che ha riprogrammato il mio modo di pensare su questo.

Stavamo conducendo una valutazione interna di una pipeline di riepilogo clinico — non per un cliente, solo per la nostra R&S. Il mio team aveva costruito quello che pensavamo fosse un solido sistema basato su RAG. La Retrieval-Augmented Generation, per i non addetti ai lavori, è una tecnica in cui, invece di chiedere al modello di rispondere a memoria, si recuperano prima i documenti rilevanti da una base di conoscenza e li si forniscono al modello come contesto. Dovrebbe ancorare l'output ai fatti.

Le nostre metriche interne sembravano ottime. Punteggi di fedeltà superiori al 95%. Precisione di recupero nell'ordine dell'alto 90%. Ci sentivamo soddisfatti. Poi una delle nostre ingegnere — Priya, che ha questa esasperante abitudine di aver ragione su cose che nessuno vuole sentire — ha suggerito di fare qualcosa di diverso. Invece di misurare rispetto al nostro insieme di test, ha estratto cinquanta veri riepiloghi di dimissione da un dataset pubblico e ha fatto rivedere in modo indipendente le versioni generate dall'AI a due medici.

I risultati sono arrivati un giovedì sera. Lo ricordo perché stavo preparando la cena e il telefono ha vibrato con un messaggio Slack di Priya che diceva soltanto: "Dovresti guardare questo prima di domani."

I medici hanno segnalato problemi in 23 riepiloghi su 50. Nella maggior parte dei casi non errori catastrofici — un dosaggio di farmaco preso da un ricovero precedente invece che da quello attuale, un dettaglio dell'anamnesi familiare attribuito al parente sbagliato, un valore di laboratorio direzionalmente corretto ma numericamente errato. Ma in un contesto clinico, "direzionalmente corretto ma numericamente errato" può fare la differenza tra una dimissione sicura e una riospedalizzazione.

Le nostre metriche automatiche avevano mancato quasi tutto. Il sistema generava testo linguisticamente fluente e semanticamente simile al materiale sorgente — che è esattamente ciò che le metriche misuravano. Ma non generava testo che fosse clinicamente sicuro, che è ciò che davvero contava.

Quella è stata la notte in cui ho smesso di fidarmi dei benchmark come proxy della qualità. Ed è per questo che il caso Pieces mi ha colpito così tanto quando è scoppiato. Sapevo esattamente come un'azienda potesse guardare i propri numeri, crederci sinceramente, ed essere comunque pericolosamente in errore.

Perché il Texas ha usato una legge di tutela dei consumatori — non una legge sull'AI?

Questa è la parte che dovrebbe togliere il sonno a ogni fornitore di AI.

Il Procuratore Generale del Texas non ha aspettato che il Congresso approvasse una regolamentazione sull'AI. Non ha invocato alcuna teoria giuridica innovativa. Ha usato la Texas Deceptive Trade Practices–Consumer Protection Act — una norma in vigore da decenni — e l'ha applicata alle affermazioni di accuratezza dell'AI nello stesso modo in cui verrebbe applicata a un'azienda che mente sul consumo di carburante di un'auto.

La conseguente Assurance of Voluntary Compliance vincola Pieces Technologies a un periodo di cinque anni di maggiore trasparenza. L'azienda deve ora rendere note le definizioni e i metodi di calcolo alla base di qualsiasi metrica di accuratezza che pubblicizza. Deve informare i clienti degli "usi dannosi o potenzialmente dannosi noti o ragionevolmente conoscibili" dei suoi prodotti. Deve fornire documentazione sui suoi dati di addestramento e sui tipi di modello. E deve rispondere alle richieste di informazioni dell'ufficio del Procuratore Generale entro 30 giorni.

Non è una tirata d'orecchie. È un modello di riferimento.

La prima grande azione di applicazione della legge sull'AI nel settore sanitario non ha richiesto una nuova legislazione. La legge esistente di tutela dei consumatori è bastata — e ogni Stato ne ha una.

Ho parlato con team legali aziendali che davano per scontato di essere al sicuro perché "non c'è ancora una legge sull'AI". Quel presupposto è sbagliato. Se fate un'affermazione sulle prestazioni del vostro sistema di AI, e quell'affermazione è fuorviante, siete già esposti in base alla legge esistente. L'accordo Pieces lo ha semplicemente dimostrato.

Ho scritto delle piene implicazioni normative — inclusi gli obblighi specifici previsti dall'accordo — nella versione interattiva della nostra ricerca. Se lavorate negli acquisti, nell'ambito legale o nella compliance, vale la pena leggerla con attenzione.

Il problema dei wrapper

Ecco cosa penso sia andato davvero storto, dal punto di vista architetturale — e perché conta ben oltre Pieces Technologies.

La maggior parte dei prodotti di AI aziendale in commercio oggi sono ciò che l'industria chiama "wrapper". Un wrapper prende l'input di un utente, lo invia all'API di un modello di base — GPT-4, Claude, Gemini — e mostra la risposta con qualche leggera formattazione e forse un paio di guardrail attaccati sopra. È veloce da costruire, veloce da rilasciare e veloce da vendere. È anche fondamentalmente fragile.

Un wrapper non capisce i vostri dati. Non mantiene il contesto lungo il record longitudinale di un paziente. Non sa che il Dr. Ramirez in cardiologia scrive le note in modo diverso dal Dr. Chen in oncologia. Non ha accesso alla conoscenza istituzionale che un'infermiera con vent'anni di esperienza porta nella propria testa. Si limita a predire token.

Una volta ho avuto una discussione con un investitore su questo — accesa. Aveva visto una demo di uno strumento di documentazione clinica basato su wrapper ed era convinto che fosse "abbastanza buono". Le sue parole esatte: "Ashutosh, usa e basta GPT. Fai un po' di fine-tuning. Rilascialo. Il mercato non aspetterà."

Gli ho detto che il mercato non avrebbe aspettato, ma i regolatori sì. E i pazienti sì. E le cause legali sì.

Non ha investito. Non rimpiango quella conversazione.

L'alternativa — ciò che costruiamo in Veriprajna e ciò verso cui penso che l'industria debba muoversi — è l'integrazione profonda. Significa incorporare il modello nell'effettivo tessuto dati dell'azienda. Significa usare la RAG non come funzionalità di facciata ma come un genuino meccanismo di ancoraggio, con pipeline di recupero calibrate sullo specifico dominio. Significa fare fine-tuning su corpora specifici del dominio. Significa una supervisione umana a più livelli in cui gli esseri umani abbiano davvero l'autorità e il contesto per intercettare gli errori.

La ricerca lo conferma. Gli studi mostrano che il 65% degli sviluppatori riferisce che l'AI "perde il contesto rilevante" durante compiti complessi — e questo nell'ingegneria del software, dove la posta in gioco è una build rotta, non un paziente danneggiato. In sanità, la perdita di contesto non è un bug. È un evento di sicurezza.

Cosa funziona davvero: l'AI avversariale e il problema delle 3,7 ore

Riconoscerò a Pieces Technologies il merito di una cosa: la loro architettura includeva un Modulo di Rilevamento Avversariale. L'idea è valida — usare un secondo modello di AI per sorvegliare il primo, scansionando i riepiloghi generati alla ricerca di discrepanze rispetto ai dati clinici sorgente. Il loro documento tecnico mostrava che il modulo avversariale era 7,5 volte più efficace nell'intercettare allucinazioni clinicamente significative rispetto al campionamento casuale.

È un risultato reale. Ma non è sufficiente.

Ecco perché. Quando il modulo avversariale segnalava un errore, il riepilogo segnalato veniva indirizzato a un medico certificato per la revisione. Il tempo mediano di risoluzione? 3,7 ore. Per una nota di andamento archiviata alla fine di un turno, forse è accettabile. Per un riepilogo di dimissione che determina se un paziente torna a casa oggi o resta un'altra notte, 3,7 ore sono un'eternità. Per uno strumento di supporto decisionale clinico in tempo reale — il tipo che tutti stanno correndo a costruire — è inutile.

Questo è ciò che chiamo il problema della velocità d'intervento, ed è uno che l'industria non ha risolto. Puoi costruire il miglior sistema di rilevamento delle allucinazioni al mondo, ma se il ciclo di correzione è più lento del flusso di lavoro clinico, l'output non corretto è ciò che il medico vede quando conta.

Il rilevamento senza una correzione tempestiva è solo la documentazione di un fallimento.

In Veriprajna, abbiamo iniziato a ragionare su questo per livelli. Non ogni caso d'uso dell'AI comporta lo stesso rischio, e non ogni caso d'uso ha bisogno della stessa velocità di intervento umano. Pianificazione amministrativa? Verificatela settimanalmente. Documentazione clinica? Rivedetela prima che finisca nella cartella. Supporto decisionale in tempo reale? L'essere umano deve essere nel ciclo prima che l'output sia generato, non dopo.

Il framework dell'AI Safety Level che sta emergendo in sanità mappa bene tutto ciò — dal Livello 1 (compiti amministrativi a basso impatto) fino al Livello 5 (interazione autonoma con il paziente). La maggior parte delle organizzazioni con cui parlo sta implementando strumenti di Livello 3 e 4 con una supervisione di Livello 1. È questo il divario che i regolatori continueranno a colmare.

Perché solo il 5% delle aziende ottiene un valore reale dall'AI?

C'è una statistica proveniente dalla ricerca sull'AI aziendale che mi perseguita: solo il 5% delle aziende sta ottenendo un valore di business misurabile dall'AI su larga scala. Non il 50%. Non il 25%. Il cinque percento.

Le aziende in quel 5% condividono uno schema. Dedicano il 70% del loro sforzo di implementazione alla trasformazione organizzativa — ridisegnando i flussi di lavoro, ridefinendo i ruoli, cambiando il modo in cui si prendono le decisioni. Il venti percento va allo stack tecnologico. Il dieci percento va all'algoritmo stesso.

Tutti gli altri invertono quel rapporto. Passano mesi a scegliere il modello giusto, settimane a costruire la pipeline, e all'incirca zero tempo a riflettere se gli esseri umani a valle si fidino davvero, comprendano o possano supervisionare efficacemente l'output dell'AI.

L'ho visto in prima persona. Abbiamo lavorato con un team che aveva costruito un sistema tecnicamente elegante — architettura splendida, codice pulito, benchmark impressionanti. Ma i clinici per cui era stato costruito non lo usavano. Non perché fosse scadente, ma perché nessuno aveva chiesto loro di cosa avessero bisogno. Lo strumento generava riepiloghi in un formato che non corrispondeva al loro flusso di lavoro esistente. Faceva emergere informazioni che già conoscevano e seppelliva informazioni di cui avevano davvero bisogno. Era una soluzione a un problema definito dagli ingegneri, non dalle persone che facevano il lavoro.

Abbiamo passato tre settimane semplicemente a stare seduti con il personale clinico, osservandolo lavorare, prima di scrivere una sola riga di codice per la riprogettazione. È quel 70% che conta.

Per l'analisi tecnica completa dei framework di valutazione, delle architetture di rilevamento avversariale e degli schemi di ROI che separano il 5% dal 95%, consultate il nostro documento di ricerca dettagliato.

Come dovrebbero le aziende valutare davvero le affermazioni di accuratezza dell'AI?

Me lo chiedono di continuo, quindi lasciate che sia diretto.

Primo, pretendete definizioni. Quando un fornitore vi dice che il suo tasso di allucinazione è X%, chiedete: cosa conta come allucinazione? Chi ha annotato l'insieme di test? Quanto era grande? È stato valutato da esperti di dominio o da un altro modello di AI? Se non sanno rispondere chiaramente a queste domande, il numero non ha alcun significato.

Secondo, guardate il framework di valutazione. Il migliore che abbia visto per la sanità è Med-HALT — il Medical Domain Hallucination Test. Non misura soltanto se il modello dà la risposta giusta. Verifica se il modello sappia resistere al dare una risposta sicura di sé ma sbagliata. Uno dei suoi sotto-test, il False Confidence Test, presenta al modello una domanda e una "risposta corretta" suggerita che in realtà è sbagliata, poi controlla se il modello vi si accoda. Un altro test, chiamato "None of the Above", verifica se il modello sappia riconoscere quando nessuna delle opzioni fornite è corretta — un'abilità critica, perché in medicina "non lo so" è spesso la risposta più sicura.

Terzo, insistete su ciò che il framework FAIR-AI chiama "AI Label" — una divulgazione standardizzata che dice all'utente finale su quali dati è stato addestrato il modello, quali sono le sue modalità di guasto note e quale versione è attualmente in uso. Pensatelo come un'etichetta nutrizionale per l'AI. Se un fornitore non ve ne fornisce una, chiedetevi cosa sta nascondendo.

La domanda non è "quanto è accurata la vostra AI?". È "come lo sapete — e potete dimostrarlo a un regolatore?".

L'accordo ha cambiato tutto. La maggior parte delle persone non se n'è ancora accorta.

Ecco cosa penso accadrà nei prossimi due anni, e lo dico da persona che costruisce i sistemi che saranno soggetti a queste regole.

L'accordo del Texas verrà replicato. Altri Procuratori Generali statali stanno osservando. La FTC sta osservando. Lo schema è ormai stabilito: non serve una legge sull'AI per regolamentare le affermazioni sull'AI. Serve solo una norma di tutela dei consumatori e un fornitore che ha promesso troppo.

Gli acquisti aziendali cambieranno. I sistemi ospedalieri e i grandi acquirenti inizieranno a richiedere audit indipendenti di terze parti sulle affermazioni di accuratezza dell'AI prima di firmare i contratti. L'accordo lo consente esplicitamente come alternativa all'autodichiarazione, e gli acquirenti accorti lo pretenderanno.

Il modello wrapper morirà — lentamente, poi tutto d'un tratto. Non perché i wrapper non funzionino per applicazioni a bassa posta in gioco (funzionano), ma perché il costo normativo di implementare un sistema non ancorato in un ambiente ad alta posta in gioco sta per diventare proibitivo. Le aziende che sopravvivranno saranno quelle che hanno investito nell'integrazione profonda quando era difficile, non quelle che hanno rilasciato in fretta sperando che nessuno controllasse.

E l'affermazione dello 0,001%? Diventerà un monito — l'equivalente nell'AI aziendale della "singola goccia di sangue" di Theranos. Un numero così perfetto che avrebbe dovuto essere un avvertimento.

Penso a quel CIO ospedaliero ogni tanto. Quello che mi ha mostrato la slide con il grande numero. Non ha comprato quel sistema. Mi ha detto in seguito che qualcosa nella precisione dell'affermazione lo infastidiva — era troppo pulito, troppo sicuro di sé per una tecnologia che sapeva essere fondamentalmente probabilistica.

Aveva ragione a essere infastidito. La cosa più difficile nell'AI aziendale non è costruire un sistema che funzioni. È costruire un sistema che ti dica onestamente quando non funziona. Questo è lo standard adesso. Non il 99,999%. Non un numero su una slide. Lo standard è: sai mostrare il tuo lavoro, sostenerlo e accettarne le conseguenze quando sbagli?

È verso questo che stiamo costruendo. Non l'AI perfetta. L'AI onesta. E penso che questo conterà molto di più del tasso di allucinazione di chiunque.