L'algoritmo che ha negato le cure ai pazienti morenti — e cosa mi ha insegnato sul costruire un'IA che non uccide

Ero seduto in una sala riunioni verso la fine del 2024 quando una collega ha aperto una statistica sul suo portatile e ha girato lo schermo verso di me. "L'hai visto questo?"

Era il tasso di ribaltamento dei ricorsi per l'algoritmo nH Predict di UnitedHealth Group — il sistema di IA che la loro controllata NaviHealth utilizzava per decidere quando i pazienti Medicare dovessero essere esclusi dalle cure post-acute. Assistenza infermieristica specializzata. Riabilitazione. Il tipo di cure che impedisce a un uomo di 82 anni di essere rispedito a casa, in un appartamento vuoto, dopo un ictus.

Il numero era 90%.

Nove volte su dieci, quando un giudice umano esaminava davvero la decisione dell'algoritmo di negare la copertura, la ribaltava. L'IA sbagliava nove volte su dieci. E UnitedHealth lo sapeva. Lo sapeva perché solo lo 0,2% dei pazienti — persone anziane, disabili, con deficit cognitivi — riusciva mai a presentare un ricorso. Il sistema non era progettato per essere accurato. Era progettato per essere inappellabile.

Quella notte ho chiuso il portatile e non riuscivo a dormire. Non perché la tecnologia mi avesse sorpreso — ho passato anni a costruire sistemi di IA e capisco come falliscono i modelli guidati dalla correlazione. Ciò che mi ha tenuto sveglio era qualcosa di più sgradevole: non era un difetto. Era un modello di business. Ed era il punto d'arrivo logico di un'intera filosofia dell'IA aziendale che il mio settore promuove allegramente da mezzo decennio.

Dirigo Veriprajna, un'azienda fondata sul presupposto che l'IA nei settori ad alto rischio debba essere fondamentalmente diversa dai chatbot e dai generatori di contenuti che dominano il dibattito. La crisi UnitedHealth non ha soltanto convalidato quel presupposto. Lo ha radicalizzato.

Un algoritmo da un miliardo di dollari che non riusciva a vedere una donna morente

Lasciate che vi parli di Carol Clemens, perché senza di lei i numeri non significano nulla.

Carol soffriva di metemoglobinemia — un disturbo del sangue potenzialmente letale in cui il sangue non riesce a trasportare correttamente l'ossigeno. Dopo un grave episodio, si trovava in una struttura infermieristica specializzata per ricevere la riabilitazione di cui aveva bisogno per sopravvivere. Il tipo di cure che Medicare dovrebbe coprire.

Poi nH Predict ha generato una "data obiettivo di dimissione". L'algoritmo, addestrato su 6 milioni di cartelle cliniche, aveva incrociato la diagnosi di Carol con esiti storici e aveva deciso che il suo percorso era concluso. Non importava che i suoi livelli di ossigeno nel sangue fossero ancora pericolosamente bassi. Non importava che i suoi medici dicessero che aveva bisogno di più tempo. Il modello aveva parlato.

La sua famiglia ha pagato 16.768 dollari di tasca propria per mantenerla in cura. Erano fortunati — avevano le risorse. La maggior parte dei pazienti nella situazione di Carol non le aveva.

Ecco cosa mi perseguita di questo caso: nH Predict non era un esperimento incontrollato. La divisione Optum di UnitedHealth ha pagato oltre 1 miliardo di dollari per acquisire NaviHealth e il suo algoritmo. Era un prodotto di punta di un'azienda che prevedeva ricavi per 340 miliardi di dollari nel 2025. Il più costoso dispiegamento di IA nella storia della sanità, e non riusciva a distinguere tra una media statistica e una donna che stava soffocando.

Perché l'algoritmo ha sbagliato il 90% delle volte?

Questa è la domanda che si pongono tutti, e la risposta è ingannevolmente semplice. nH Predict era un motore di correlazione che fingeva di essere uno strumento clinico.

Assorbiva le cartelle cliniche e individuava schemi: i pazienti con diagnosi X in genere restano ricoverati Y giorni. Tutto qui. È tutto il trucco. Non modellava perché i pazienti abbiano bisogno di cure di durata diversa. Non teneva conto se qualcuno avesse un assistente a casa, se fosse abbastanza stabile economicamente da gestire un trattamento ambulatoriale, se avesse complicanze specifiche che rendevano il suo caso diverso dalla media statistica.

Un modello che ti dice "i pazienti come questo di solito escono in 14 giorni" non è la stessa cosa di un modello che capisce perché questo specifico paziente ha bisogno di 21 giorni. Il primo è un foglio di calcolo con qualche passaggio in più. Il secondo è intelligenza.

Ho avuto questa discussione con altri fondatori più volte di quante ne possa contare. "Ma il modello è accurato in media!" mi dicono. Certo. E un fiume è profondo in media un metro e venti, il che è di scarso conforto per chi è annegato nel tratto profondo due metri e mezzo.

Il termine tecnico per ciò che mancava a nH Predict è ragionamento causale — la capacità di passare da "ciò che di solito accade" a "ciò che accadrebbe se cambiassimo questa variabile". Un modello causale si chiederebbe: cosa succede alla traiettoria di guarigione di Carol Clemens se le togliamo l'assistenza infermieristica specializzata al giorno 14? Ha una ricaduta? Muore? Un modello di correlazione non se lo chiede. Non può. Non è stato costruito per farlo.

Ho scritto in modo approfondito su questa distinzione nella versione interattiva della nostra ricerca, perché credo sia il singolo concetto più importante che i dirigenti aziendali debbano comprendere sull'IA in questo momento.

La regola dal 3% all'1% — ovvero, come si trasformano gli infermieri in timbri automatici

L'inaccuratezza dell'algoritmo era già abbastanza grave. Ciò che UnitedHealth ne ha fatto è stato peggio.

Le testimonianze dei whistleblower hanno rivelato che i manager di NaviHealth fissavano rigidi obiettivi di conformità per il loro personale clinico. Ai case manager — infermieri, medici, persone che avevano passato decenni a imparare a valutare i bisogni dei pazienti — veniva ordinato di mantenere la durata effettiva del ricovero dei pazienti entro una varianza del 3% rispetto a quanto previsto da nH Predict.

Poi l'hanno ristretta all'1%.

Pensate a cosa significa nella pratica. Sei un infermiere. Hai visitato un paziente. Sai, per anni di esperienza e per l'evidenza clinica che hai davanti, che questa persona non è pronta a tornare a casa. Ma l'algoritmo dice giorno 14, e il tuo manager dice che devi centrare il giorno 14 più o meno una frazione di giorno, altrimenti rischi un provvedimento disciplinare. Forse il licenziamento.

Cosa fai?

La maggior parte delle persone si conformava. Non perché fossero cattivi clinici, ma perché il sistema era progettato per rendere la conformità l'unica opzione di sopravvivenza. Ai coordinatori dell'assistenza veniva ordinato di programmare le revisioni dei progressi in modo che coincidessero esattamente con la data di dimissione prevista dall'algoritmo — ingegnerizzando il calendario clinico per adattarlo al modello anziché al paziente.

Ricordo di aver descritto tutto questo a un amico che lavora nella sicurezza aeronautica, ed è diventato pallido. "È come dire ai piloti di atterrare in base al piano di volo indipendentemente dalle condizioni meteorologiche", ha detto. "Non voleresti mai più."

Quando i clinici vengono puniti per aver aggirato un algoritmo difettoso, non hai un "essere umano nel ciclo decisionale". Hai un timbro automatico con forma umana.

Questo è ciò che io chiamo coercizione algoritmica, ed è la modalità di fallimento che mi terrorizza di più — non perché l'IA sia autonoma, ma perché crea un ambiente in cui gli esseri umani vengono puniti per aver esercitato il giudizio che all'IA manca.

Cosa è successo in tribunale il 13 febbraio 2025?

L'azione collettiva — Estate of Gene B. Lokken contro UnitedHealth Group — ha raggiunto una svolta quando il giudice distrettuale federale John Tunheim ha stabilito che il caso poteva proseguire. Questo conta enormemente, e non solo per UnitedHealth.

La corte ha rilevato che gli stessi documenti sulle politiche di UHC promettevano che le decisioni sulla copertura sarebbero state prese da "personale dei servizi clinici" e da "medici". Sostituendo quegli esseri umani con un algoritmo che di fatto dettava gli esiti, UnitedHealth potrebbe aver violato il proprio contratto con ogni assicurato.

Ancora più significativo: il giudice ha revocato l'obbligo per i pazienti di esaurire i ricorsi amministrativi prima di intentare causa. Normalmente, i beneficiari di Medicare devono attraversare più livelli di revisione burocratica prima di potersi rivolgere al tribunale. Ma Tunheim ha guardato il tasso di errore del 90%, ha guardato il tasso di ricorso dello 0,2%, e in sostanza ha detto: non costringeremo persone morenti a partecipare a un sistema truccato contro di loro.

Quella sentenza dovrebbe essere lettura obbligatoria per ogni dirigente che dispiega l'IA in un settore regolamentato. Il sistema giudiziario non è più disposto a trattare la disfunzione algoritmica come un problema procedurale che i pazienti devono risolvere da soli.

Perché l'"IA wrapper" è una bomba a orologeria nella sanità

Ecco il punto in cui devo essere schietto sul mio stesso settore, perché la storia di UnitedHealth non è un incidente isolato. È il sintomo più visibile di un problema strutturale.

Negli ultimi tre anni, il mercato dell'IA aziendale è stato inondato da quelle che io chiamo soluzioni wrapper — aziende che prendono un modello linguistico di grandi dimensioni già esistente, lo avvolgono in un'interfaccia personalizzata, magari lo affinano su alcuni dati specifici di dominio, e lo vendono come prodotto di IA per la sanità. O come prodotto di IA per le assicurazioni. O come prodotto di IA per la conformità.

Questi wrapper condividono ogni vulnerabilità che ha reso nH Predict pericoloso:

Sono scatole nere. Non puoi verificare il ragionamento dietro ogni singola decisione, il che significa che non puoi individuare i pregiudizi sistematici finché non hanno già danneggiato migliaia di persone.

Ereditano i pregiudizi dei loro modelli di base. Se i dati di addestramento riflettono schemi storici di discriminazione — e nella sanità è sempre così — il wrapper riproduce fedelmente quegli schemi.

Non hanno alcuna comprensione causale. Fanno previsioni sulla base della correlazione statistica, il che significa che ottimizzano per "ciò che di solito accade" anziché per "ciò che dovrebbe accadere per questo paziente".

E, cosa cruciale, non sono difendibili. Qualsiasi concorrente può costruire lo stesso wrapper sullo stesso modello di base. Non c'è alcuna intelligenza proprietaria, nessuna intuizione unica — solo un sottile strato di automazione sopra il motore di qualcun altro.

L'economia dei wrapper nell'IA sanitaria è costruita sulla sabbia. Quando arriverà la marea normativa — e sta arrivando in fretta — le aziende prive di sistemi profondi, spiegabili e ancorati alla causalità verranno spazzate via.

Non lo dico perché Veriprajna compete con le aziende di wrapper (anche se è così). Lo dico perché ho visto cosa succede quando questi sistemi falliscono in produzione, e il divario tra "pronto per la demo" e "clinicamente sicuro" è un abisso che i wrapper non possono attraversare.

In che modo la FDA vuole che l'IA dimostri di essere affidabile?

Nel gennaio 2025, la FDA ha pubblicato una bozza di linee guida che istituisce un quadro di valutazione della credibilità in 7 fasi per i modelli di IA utilizzati nelle decisioni mediche e normative. Ho passato settimane su questo documento, ed è il pezzo di regolamentazione dell'IA più rilevante che io abbia visto.

Il quadro impone che ogni dispiegamento di IA definisca chiaramente l'esatta domanda a cui risponde, specifichi il suo ruolo nel flusso di lavoro clinico, valuti cosa succede se sbaglia, e poi dimostri — con test rigorosi — di essere adatto a quello scopo specifico.

nH Predict avrebbe fallito in ogni fase. Non aveva alcuna definizione chiara del proprio ruolo clinico. La sua valutazione del rischio ignorava le conseguenze potenzialmente letali delle cure negate. La sua "validazione" ottimizzava per il contenimento dei costi, non per gli esiti dei pazienti.

Nel frattempo, l'EU AI Act ha classificato l'IA sanitaria come "ad alto rischio" nel 2025, richiedendo obblighi di trasparenza e supervisione umana. Le sanzioni per la non conformità arrivano fino al 7% del fatturato globale. Per un'azienda delle dimensioni di UnitedHealth, non è una multa — è una minaccia esistenziale.

L'Organizzazione Mondiale della Sanità si è spinta oltre, prendendo di mira specificamente ciò che chiama bias di automazione — la tendenza dei clinici a rimettersi a un algoritmo anche quando contraddice il loro stesso giudizio clinico. È esattamente ciò che è accaduto in NaviHealth. Le linee guida dell'OMS del 2024 avvertono che l'eccessiva dipendenza dall'IA può portare a un "degrado delle competenze" tra i medici che smettono di esercitare una valutazione critica.

Per l'analisi tecnica completa di questi quadri normativi e di come si applicano al dispiegamento dell'IA aziendale, consulta il nostro documento di ricerca.

La notte in cui ho capito che la spiegabilità non è opzionale

C'è un momento nel percorso di ogni fondatore in cui un principio astratto diventa viscerale. Per me è stato una sera tardi, mentre testavo una prima versione di uno dei nostri modelli su un set di dati sanitari.

Il modello aveva segnalato un caso per il rifiuto. Ho chiesto al mio team di eseguire SHAP — SHapley Additive exPlanations, uno strumento che mostra quali caratteristiche hanno guidato una specifica previsione. Il fattore principale non era la diagnosi del paziente né la sua traiettoria clinica. Era il suo codice postale.

Il mio ingegnere capo e io fissavamo lo schermo. Entrambi sapevamo con cosa è correlato il codice postale nei dati sanitari americani. Non stavamo guardando una variabile clinica. Stavamo guardando un indicatore indiretto di razza e reddito travestito da cinque cifre.

Abbiamo eliminato quella caratteristica quella notte. Ma l'esperienza ha cristallizzato qualcosa che avevo capito intellettualmente ma non avevo sentito nelle viscere: se non puoi spiegare perché la tua IA ha preso una decisione, non puoi individuare le decisioni indifendibili.

È per questo che progettiamo con la spiegabilità come architettura, non come ripensamento. Strumenti come SHAP ti danno una visione globale di ciò che guida il tuo modello. LIME — Local Interpretable Model-Agnostic Explanations — ti mostra il ragionamento dietro ogni singola decisione. Per una paziente come Carol Clemens, LIME avrebbe reso visibile che l'algoritmo stava ignorando il suo ossigeno nel sangue pericolosamente basso a favore delle statistiche medie di guarigione per il suo codice diagnostico.

E poi c'è il punteggio di confidenza — l'elemento che la maggior parte delle soluzioni wrapper salta del tutto. Quando un paziente si presenta con una condizione rara scarsamente rappresentata nei dati di addestramento, il sistema deve dire, esplicitamente: "Non ne so abbastanza per prendere questa decisione. Inoltrala a un essere umano." Non un suggerimento. Un arresto definitivo.

Perché questo non può più essere un "problema dell'IT"

Le persone mi contestano sempre quando dico che la governance dell'IA appartiene al consiglio di amministrazione. "Non è a questo che serve il team di ingegneria?" No. Assolutamente no. E il caso UnitedHealth ne è la prova.

Gli ingegneri di NaviHealth non hanno fissato il mandato della varianza dell'1%. Quella è stata una decisione del management. Gli ingegneri non hanno deciso di punire i clinici che aggiravano l'algoritmo. Quella è stata una decisione di policy. Gli ingegneri non hanno scelto di dispiegare un modello basato sulla correlazione per decisioni di copertura di vita o di morte senza validazione causale. Quella è stata una decisione strategica.

Entro il 2025, il 72% delle aziende dell'S&P 500 ha dichiarato rischi rilevanti legati all'IA nei propri documenti depositati presso la SEC. Il rischio reputazionale è ora la preoccupazione più citata. Un singolo fallimento algoritmico può scatenare contenziosi, azioni normative e indignazione pubblica contemporaneamente — e il consiglio di amministrazione che dice "non lo sapevamo" scoprirà che l'ignoranza non è una difesa.

In Veriprajna, spingiamo ogni cliente a istituire comitati di governance dell'IA interfunzionali che includano leader clinici, consulenti legali e rappresentanti per la sicurezza dei pazienti — non solo ingegneri e product manager. Questi comitati hanno bisogno dell'autorità per mantenere un registro centrale di ogni modello di IA nell'infrastruttura dell'organizzazione, imporre opzioni di rollback quando le prestazioni degradano e — questa è la parte che mette a disagio i dirigenti — dismettere un modello redditizio quando sta causando danni.

La governance dell'IA non è un centro di costo. È la differenza tra un'azienda che dispiega l'IA in modo responsabile e un'azienda che diventa il prossimo monito in un'indagine del Senato.

La discussione che continuo ad avere

C'è una conversazione che ho a quasi ogni conferenza, e va così:

"Ashutosh, stai complicando troppo la cosa. Possiamo affinare GPT-4 sui nostri dati clinici e rilasciare qualcosa in sei settimane. Il tuo approccio richiede mesi."

Non sono in disaccordo sulle tempistiche. Sono in disaccordo sulla definizione di "fatto".

Puoi assolutamente rilasciare un wrapper in sei settimane. Puoi presentarne una demo magnifica. Genererà riassunti clinici dall'aria plausibile e renderà felici i tuoi investitori. E poi, sei mesi dopo, quando un paziente muore perché il tuo modello ha raccomandato con sicurezza la linea d'azione sbagliata e nessuno è riuscito a spiegare perché, scoprirai che le sei settimane che hai risparmiato ti sono costate tutto.

La crisi UnitedHealth non è stata causata da cattivi ingegneri o da intenti malevoli. È stata causata da un'organizzazione che trattava l'IA come un problema di ottimizzazione della produttività — riducendo il tempo di revisione di sei-dieci minuti per caso — anziché come un problema di giudizio clinico. Misuravano il successo in velocità di elaborazione e tassi di rifiuto, non in esiti per i pazienti.

Il passaggio dai wrapper predittivi a ciò che io chiamo IA profonda non riguarda l'uso di modelli più sofisticati. Riguarda il porsi una domanda fondamentalmente diversa. Non "come automatizziamo questa decisione?" ma "come rendiamo questa decisione migliore, più trasparente e più responsabile di quanto potrebbe fare un essere umano da solo?"

Dove andiamo da qui

Voglio concludere con qualcosa che mi assilla da quando ho iniziato a scrivere questo.

La storia di nH Predict è scioccante, ma non dovrebbe sorprendere. Abbiamo passato anni a costruire un ecosistema di IA che premia la velocità sulla sicurezza, la correlazione sulla causalità e l'automazione sull'aumento delle capacità umane. Le strutture di incentivi — le tempistiche del capitale di rischio, i cicli di approvvigionamento aziendale, l'incessante pressione a rilasciare — spingono tutte verso l'approccio wrapper. Costruisci in fretta, vendi in fretta, preoccupati della governance più tardi.

Non c'è un "più tardi". La sentenza del febbraio 2025 lo ha chiarito. Il quadro di credibilità della FDA lo ha chiarito. La sanzione del 7% dell'EU AI Act lo ha chiarito. E la fattura medica di 16.768 dollari di Carol Clemens lo ha chiarito nei termini più umani possibili.

La via da seguire non è meno IA. È un'IA che si guadagna l'autorità che le stiamo affidando — attraverso una validazione causale che comprenda il perché, attraverso un'architettura spiegabile che mostri il proprio lavoro, attraverso strutture di governance che diano agli esseri umani il potere di aggirare la macchina senza timore di punizioni, e attraverso la basilare umiltà istituzionale di ammettere quando il modello non ne sa abbastanza per prendere la decisione.

La domanda non è mai stata "può l'IA prendere decisioni sanitarie?" È sempre stata "dovremmo lasciare che l'IA prenda decisioni sanitarie che non sa spiegare, non sa giustificare e sbaglia il 90% delle volte?" La risposta, finalmente, è no.

Abbiamo costruito Veriprajna perché credevamo che quella risposta sarebbe arrivata. Vorrei solo che non ci fossero voluti pazienti morenti per darci ragione.