Si può fidare dell'AI per approvare le richieste di rimborso sanitario?

Il problema

L'algoritmo di UnitedHealth Group ha negato cure a pazienti anziani — e si sbagliava nel 90% dei casi. Nove negazioni su dieci sono state annullate quando un giudice umano le ha effettivamente riesaminate. Ma UnitedHealth sapeva qualcosa di devastante: solo lo 0.2% dei pazienti aveva le risorse per reagire.

L'algoritmo al centro di questa crisi si chiama nH Predict. La divisione Optum di UnitedHealth lo ha acquisito nel 2020 per oltre 1 miliardo di dollari. Doveva prevedere per quanto tempo i pazienti Medicare avessero bisogno di assistenza post-acuta, come i soggiorni in strutture infermieristiche qualificate. È invece diventata una macchina per tagliare i costi che ignorava se i pazienti avessero davvero bisogno di aiuto.

Si consideri Carol Clemens. Dopo essere sopravvissuta alla metemoglobinemia — un disturbo del sangue potenzialmente letale — ha avuto bisogno di intense cure infermieristiche qualificate. Le evidenze cliniche sostenevano il suo protratto bisogno di riabilitazione. Ma le proiezioni di nH Predict ne hanno comunque terminato la copertura. La sua famiglia ha pagato oltre 16.768 dollari di tasca propria per evitare una sua dimissione prematura. UnitedHealth, secondo le accuse della causa, aveva "scommesso" sul fatto che pazienti come Clemens fossero troppo malati, troppo anziani o troppo poveri per fare ricorso.

Nel febbraio 2025 un giudice federale ha stabilito che l'azione collettiva può proseguire. L'era di nascondersi dietro decisioni di AI black-box si sta chiudendo. Se la vostra organizzazione usa l'AI per prendere decisioni che incidono sulla vita o sui mezzi di sussistenza delle persone, questo caso è il vostro colpo d'allarme.

Perché questo riguarda la vostra azienda

Questa non è soltanto una storia sanitaria. È una storia di governance aziendale, e l'esposizione finanziaria è vertiginosa.

UnitedHealth Group genera circa 300 miliardi di dollari di ricavi annui. L'azienda ora affronta un'azione collettiva federale che potrebbe ridefinire il modo in cui ogni impresa regolamentata schiera l'AI. Ecco cosa vi dicono i numeri sul vostro stesso rischio:

• Le percentuali di negazione sono aumentate di oltre il 100%. Le negazioni di cure post-acute sono passate da circa il 10% al 22.7% dopo il deploy dell'AI. Le negazioni nelle strutture infermieristiche qualificate sono aumentate dell'800%. Il vostro board dovrebbe chiedersi: i vostri sistemi AI producono esiti statisticamente anomali che i regolatori possono segnalare?

• Il 72% delle aziende dell'S&P 500 oggi divulga rischi AI materiali nei propri rapporti annuali alla SEC. Il danno reputazionale è la preoccupazione più citata. Un singolo fallimento virale dell'AI può innescare contenziosi che costano multipli di quanto l'AI era supposta far risparmiare.

• Le sanzioni dell'EU AI Act arrivano fino al 7% del fatturato globale. I sistemi AI sanitari sono classificati "High-Risk" ai sensi di questa legge, con obbligo di valutazioni di conformità, dichiarazioni di trasparenza e supervisione umana. Se fate affari in Europa, la non conformità è una minaccia finanziaria di livello board.

• La bozza di linee guida della FDA di gennaio 2025 stabilisce ora un quadro obbligatorio in 7 fasi per la credibilità dei modelli AI usati nel processo decisionale medico e regolamentare. I regolatori non suggeriscono più best practice: stanno scrivendo regole.

La linea di fondo per il vostro conto economico: il costo di governare l'AI correttamente è una frazione del costo di difendersi da un'azione collettiva, pagare sanzioni regolatorie o ricostruire il vostro marchio dopo un fallimento pubblico.

Cosa succede davvero sotto il cofano

Ecco perché nH Predict ha fallito, spiegato senza gergo tecnico.

L'algoritmo funzionava incrociando un database di 6 milioni di cartelle cliniche di pazienti. Individuava schemi ricorrenti: i pazienti con diagnosi simili storicamente restavano ricoverati X giorni. Poi generava una data di dimissione "target" per ogni nuovo paziente.

Pensate a un GPS che conosce solo i pattern medi del traffico. Vi dice che il viaggio dura 30 minuti. Ma non vede l'incidente poco più avanti, la chiusura stradale, né il fatto che la vostra auto ha una gomma a terra. E continua a insistere che ormai dovreste essere arrivati.

nH Predict aveva lo stesso punto cieco. Si basava sulla correlazione — ciò che di solito accade — invece che sulla causalità — ciò che realmente determinava la condizione di ogni singolo paziente. Non riusciva a tenere conto del fatto che un paziente avesse un caregiver a casa, attraversasse un'economia familiare precaria o presentasse complicanze cliniche specifiche. Sono questi fattori a determinare la necessità medica secondo le regole Medicare, ma il modello li ha ignorati del tutto.

Questa modalità di guasto ha un nome: è la differenza tra chiedersi "cosa succede di solito" e "perché questo paziente ha bisogno di più tempo". Un modello guidato dalla correlazione — uno che individua schemi senza comprenderne le cause — vi dice che i pazienti con una certa diagnosi tipicamente vanno via dopo 14 giorni. Un modello causale chiede quali fattori fanno sì che un paziente abbia bisogno di più tempo, e cosa accade quando se gli toglie la copertura prematuramente.

Il problema è peggiorato perché UnitedHealth ha trasformato uno strumento di previsione difettoso in una direttiva obbligatoria. I manager interni intimavano ai case manager di mantenere i soggiorni dei pazienti entro il 3% dalla proiezione dell'algoritmo. Poi hanno ristretto l'obiettivo al solo 1%. I clinici che deviavano per rispondere ai reali bisogni dei pazienti andavano incontro a provvedimenti disciplinari o al licenziamento. La salvaguardia dello "human-in-the-loop" era ridotta a una mera formalità.

Ciò che funziona (e ciò che non funziona)

Iniziamo con ciò che non funziona, perché la vostra organizzazione potrebbe già star facendo una di queste cose.

Aggiungere uno strato chatbot sopra un'AI esistente. Questo è l'approccio "wrapper": sovrapporre un'interfaccia personalizzata a un motore AI di terze parti come GPT. Questi wrapper non offrono alcuna logica proprietaria, ereditano ogni bias dal modello sottostante e producono output black-box impossibili da auditare. Nei settori regolamentati sono un passivo.

Dare per scontato che la revisione umana risolva tutto. UnitedHealth, sulla carta, aveva esseri umani che riesaminavano le decisioni dell'AI. Ma quando si puniscono i dipendenti che disattendono l'algoritmo, il vostro human-in-the-loop è una finzione. La progettazione dei processi conta più del linguaggio delle policy.

Trattare la governance dell'AI come un progetto IT. Se la vostra governance dell'AI vive interamente nell'IT, state trascurando le dimensioni legali, cliniche e finanziarie che generano la responsabilità concreta. La sentenza di febbraio 2025 è andata a buon fine perché il giudice ha accertato che UnitedHealth aveva violato la promessa contrattuale di avere decisioni sulla copertura prese da "personale dei servizi clinici" e "medici" — non da algoritmi.

Ecco cosa funziona davvero, in tre passaggi:

1. Input: modellazione causale invece di correlazione. Il vostro sistema AI dovrebbe essere costruito su modellazione causale e controfattuale — un approccio in cui si mappano le reali relazioni causa-effetto del proprio dominio, non soltanto gli schemi storici. Per la sanità, significa modellare perché un paziente necessita di cure, non solo per quanti giorni sono rimasti pazienti simili.

2. Elaborazione: AI spiegabile con confidence scoring. Ogni decisione presa dal vostro sistema AI dovrebbe accompagnarsi a una spiegazione in linguaggio semplice dei fattori che l'hanno determinata. Strumenti come SHAP e LIME — metodi che mostrano quali punti dati hanno influenzato un determinato output — permettono ai revisori di vedere se le negazioni sono guidate da evidenze cliniche o da variabili proxy come il codice postale. Quando l'AI incontra un caso fuori dai suoi dati di addestramento, il confidence scoring dovrebbe segnalare l'incertezza e instradare il caso a un revisore umano.

3. Output: audit trail completo con controlli kill-switch. Ogni output dell'AI deve essere registrato, marcato temporalmente e tracciabile. Il vostro programma di governance e conformità AI dovrebbe includere un registro centrale dell'AI che cataloga ogni modello presente nel vostro stack, la gestione delle modifiche dei modelli con opzioni di rollback e un'autorità chiara, in capo a un comitato interfunzionale, di spegnere un modello le cui prestazioni degradano.

Questo audit trail è ciò che rende vendibile questo approccio al vostro team di compliance. Quando un regolatore o un avvocato della parte querelante chiede "mostratemi come è stata presa questa decisione", o avete una traccia logica documentata o avete una causa alle porte. Il quadro di credibilità in 7 fasi della FDA ora richiede esplicitamente una "Relazione di credibilità" che documenti le strategie di validazione, le metriche e ogni scostamento. Se il vostro AI non è in grado di produrre quel rapporto, fallisce il test regolatorio prima ancora di approdare in tribunale.

Le organizzazioni che sviluppano soluzioni AI per la sanità e le scienze della vita hanno bisogno di sistemi che spieghino il proprio ragionamento, segnalino la propria incertezza e mantengano gli esseri umani autenticamente al comando. Il messaggio del tribunale nel caso UnitedHealth era inequivocabile: se il vostro sistema AI è fondamentalmente viziato, i tribunali non pretenderanno che le vittime partecipino alla farsa di un processo di ricorso truccato.

Potete leggere l'analisi tecnica completa oppure esplorare la versione interattiva per uno sguardo più approfondito ai quadri regolatori e ai requisiti architetturali.