Il pulsossimetro sul dito di mia figlia mentiva — e mente anche l'IA del tuo ospedale

La primavera scorsa mia figlia ha avuto la febbre a 39,4. Eravamo al pronto soccorso e l'infermiera ha applicato un pulsossimetro sul suo piccolo dito bruno. Lo schermo indicava una saturazione di ossigeno del 97%. Normale. L'infermiera ha sorriso. Io no.

Sapevo — perché avevo passato mesi immerso nella letteratura clinica per un progetto di Veriprajna — che il dispositivo sul suo dito stava quasi certamente sovrastimando l'ossigeno nel suo sangue. Non di poco. Di quanto basta per contare. Una ricerca pubblicata sul New England Journal of Medicine e sul British Medical Journal ha dimostrato che i pazienti neri hanno una probabilità quasi tre volte maggiore di andare incontro a ciò che i clinici chiamano "ipossiemia occulta" — una condizione in cui il dispositivo dice che stai bene mentre i tuoi livelli reali di ossigeno sono pericolosamente bassi. Uno studio della Vanderbilt del 2024 ha rilevato che i comuni pulsossimetri non rilevavano l'ossigeno basso nel 7% dei bambini con le tonalità di pelle più scure. Non hanno mancato nessun caso nei bambini con le tonalità più chiare.

Ho guardato quel piccolo numero luminoso sullo schermo e ho pensato: è qui che comincia. Non con un algoritmo malevolo. Non con un set di dati distorto. Con un pezzo di hardware da 30 dollari che è stato calibrato sulla pelle bianca e che da trent'anni mente su tutti gli altri.

Quella notte ha cambiato il modo in cui penso a tutto ciò che costruiamo in Veriprajna. È la ragione per cui ho scritto la nostra ricerca sull'equità algoritmica nell'IA clinica, ed è la ragione per cui scrivo questo ora.

Perché il tuo pulsossimetro funziona diversamente sulla pelle scura?

La fisica è di una semplicità quasi offensiva. Un pulsossimetro fa passare luce rossa e infrarossa attraverso il dito e misura quanta ne viene assorbita. L'emoglobina ossigenata e l'emoglobina deossigenata assorbono la luce in rapporti diversi, e il dispositivo usa quel rapporto per stimare il livello di ossigeno nel sangue.

Ecco il problema: anche la melanina assorbe la luce su quelle stesse lunghezze d'onda. Se calibri il dispositivo principalmente su persone dalla pelle più chiara — cosa che i produttori hanno fatto, e fino a poco tempo fa la FDA richiedeva test su appena dieci soggetti in totale — allora l'assorbimento aggiuntivo della melanina nella pelle scura viene interpretato male. Il dispositivo lo legge come più emoglobina ossigenata di quanta ne esista realmente. Il tuo numero sembra più alto della realtà.

Non è un risultato accademico sottile. Il tasso di falsi negativi nella rilevazione dell'ossigeno basso varia dall'1,2% al 26,9% nelle tonalità di pelle più chiare. Nelle tonalità più scure sale al 7,6%-62,2%. Non è un errore di arrotondamento. È una realtà medica diversa.

Quando il dispositivo sul tuo dito segna 97%, e il tuo ossigeno arterioso reale è 88%, non ricevi ossigeno supplementare. Non ricevi un'intensificazione delle cure. Vieni mandato a casa.

Ricordo di essere stato seduto a una riunione del team dopo aver raccolto questi dati, e uno dei nostri ingegneri — un tipo brillante, qualcuno di cui mi fido ciecamente — ha detto: "Ma sicuramente i modelli di IA a valle correggono per questo, no?" E mi sono reso conto che era esattamente quel presupposto a uccidere le persone. L'IA non corregge per questo. L'IA lo amplifica.

La cascata di cui nessuno parla

Ecco cosa succede in un ospedale moderno. Arriva un paziente. Vengono registrati i parametri vitali — inclusa quella lettura del pulsossimetro. Quei parametri vitali confluiscono nella cartella clinica elettronica. E sempre più spesso un sistema di IA osserva quel flusso di dati, cercando pattern che suggeriscano un deterioramento: sepsi, insufficienza respiratoria, eventi cardiaci.

Se la soglia dell'IA per un'allerta ad "alta priorità" è una SpO₂ inferiore al 92%, e il pulsossimetro di un paziente nero segna 93% quando il suo vero ossigeno arterioso è 88%, l'allerta non scatta mai. Il paziente non viene segnalato. Il clinico, che sta gestendo altri quindici pazienti e ha imparato a fidarsi del sistema, non interviene.

Non è un caso ipotetico. È l'architettura di centinaia di ospedali proprio in questo momento.

Ho passato una lunga serata a ragionare sulle implicazioni di questo con il mio cofondatore. Continuavamo a tornare alla stessa scomoda constatazione: la distorsione non è nell'algoritmo. È nell'input. E se costruisci il modello di IA più sofisticato, attento all'equità e perfettamente calibrato al mondo, e lo alimenti con dati provenienti da un termometro razzista, ottieni un'IA razzista con credenziali eccellenti.

Cosa succede quando l'IA per la sepsi più usata manca il 67% dei casi?

Se la storia del pulsossimetro riguarda la distorsione hardware che si riversa nel software, la storia dell'Epic Sepsis Model riguarda ciò che succede quando il software stesso non è mai stato costruito per funzionare per tutti.

L'Epic Sepsis Model, o ESM, è integrato nei sistemi di cartella clinica elettronica di centinaia di ospedali americani. È stato commercializzato come una svolta — un'IA in grado di individuare la sepsi prima che i clinici la riconoscessero, salvando vite grazie a un intervento precoce. Lo sviluppatore ha riportato un'Area Sotto la Curva (una metrica di prestazione standard) da 0,76 a 0,83. Numeri rispettabili.

Poi i ricercatori della Michigan Medicine hanno condotto una validazione esterna indipendente. L'AUC è scesa a 0,63. La sensibilità — la capacità del modello di catturare effettivamente i casi di sepsi — era del 33%. Mancava due casi su tre. Il valore predittivo positivo era del 12%, il che significa che l'88% delle sue allerte erano falsi allarmi. E segnalava i pazienti prima dei clinici solo nel 6% dei casi.

Voglio soffermarmi un momento su questo. Un sistema implementato in centinaia di ospedali, integrato nel flusso di lavoro su cui i medici fanno affidamento ogni giorno, sbagliava quasi nove volte su dieci quando lanciava un allarme, e mancava i casi reali due terzi delle volte.

Un modello per la sepsi con il 33% di sensibilità non è una rete di sicurezza. È un falso senso di sicurezza con un canone di abbonamento su scala ospedaliera.

Ma i numeri sulle prestazioni, per quanto pessimi, non sono la parte peggiore. La parte peggiore è chi manca.

Perché la rilevazione della sepsi tramite IA fallisce specificamente con i pazienti neri?

I pazienti neri e ispanici presentano un'incidenza di sepsi quasi doppia rispetto ai pazienti bianchi, e spesso si manifesta in età più giovane. Verrebbe da pensare che questo li renderebbe la popolazione a priorità più alta per un sistema di rilevazione basato sull'IA. Invece, gli studi hanno rilevato che modelli come l'ESM mostrano una scarsa calibrazione tra questi gruppi.

La ragione è qualcosa chiamato distorsione delle etichette, e una volta che l'hai capita, non riesci più a non vederla.

La maggior parte dei modelli per la sepsi viene addestrata su definizioni cliniche o codici di fatturazione. Quei codici sono generati da clinici umani che prendono decisioni umane. Se storicamente i medici sono più lenti a ordinare emocolture per i pazienti neri — che sia per pregiudizio implicito, barriere comunicative o fattori sistemici — allora i dati di addestramento riflettono quel ritardo. L'IA impara che la "sepsi" assomiglia alle firme nei dati dei pazienti bianchi, perché sono quelli i pazienti che sono stati diagnosticati prontamente. Diventa, di fatto, cieca alla manifestazione della sepsi nei pazienti neri.

E poi si chiude il ciclo di feedback letale: l'IA manca il paziente perché i dati storici erano distorti. Il clinico manca il paziente perché si è fidato di un'IA che non ha fatto scattare un'allerta.

Ho avuto una discussione con un potenziale investitore su questo. Ha detto: "Non potete semplicemente riaddestrare il modello su dati migliori?" Come se i "dati migliori" fossero da qualche parte in un magazzino, in attesa di essere collegati. I dati sono la storia. La storia è la distorsione. Non puoi correggere un set di dati distorto aggiungendo altri dati altrettanto distorti. Devi cambiare l'architettura.

50,3 decessi ogni 100.000: il numero che dovrebbe perseguitare l'IA sanitaria

Tutto ciò che ho descritto finora — le menzogne del pulsossimetro, i fallimenti del modello per la sepsi, la distorsione delle etichette — converge nel modo più devastante nella salute materna.

Il CDC riporta che le donne nere affrontano un tasso di mortalità legata alla gravidanza di 50,3 ogni 100.000 nati vivi. Donne bianche: 14,5. Non è un divario. È un abisso — 3,5 volte più alto. E persiste anche controllando per istruzione e reddito. Una donna nera con una laurea ha più probabilità di morire di parto rispetto a una donna bianca senza diploma di scuola superiore.

Il Maternal Data Center della California, uno degli ambienti di salute materna più ricchi di dati del Paese, ha rilevato che i sistemi automatizzati di allerta precoce mancavano il 40% dei casi di morbilità grave nei pazienti neri. Quaranta per cento. Si tratta di complicazioni potenzialmente letali — emorragia, preeclampsia, sepsi — che si verificano 100 volte più frequentemente della morte materna. L'IA avrebbe dovuto individuarle. Non l'ha fatto.

Parte della ragione riguarda ciò che i ricercatori chiamano effetto "weathering" (logoramento) — il costo fisiologico dello stress cronico causato dal razzismo sistemico. Le donne nere spesso presentano pressioni sanguigne di base più alte e risposte cardiovascolari alterate. Un'IA addestrata su medie di popolazione può interpretarle come "normali per questo paziente" invece di riconoscerle come segnali di allarme in un corpo sotto stress cronico.

Quando un sistema di allerta precoce basato sull'IA manca il 40% delle complicazioni gravi nelle madri nere, non è un guasto tecnico. È un sistema che si comporta esattamente come i suoi dati di addestramento gli hanno insegnato a fare — vale a dire, in modo iniquo.

Ed ecco il numero che dovrebbe far drizzare le orecchie a ogni dirigente sanitario: McKinsey stima che colmare il divario nella salute materna delle donne nere potrebbe aggiungere 24,4 miliardi di dollari al PIL degli Stati Uniti e far risparmiare 385 milioni di dollari all'anno in costi sanitari evitabili. Non è solo una crisi morale. È anche economica.

Le donne nere hanno una probabilità 1,79 volte maggiore di morire una volta che si è verificata una complicazione grave, rispetto alle donne bianche. Non si tratta di incidenza — si tratta di "mancato salvataggio". La complicazione si verifica, si apre la finestra per l'intervento, e il sistema non riesce ad agire in tempo. Quando l'IA non lancia l'allerta, e il clinico sta gestendo una dozzina di altri pazienti, quella finestra si chiude.

Perché ChatGPT non può risolvere questo problema?

Mi fanno continuamente questa domanda. Qualche versione di: "Perché non usare semplicemente GPT-4 con prompt medici? Sa molto di medicina."

Sa molto di medicina nello stesso modo in cui qualcuno che ha letto ogni manuale ma non ha mai toccato un paziente sa molto di medicina. Un LLM è un motore statistico addestrato su probabilità linguistiche. Non comprende la fisiopatologia. Non elabora i dati di forma d'onda in tempo reale da un monitor al letto del paziente. Non può dirti se una particolare lettura di SpO₂ sia affidabile dati la tonalità di pelle del paziente e lo specifico modello di dispositivo utilizzato.

Gli studi hanno rilevato che gli LLM raggiungevano solo il 16,7% di accuratezza negli aggiustamenti di dosaggio per la disfunzione renale quando le variabili specifiche del paziente erano complesse. Hanno allucinazioni — generano con sicurezza informazioni cliniche che suonano autorevoli e sono completamente inventate. Non possono fornire la catena di ragionamento trasparente di cui un clinico ha bisogno per verificare una raccomandazione, cosa che è sempre più un requisito normativo ai sensi del GDPR e delle regolamentazioni sanitarie statunitensi in evoluzione.

Il mercato dell'IA sanitaria è invaso da ciò che io chiamo applicazioni "wrapper" — interfacce sottili sopra API pubbliche generaliste. Vanno bene per redigere lettere di dimissione o riassumere note in cartella. Sono fondamentalmente inadeguate per decidere se una donna nera di 32 anni che si presenta con parametri vitali borderline necessiti di un intervento immediato o possa aspettare.

La distinzione è importante. Un wrapper prende un modello linguistico generalista e lo punta su una domanda medica. Un sistema di IA profonda — ciò che costruiamo in Veriprajna — integra segnali fisiologici in tempo reale, set di dati etichettati da esperti e vincoli matematici attenti all'equità nell'architettura del modello fin dalle fondamenta.

Uno di questi approcci può scrivere un paragrafo convincente sulla sepsi. L'altro può effettivamente rilevarla in modo equo.

Come si costruisce davvero un'IA clinica che non discrimini?

È qui che devo entrare un po' nel tecnico, perché la soluzione non è filosofica — è matematica. E la matematica è ciò che separa l'IA profonda dal vaporware ben intenzionato.

L'ottimizzazione tradizionale del machine learning minimizza l'errore medio sull'intero set di dati. Sembra ragionevole finché non ti rendi conto che la "media" favorisce naturalmente il gruppo maggioritario. Se il 70% dei tuoi dati di addestramento proviene da pazienti bianchi, il modello si ottimizzerà per i pazienti bianchi. I tassi di errore per tutti gli altri sono semplicemente... perdite accettabili nella media.

Noi non lo accettiamo. In Veriprajna implementiamo ciò che si chiama ottimizzazione della perdita del gruppo peggiore (worst-group loss). Invece di minimizzare l'errore medio, minimizziamo l'errore massimo tra tutti i sottogruppi demografici. Matematicamente, risolviamo per: minimizzare la perdita nel caso peggiore tra le popolazioni nere, bianche, ispaniche e altre simultaneamente. La ricerca nella rilevazione automatizzata della depressione ha dimostrato che, sebbene questo approccio possa abbassare leggermente l'accuratezza complessiva, migliora significativamente i risultati per i gruppi sottorappresentati che altrimenti vengono sistematicamente classificati in modo errato.

Applichiamo inoltre le equalized odds (probabilità equalizzate) — richiedendo che sia il tasso di veri positivi sia il tasso di falsi positivi siano uguali tra i gruppi demografici. Se un modello per la sepsi ha l'80% di sensibilità per i pazienti bianchi ma solo il 40% per i pazienti neri, sta fornendo un livello di cura diverso in base alla razza. Punto e basta. Non è un problema di prestazioni del modello. È una questione di diritti civili.

Per il quadro matematico completo — comprese le funzioni di perdita attente all'equità, il debiasing avversariale e il nostro approccio alla fusione multimodale dei segnali — ho esposto i dettagli tecnici nel nostro documento di ricerca.

Ma la matematica è solo uno strato. Ecco come appare l'intera architettura nella pratica:

Bisogna correggere gli input. Non trattiamo una lettura del pulsossimetro come verità assoluta. I nostri modelli fondono l'ossimetria con la variabilità della frequenza cardiaca, la frequenza respiratoria e gli andamenti del lattato. Se la frequenza cardiaca e il lattato di un paziente stanno salendo mentre la SpO₂ rimane sospettosamente stabile, il sistema segnala una discrepanza nel segnale e sollecita il clinico a ordinare un'emogasanalisi arteriosa — il gold standard. Trianguliamo il vero stato del paziente invece di fidarci di un singolo sensore distorto.

Bisogna correggere le etichette. Usiamo una verità di riferimento aggiudicata da esperti anziché codici di fatturazione. Quando tre esperti di sepsi esaminano indipendentemente un caso e concordano sulla cronologia della diagnosi, è un segnale di addestramento fondamentalmente diverso da un codice di fatturazione generato sei ore dopo che il paziente era già in terapia intensiva.

Bisogna validare localmente. Ogni implementazione inizia con un audit retrospettivo dei dati dell'istituzione stessa. Misuriamo qualcosa chiamato Population Stability Index (Indice di Stabilità della Popolazione) per quantificare quanto sia diversa la popolazione di pazienti locale dalla nostra coorte di addestramento. Se il divario è troppo grande, ricalibriamo prima di andare in produzione. Il crollo catastrofico delle prestazioni dell'Epic Sepsis Model — da 0,83 di AUC internamente a 0,63 esternamente — è ciò che succede quando si salta questo passaggio.

"Ma questo non rallenterà l'adozione dell'IA?"

Le persone me lo chiedono, e capisco l'impulso che c'è dietro. C'è una reale urgenza di portare l'IA nei flussi di lavoro clinici. Le persone muoiono mentre noi dibattiamo sulle metriche di equità.

Ma ecco cosa ho imparato: implementare velocemente un sistema di IA distorto non salva più vite. Salva alcune vite — in modo sproporzionato bianche, in modo sproporzionato benestanti — creando al contempo un falso senso di sicurezza che danneggia attivamente tutti gli altri. L'Epic Sepsis Model è stato implementato velocemente. È stato implementato ampiamente. E ha mancato due terzi dei casi di sepsi generando falsi allarmi l'88% delle volte. La velocità senza equità non è progresso. È negligenza su vasta scala.

L'altra obiezione che sento: "I vincoli di equità riducono l'accuratezza." Questo è tecnicamente vero nel senso più stretto — ottimizzare per le prestazioni del gruppo peggiore può abbassare leggermente la metrica aggregata. Ma l'"accuratezza aggregata" è lo stesso gioco di prestigio statistico che ha permesso alla crisi del pulsossimetro di perdurare per trent'anni. Quando il tuo 95% di accuratezza significa 95% per i pazienti bianchi e 62% per i pazienti neri, il numero aggregato è una menzogna.

Ottimizzare per l'accuratezza media nell'IA sanitaria è come riportare la temperatura media in un ospedale — non ti dice nulla sul paziente che sta andando a fuoco.

A cosa penso alle 2 del mattino

Penso al fatto che una donna nera su tre riferisce di essere stata maltrattata durante l'assistenza alla maternità. Penso al 40% dei casi di morbilità grave che i sistemi di IA della California hanno mancato nei pazienti neri. Penso al dito di mia figlia in quel morsetto del pulsossimetro, e al sorriso dell'infermiera, e al numero sullo schermo che sapevo essere probabilmente sbagliato.

E penso al fatto che abbiamo gli strumenti matematici per correggere tutto questo. Le funzioni di perdita attente all'equità esistono. La fusione multimodale dei segnali esiste. I framework di validazione locale esistono. L'ottimizzazione del gruppo peggiore esiste. Niente di tutto ciò è teorico. Lo abbiamo costruito. Altri team lo stanno costruendo. La conoscenza è qui.

Ciò che manca è la volontà. Troppi sistemi sanitari stanno acquistando soluzioni wrapper perché sono economiche e veloci. Troppi fornitori di IA stanno riportando l'accuratezza aggregata perché le scomposizioni per sottogruppo sarebbero imbarazzanti. Troppi enti regolatori stanno testando i dispositivi su dieci soggetti definendolo sufficiente.

La via da seguire non è complicata. Esigi metriche di prestazione per sottogruppo da ogni fornitore di IA — sensibilità, specificità e valore predittivo positivo scomposti per razza, età e sesso. Rifiuta le affermazioni di "99% di accuratezza" che non ti mostrano il denominatore. Richiedi una validazione esterna indipendente, non whitepaper dei fornitori. E smetti di trattare l'equità come una richiesta di funzionalità. È un requisito di progettazione.

Le madri nere muoiono a un tasso 3,5 volte superiore a quello delle madri bianche. I sistemi di IA costruiti su hardware distorto ed etichette distorte stanno peggiorando le cose. E ogni giorno in cui implementiamo un'altra soluzione wrapper senza chiederci per chi funziona e per chi no, stiamo scegliendo la convenienza al posto delle vite.

Non ho fondato Veriprajna per costruire l'ennesimo chatbot con un vocabolario medico. L'ho fondata perché credo che l'IA profonda — quella che interroga i propri input, impone l'equità matematicamente e valida localmente prima di toccare un solo paziente — sia l'unica tecnologia che merita di essere nella stanza quando la vita di qualcuno è in gioco.

La domanda non è se l'IA appartenga alla sanità. Sì, appartiene. La domanda è se abbiamo l'integrità di costruirla nel modo giusto.