De pulsoximeter op de vinger van mijn dochter loog — en de AI van jouw ziekenhuis doet dat ook

Mijn dochter had afgelopen voorjaar 40 graden koorts. We waren op de spoedeisende hulp en de verpleegkundige klemde een pulsoximeter op haar kleine bruine vinger. Het scherm gaf een zuurstofsaturatie van 97% aan. Normaal. De verpleegkundige glimlachte. Ik niet.

Ik wist — omdat ik maandenlang verdiept was geweest in de klinische literatuur voor een project bij Veriprajna — dat het apparaatje op haar vinger haar bloedzuurstof vrijwel zeker overschatte. Niet met een verwaarloosbare hoeveelheid. Genoeg om ertoe te doen. Onderzoek gepubliceerd in het New England Journal of Medicine en het British Medical Journal heeft aangetoond dat zwarte patiënten bijna drie keer meer kans hebben op wat clinici "occulte hypoxemie" noemen — een toestand waarbij het apparaat zegt dat het goed met je gaat terwijl je werkelijke zuurstofniveaus gevaarlijk laag zijn. Uit een Vanderbilt-studie uit 2024 bleek dat gangbare pulsoximeters een laag zuurstofgehalte niet detecteerden bij 7% van de kinderen met de donkerste huidtinten. Bij kinderen met de lichtste tinten misten ze geen enkel geval.

Ik keek naar dat kleine oplichtende getal op het scherm en dacht: hier begint het. Niet met een kwaadaardig algoritme. Niet met een bevooroordeelde dataset. Met een stuk hardware van 30 dollar dat op witte huid is gekalibreerd en al dertig jaar over iedereen anders liegt.

Die nacht veranderde hoe ik denk over alles wat we bij Veriprajna bouwen. Het is de reden dat ik ons onderzoek naar algoritmische gelijkheid in klinische AI heb geschreven, en het is de reden dat ik dit nu schrijf.

Waarom werkt jouw pulsoximeter anders op een donkere huid?

De fysica is bijna beledigend eenvoudig. Een pulsoximeter schijnt rood en infrarood licht door je vinger en meet hoeveel ervan wordt geabsorbeerd. Geoxygeneerd hemoglobine en gedeoxygeneerd hemoglobine absorberen licht in verschillende verhoudingen, en het apparaat gebruikt die verhouding om je bloedzuurstofniveau te schatten.

Hier zit het probleem: melanine absorbeert ook licht over precies diezelfde golflengtes. Als je het apparaat voornamelijk kalibreert op mensen met een lichtere huid — wat fabrikanten deden, en tot voor kort eiste de FDA slechts tests op in totaal tien proefpersonen — dan wordt de extra absorptie door melanine in een donkere huid verkeerd afgelezen. Het apparaat interpreteert dit als meer geoxygeneerd hemoglobine dan er werkelijk is. Je getal ziet er hoger uit dan de werkelijkheid.

Dit is geen subtiele academische bevinding. Het percentage vals-negatieven bij het detecteren van laag zuurstofgehalte varieert van 1,2% tot 26,9% bij lichtere huidtinten. Bij donkerdere huidtinten springt het naar 7,6% tot 62,2%. Dat is geen afrondingsfout. Dat is een andere medische realiteit.

Wanneer het apparaat op je vinger 97% aangeeft, en je werkelijke arteriële zuurstof 88% is, krijg je geen extra zuurstof. Je krijgt geen opgeschaalde zorg. Je wordt naar huis gestuurd.

Ik herinner me dat ik in een teamvergadering zat nadat ik deze gegevens had verzameld, en een van onze engineers — een briljante kerel, iemand die ik volledig vertrouw — zei: "Maar de AI-modellen verderop corrigeren hier toch zeker voor?" En ik besefte dat dat precies de aanname was die mensen het leven kostte. De AI corrigeert er niet voor. De AI versterkt het.

De cascade waar niemand over praat

Dit is wat er in een modern ziekenhuis gebeurt. Er arriveert een patiënt. Vitale functies worden geregistreerd — inclusief die pulsoximeterwaarde. Die vitale functies stromen het Elektronisch Patiëntendossier in. En in toenemende mate bewaakt een AI-systeem die datastroom, op zoek naar patronen die op verslechtering wijzen: sepsis, ademhalingsfalen, cardiale voorvallen.

Als de drempel van de AI voor een waarschuwing met "hoge prioriteit" een SpO₂ onder 92% is, en de oximeter van een zwarte patiënt 93% aangeeft terwijl hun werkelijke arteriële zuurstof 88% is, gaat het alarm nooit af. De patiënt wordt niet gemarkeerd. De clinicus, die vijftien andere patiënten onder zich heeft en heeft geleerd het systeem te vertrouwen, grijpt niet in.

Dit is geen hypothese. Dit is op dit moment de architectuur van honderden ziekenhuizen.

Ik heb een lange avond doorgebracht met het uitwerken van de implicaties hiervan met mijn medeoprichter. We kwamen steeds terug op hetzelfde ongemakkelijke besef: de vertekening zit niet in het algoritme. Ze zit in de invoer. En als je het meest geavanceerde, eerlijkheidsbewuste, perfect gekalibreerde AI-model ter wereld bouwt, en je voedt het met gegevens van een racistische thermometer, dan krijg je een racistische AI met uitstekende referenties.

Wat gebeurt er als de meestgebruikte sepsis-AI 67% van de gevallen mist?

Als het verhaal van de pulsoximeter gaat over hardwarevertekening die in software terechtkomt, dan gaat het verhaal van het Epic Sepsis Model over wat er gebeurt wanneer de software zelf nooit is gebouwd om voor iedereen te werken.

Het Epic Sepsis Model, of ESM, is geïntegreerd in de EPD-systemen van honderden Amerikaanse ziekenhuizen. Het werd op de markt gebracht als een doorbraak — een AI die sepsis kon identificeren voordat clinici het herkenden, en zo levens redde door vroegtijdig ingrijpen. De ontwikkelaar rapporteerde een Area Under the Curve (een standaard prestatiemaat) van 0,76 tot 0,83. Respectabele cijfers.

Toen voerden onderzoekers bij Michigan Medicine een onafhankelijke externe validatie uit. De AUC daalde naar 0,63. De sensitiviteit — het vermogen van het model om sepsisgevallen daadwerkelijk op te sporen — was 33%. Het miste twee op de drie gevallen. De positief voorspellende waarde was 12%, wat betekent dat 88% van de waarschuwingen loze alarmen waren. En het markeerde patiënten slechts in 6% van de gevallen eerder dan clinici deden.

Ik wil daar even bij stilstaan. Een systeem dat in honderden ziekenhuizen is ingezet, geïntegreerd in de werkstroom waar artsen elke dag op vertrouwen, had bijna negen van de tien keer ongelijk wanneer het alarm sloeg, en het miste de echte gevallen twee derde van de tijd.

Een sepsismodel met 33% sensitiviteit is geen vangnet. Het is een vals gevoel van veiligheid met een ziekenhuisbrede abonnementsprijs.

Maar de prestatiecijfers, hoe slecht ze ook zijn, zijn niet het ergste. Het ergste is wie het in de steek laat.

Waarom faalt AI-sepsisdetectie specifiek bij zwarte patiënten?

Zwarte en Hispanic patiënten kennen bijna een verdubbeling van de incidentie van sepsis vergeleken met witte patiënten, en ze presenteren zich vaak op jongere leeftijd. Je zou denken dat dat hen tot de populatie met de hoogste prioriteit voor een AI-detectiesysteem zou maken. In plaats daarvan hebben studies aangetoond dat modellen zoals het ESM een slechte kalibratie vertonen over deze groepen.

De reden is iets dat labelvertekening heet, en zodra je het begrijpt, kun je het niet meer ontzien.

De meeste sepsismodellen worden getraind op klinische definities of declaratiecodes. Die codes worden gegenereerd door menselijke clinici die menselijke beslissingen nemen. Als artsen van oudsher trager zijn met het aanvragen van bloedkweken voor zwarte patiënten — of dat nu door impliciete vooroordelen, communicatiebarrières of systemische factoren is — dan weerspiegelen de trainingsgegevens die vertraging. De AI leert dat "sepsis" eruitziet als de datahandtekeningen van witte patiënten, omdat dat de patiënten zijn die snel gediagnosticeerd werden. Het wordt in feite blind voor de presentatie van sepsis bij zwarte patiënten.

En dan sluit de dodelijke terugkoppelingslus zich: de AI mist de patiënt omdat de historische gegevens bevooroordeeld waren. De clinicus mist de patiënt omdat hij vertrouwde op een AI die geen alarm sloeg.

Ik heb hier een discussie over gehad met een potentiële investeerder. Hij zei: "Kun je het model niet gewoon opnieuw trainen op betere gegevens?" Alsof "betere gegevens" ergens in een magazijn lagen te wachten om aangesloten te worden. De gegevens zíjn de geschiedenis. De geschiedenis ís de vertekening. Je kunt een bevooroordeelde dataset niet repareren door er meer van dezelfde bevooroordeelde gegevens aan toe te voegen. Je moet de architectuur veranderen.

50,3 sterfgevallen per 100.000: het getal dat de gezondheidszorg-AI zou moeten achtervolgen

Alles wat ik tot nu toe heb beschreven — de leugens van de oximeter, de tekortkomingen van het sepsismodel, de labelvertekening — komt het meest verwoestend samen in de moederzorg.

De CDC rapporteert dat zwarte vrouwen te maken hebben met een zwangerschapsgerelateerde sterfte van 50,3 per 100.000 levendgeborenen. Witte vrouwen: 14,5. Dat is geen kloof. Dat is een afgrond — 3,5 keer hoger. En hij blijft bestaan, zelfs als je corrigeert voor opleiding en inkomen. Een zwarte vrouw met een universitair diploma heeft meer kans om te sterven tijdens de bevalling dan een witte vrouw zonder middelbareschooldiploma.

Het Maternal Data Center van Californië, een van de meest datarijke omgevingen voor moederzorg in het land, ontdekte dat geautomatiseerde vroegtijdige waarschuwingssystemen 40% van de gevallen van ernstige morbiditeit bij zwarte patiënten misten. Veertig procent. Dit zijn levensbedreigende complicaties — bloedingen, pre-eclampsie, sepsis — die 100 keer vaker voorkomen dan moedersterfte. De AI werd verondersteld ze op te sporen. Dat deed hij niet.

Een deel van de reden heeft te maken met wat onderzoekers het "weathering"-effect noemen — de fysiologische tol van chronische stress veroorzaakt door systemisch racisme. Zwarte vrouwen presenteren zich vaak met hogere basisbloeddrukken en veranderde cardiovasculaire reacties. Een AI die is getraind op populatiegemiddelden kan deze interpreteren als "normaal voor deze patiënt" in plaats van ze te herkennen als waarschuwingssignalen in een lichaam onder chronische druk.

Wanneer een AI-vroegtijdig-waarschuwingssysteem 40% van de ernstige complicaties bij zwarte moeders mist, is dat geen technische storing. Het is een systeem dat exact presteert zoals de trainingsgegevens het hebben geleerd — wat wil zeggen: op een ongelijke manier.

En hier is het getal dat elke bestuurder in de gezondheidszorg zou moeten doen opletten: McKinsey schat dat het dichten van de kloof in de moederzorg voor zwarte vrouwen 24,4 miljard dollar aan het Amerikaanse bbp zou kunnen toevoegen en 385 miljoen dollar aan jaarlijkse vermijdbare zorgkosten zou kunnen besparen. Dit is niet alleen een morele crisis. Het is ook een economische.

Zwarte vrouwen hebben 1,79 keer meer kans om te overlijden zodra een ernstige complicatie is opgetreden, vergeleken met witte vrouwen. Dat gaat niet over incidentie — het gaat over "failure to rescue". De complicatie treedt op, het venster voor ingrijpen opent zich, en het systeem faalt om op tijd te handelen. Wanneer de AI geen alarm slaat, en de clinicus een dozijn andere patiënten onder zich heeft, sluit dat venster zich.

Waarom kan ChatGPT dit niet oplossen?

Ik krijg deze vraag voortdurend. Een of andere variant van: "Waarom gebruik je niet gewoon GPT-4 met medische prompts? Het weet veel over geneeskunde."

Het weet inderdaad veel over geneeskunde, op dezelfde manier waarop iemand die elk studieboek heeft gelezen maar nooit een patiënt heeft aangeraakt veel weet over geneeskunde. Een LLM is een statistische machine getraind op taalkansen. Het begrijpt geen pathofysiologie. Het verwerkt geen realtime golfvormgegevens van een bedmonitor. Het kan je niet vertellen of een bepaalde SpO₂-waarde betrouwbaar is gezien de huidtint van de patiënt en het specifieke apparaatmodel dat wordt gebruikt.

Studies wezen uit dat LLM's slechts 16,7% nauwkeurigheid bereikten bij doseringsaanpassingen voor nierdisfunctie wanneer patiëntspecifieke variabelen complex waren. Ze hallucineren — genereren met stelligheid klinische informatie die gezaghebbend klinkt en volledig verzonnen is. Ze kunnen niet de transparante redeneerketen leveren die een clinicus nodig heeft om een aanbeveling te verifiëren, wat in toenemende mate een wettelijke vereiste is onder de AVG en zich ontwikkelende Amerikaanse gezondheidsregelgeving.

De markt voor gezondheidszorg-AI wordt overspoeld met wat ik "wrapper"-applicaties noem — dunne interfaces bovenop gegeneraliseerde publieke API's. Ze zijn prima voor het opstellen van ontslagbrieven of het samenvatten van dossieraantekeningen. Ze zijn fundamenteel ontoereikend om te beslissen of een 32-jarige zwarte vrouw die zich presenteert met grenswaarden onmiddellijk moet worden behandeld of kan wachten.

Het onderscheid doet ertoe. Een wrapper neemt een taalmodel voor algemeen gebruik en richt het op een medische vraag. Een diep AI-systeem — zoals wij bij Veriprajna bouwen — integreert realtime fysiologische signalen, door experts gelabelde datasets en eerlijkheidsbewuste wiskundige beperkingen vanaf de basis in de architectuur van het model.

Een van deze benaderingen kan een overtuigende alinea over sepsis schrijven. De andere kan het daadwerkelijk op een gelijke manier detecteren.

Hoe bouw je in de praktijk klinische AI die niet discrimineert?

Hier moet ik een beetje technisch worden, want de oplossing is niet filosofisch — ze is wiskundig. En de wiskunde is wat diepe AI onderscheidt van goedbedoelde vaporware.

Traditionele optimalisatie in machine learning minimaliseert de gemiddelde fout over de gehele dataset. Dat klinkt redelijk totdat je beseft dat "gemiddeld" van nature de meerderheidsgroep begunstigt. Als 70% van je trainingsgegevens van witte patiënten komt, zal het model optimaliseren voor witte patiënten. De foutmarges voor alle anderen zijn gewoon... aanvaardbare verliezen in het gemiddelde.

Dat accepteren wij niet. Bij Veriprajna passen we toe wat worst-group loss-optimalisatie heet. In plaats van de gemiddelde fout te minimaliseren, minimaliseren we de maximale fout over alle demografische subgroepen. Wiskundig gezien lossen we op: minimaliseer het worstcaseverlies over zwarte, witte, Hispanic en andere populaties tegelijkertijd. Onderzoek naar geautomatiseerde depressiedetectie heeft aangetoond dat hoewel deze benadering de algehele nauwkeurigheid enigszins kan verlagen, ze de uitkomsten aanzienlijk verbetert voor ondervertegenwoordigde groepen die anders systematisch verkeerd worden geclassificeerd.

We handhaven ook equalized odds — waarbij zowel het percentage terecht-positieven als het percentage vals-positieven gelijk moet zijn over demografische groepen. Als een sepsismodel 80% sensitiviteit heeft voor witte patiënten maar slechts 40% voor zwarte patiënten, dan biedt het een ander niveau van zorg op basis van ras. Punt uit. Dat is geen kwestie van modelprestatie. Dat is een kwestie van burgerrechten.

Voor het volledige wiskundige raamwerk — inclusief eerlijkheidsbewuste verliesfuncties, adversarial debiasing, en onze benadering van multimodale signaalfusie — heb ik de technische details uiteengezet in onze onderzoekspaper.

Maar de wiskunde is slechts één laag. Zo ziet de volledige architectuur er in de praktijk uit:

Je moet de invoer repareren. Wij behandelen een pulsoximeterwaarde niet als grondwaarheid. Onze modellen combineren oximetrie met hartslagvariabiliteit, ademhalingsfrequentie en lactaattrends. Als de hartslag en het lactaat van een patiënt stijgen terwijl de SpO₂ verdacht stabiel blijft, markeert het systeem een signaaldiscrepantie en zet het de clinicus aan om een arteriële bloedgasanalyse aan te vragen — de gouden standaard. We trianguleren de werkelijke toestand van de patiënt in plaats van te vertrouwen op één bevooroordeelde sensor.

Je moet de labels repareren. We gebruiken door experts beoordeelde grondwaarheid in plaats van declaratiecodes. Wanneer drie sepsisexperts een geval onafhankelijk beoordelen en het eens worden over de diagnosetijdlijn, is dat een fundamenteel ander trainingssignaal dan een declaratiecode die zes uur nadat de patiënt al op de intensive care lag werd gegenereerd.

Je moet lokaal valideren. Elke implementatie begint met een retrospectieve audit van de eigen gegevens van de instelling. We meten iets dat de Population Stability Index heet om te kwantificeren hoezeer de lokale patiëntenpopulatie verschilt van ons trainingscohort. Als de kloof te groot is, herkalibreren we voordat we live gaan. De catastrofale prestatiedaling van het Epic Sepsis Model — van 0,83 AUC intern naar 0,63 extern — is wat er gebeurt wanneer je deze stap overslaat.

"Maar vertraagt dit de adoptie van AI niet?"

Mensen stellen me dit, en ik begrijp de drijfveer erachter. Er is een reële urgentie om AI in klinische werkstromen te krijgen. Er sterven mensen terwijl wij over eerlijkheidsmaatstaven debatteren.

Maar dit is wat ik heb geleerd: het snel inzetten van een bevooroordeeld AI-systeem redt niet meer levens. Het redt sommige levens — onevenredig wit, onevenredig welvarend — terwijl het een vals gevoel van veiligheid creëert dat iedereen anders actief schaadt. Het Epic Sepsis Model werd snel ingezet. Het werd op grote schaal ingezet. En het miste twee derde van de sepsisgevallen terwijl het 88% van de tijd loze alarmen genereerde. Snelheid zonder gelijkheid is geen vooruitgang. Het is nalatigheid op grote schaal.

Het andere bezwaar dat ik hoor: "Eerlijkheidsbeperkingen verminderen de nauwkeurigheid." Dit is technisch gezien waar in de meest enge betekenis — optimaliseren voor worst-group-prestatie kan de totaalmaat enigszins verlagen. Maar "totaalnauwkeurigheid" is dezelfde statistische goocheltruc waardoor de pulsoximetercrisis dertig jaar kon voortduren. Wanneer je 95% nauwkeurigheid 95% voor witte patiënten en 62% voor zwarte patiënten betekent, is het totaalcijfer een leugen.

Optimaliseren voor gemiddelde nauwkeurigheid in gezondheidszorg-AI is als het rapporteren van de gemiddelde temperatuur in een ziekenhuis — het zegt je niets over de patiënt die in brand staat.

Waar ik om 2 uur 's nachts aan denk

Ik denk aan het feit dat een op de drie zwarte vrouwen meldt slecht behandeld te zijn tijdens de zorg rondom de bevalling. Ik denk aan de 40% van de gevallen van ernstige morbiditeit die de AI-systemen van Californië bij zwarte patiënten misten. Ik denk aan de vinger van mijn dochter in die pulsoximeterklem, en de glimlach van de verpleegkundige, en het getal op het scherm waarvan ik wist dat het waarschijnlijk verkeerd was.

En ik denk aan het feit dat we de wiskundige instrumenten hebben om dit op te lossen. Eerlijkheidsbewuste verliesfuncties bestaan. Multimodale signaalfusie bestaat. Kaders voor lokale validatie bestaan. Worst-group-optimalisatie bestaat. Niets hiervan is theoretisch. Wij hebben het gebouwd. Andere teams bouwen het. De kennis is er.

Wat ontbreekt is de wil. Te veel gezondheidssystemen kopen wrapperoplossingen omdat ze goedkoop en snel zijn. Te veel AI-leveranciers rapporteren totaalnauwkeurigheid omdat uitsplitsingen naar subgroepen gênant zouden zijn. Te veel toezichthouders testen apparaten op tien proefpersonen en noemen dat voldoende.

De weg vooruit is niet ingewikkeld. Eis prestatiemaatstaven per subgroep van elke AI-leverancier — sensitiviteit, specificiteit en positief voorspellende waarde, uitgesplitst naar ras, leeftijd en geslacht. Wijs claims van "99% nauwkeurigheid" af die je de noemer niet laten zien. Vereis onafhankelijke externe validatie, geen whitepapers van leveranciers. En stop met eerlijkheid te behandelen als een functieverzoek. Het is een ontwerpvereiste.

Zwarte moeders sterven 3,5 keer zo vaak als witte moeders. AI-systemen gebouwd op bevooroordeelde hardware en bevooroordeelde labels maken het erger. En elke dag dat we weer een wrapperoplossing inzetten zonder ons af te vragen voor wie hij werkt en voor wie niet, kiezen we gemak boven levens.

Ik ben Veriprajna niet begonnen om nog een chatbot met een medisch vocabulaire te bouwen. Ik ben het begonnen omdat ik geloof dat diepe AI — het soort dat zijn eigen invoer bevraagt, gelijkheid wiskundig afdwingt en lokaal valideert voordat het ook maar één patiënt aanraakt — de enige technologie is die het verdient om in de kamer te zijn wanneer iemands leven op het spel staat.

De vraag is niet of AI thuishoort in de gezondheidszorg. Dat doet het. De vraag is of we de integriteit hebben om het goed te bouwen.