Het algoritme dat stervende patiënten zorg weigerde — en wat het mij leerde over AI bouwen die niet dodelijk is

Ik zat eind 2024 in een vergaderruimte toen een collega een cijfer op haar laptop opzocht en het scherm naar mij toe draaide. "Heb je dit gezien?"

Het was het percentage bezwaren dat werd teruggedraaid bij het nH Predict-algoritme van UnitedHealth Group — het AI-systeem dat hun dochteronderneming NaviHealth gebruikte om te bepalen wanneer Medicare-patiënten moesten worden afgesneden van postacute zorg. Gespecialiseerde verpleging. Revalidatie. Het soort zorg dat voorkomt dat een 82-jarige na een beroerte naar een leeg appartement wordt teruggestuurd.

Het getal was 90%.

Negen van de tien keer dat een menselijke beoordelaar het besluit van het algoritme om dekking te weigeren daadwerkelijk toetste, draaide hij het terug. De AI had negen van de tien keer ongelijk. En UnitedHealth wist dat. Ze wisten het omdat slechts 0,2% van de patiënten — ouderen, mensen met een beperking, mensen met cognitieve stoornissen — er ooit in slaagde bezwaar aan te tekenen. Het systeem was niet ontworpen om accuraat te zijn. Het was ontworpen om onaanvechtbaar.

Die avond klapte ik mijn laptop dicht en kon ik niet slapen. Niet omdat de technologie me verraste — ik bouw al jaren AI-systemen en ik begrijp hoe op correlatie gebaseerde modellen falen. Wat me wakker hield, was iets lelijkers: dit was geen bug. Het was een businessmodel. En het was het logische eindpunt van een hele filosofie rond enterprise-AI die mijn sector al een half decennium opgewekt promoot.

Ik leid Veriprajna, een bedrijf dat is gebouwd op de premisse dat AI in domeinen met hoge inzet fundamenteel anders moet zijn dan de chatbots en contentgeneratoren die het gesprek domineren. De UnitedHealth-crisis bevestigde die premisse niet alleen. Ze radicaliseerde haar.

Een miljardenalgoritme dat een stervende vrouw niet kon zien

Laat me je vertellen over Carol Clemens, want de cijfers betekenen niets zonder haar.

Carol had methemoglobinemie — een levensbedreigende bloedaandoening waarbij je bloed geen zuurstof goed kan transporteren. Na een ernstige episode verbleef ze in een gespecialiseerde verpleeginstelling waar ze de revalidatie kreeg die ze nodig had om te overleven. Het soort zorg dat Medicare zou moeten dekken.

Toen genereerde nH Predict een "streefdatum voor ontslag." Het algoritme, getraind op 6 miljoen patiëntendossiers, had Carols diagnose vergeleken met historische uitkomsten en besloten dat ze klaar was. Ongeacht dat haar zuurstofgehalte in het bloed nog steeds levensbedreigend laag was. Ongeacht dat haar behandelaars zeiden dat ze meer tijd nodig had. Het model had gesproken.

Haar familie betaalde $16.768 uit eigen zak om haar in zorg te houden. Ze hadden geluk — ze hadden de middelen. De meeste patiënten in Carols situatie hadden die niet.

Dit is wat me aan deze zaak achtervolgt: nH Predict was geen op zichzelf staand experiment. UnitedHealths Optum-divisie betaalde meer dan $1 miljard om NaviHealth en zijn algoritme over te nemen. Dit was een vlaggenschipproduct bij een bedrijf dat voor 2025 een omzet van $340 miljard verwachtte. De duurste AI-implementatie in de geschiedenis van de gezondheidszorg, en het kon geen onderscheid maken tussen een statistisch gemiddelde en een vrouw die stikte.

Waarom had het algoritme 90% van de tijd ongelijk?

Dit is de vraag die iedereen stelt, en het antwoord is bedrieglijk eenvoudig. nH Predict was een correlatiemachine die zich voordeed als een klinisch hulpmiddel.

Het nam patiëntendossiers op en vond patronen: patiënten met diagnose X blijven doorgaans Y dagen. Dat is het. Dat is de hele truc. Het modelleerde niet waarom patiënten verschillende zorgduren nodig hebben. Het hield geen rekening met de vraag of iemand thuis een mantelzorger had, of ze financieel stabiel genoeg waren om poliklinische behandeling te bekostigen, of ze specifieke complicaties hadden die hun geval anders maakten dan het statistisch gemiddelde.

Een model dat je vertelt "dit soort patiënten vertrekt meestal binnen 14 dagen" is niet hetzelfde als een model dat begrijpt waarom deze specifieke patiënt 21 dagen nodig heeft. Het eerste is een spreadsheet met extra stappen. Het tweede is intelligentie.

Deze discussie heb ik vaker met andere oprichters gevoerd dan ik kan tellen. "Maar het model is gemiddeld accuraat!" zeggen ze dan. Zeker. En een rivier is gemiddeld vier voet diep, wat geen troost is voor degene die verdronk in het gedeelte van acht voet.

De technische term voor wat nH Predict ontbrak, is causaal redeneren — het vermogen om van "wat er meestal gebeurt" naar "wat er zou gebeuren als we deze variabele veranderden" te gaan. Een causaal model zou vragen: wat gebeurt er met het hersteltraject van Carol Clemens als we op dag 14 de gespecialiseerde verpleging stopzetten? Krijgt ze een terugval? Sterft ze? Een correlatiemodel vraagt dat niet. Het kan het niet. Het is er niet voor gebouwd.

Ik schreef uitgebreid over dit onderscheid in de interactieve versie van ons onderzoek, omdat ik denk dat het het allerbelangrijkste concept is dat leiders van ondernemingen op dit moment over AI moeten begrijpen.

De regel van 3% naar 1% — Of: hoe je verpleegkundigen verandert in stempelmachines

De onnauwkeurigheid van het algoritme was al erg genoeg. Wat UnitedHealth ermee deed, was erger.

Getuigenverklaringen van klokkenluiders onthulden dat managers van NaviHealth strikte nalevingsdoelstellingen oplegden aan hun klinisch personeel. Casemanagers — verpleegkundigen, artsen, mensen die tientallen jaren hadden geleerd om de behoeften van patiënten te beoordelen — kregen te horen dat ze de werkelijke verblijfsduur van patiënten binnen een variantie van 3% van wat nH Predict ook maar voorspelde.

Vervolgens verscherpten ze het tot 1%.

Denk na over wat dat in de praktijk betekent. Je bent verpleegkundige. Je hebt een patiënt onderzocht. Je weet, op basis van jarenlange ervaring en het klinische bewijs dat voor je ligt, dat deze persoon nog niet klaar is om naar huis te gaan. Maar het algoritme zegt dag 14, en je manager zegt dat je dag 14 moet halen, plus of min een fractie van een dag, anders volgen er disciplinaire maatregelen. Misschien ontslag.

Wat doe je?

De meesten schikten zich. Niet omdat ze slechte behandelaars waren, maar omdat het systeem zo was ontworpen dat naleving de enige overleefbare optie was. Zorgcoördinatoren kregen de instructie om hun voortgangsbeoordelingen zo te timen dat ze precies samenvielen met de door het algoritme voorspelde ontslagdatum — waarmee de klinische tijdlijn werd afgestemd op het model in plaats van op de patiënt.

Ik herinner me dat ik dit beschreef aan een vriend die in de luchtvaartveiligheid werkt, en hij werd bleek. "Dat is alsof je piloten zegt dat ze moeten landen op basis van het vluchtplan, ongeacht de weersomstandigheden," zei hij. "Je zou nooit meer vliegen."

Wanneer behandelaars disciplinair worden bestraft voor het negeren van een gebrekkig algoritme, heb je geen "human-in-the-loop." Je hebt een mensvormige stempelmachine.

Dit is wat ik algoritmische dwang noem, en het is het faalscenario dat me het meest beangstigt — niet omdat de AI autonoom is, maar omdat het een omgeving creëert waarin mensen worden gestraft voor het uitoefenen van het oordeelsvermogen dat de AI mist.

Wat gebeurde er op 13 februari 2025 in de rechtszaal?

De collectieve rechtszaak — Estate of Gene B. Lokken v. UnitedHealth Group — bereikte een keerpunt toen federaal districtsrechter John Tunheim oordeelde dat de zaak door kon gaan. Dit is enorm belangrijk, en niet alleen voor UnitedHealth.

De rechtbank stelde vast dat UHC's eigen polisdocumenten beloofden dat dekkingsbeslissingen zouden worden genomen door "klinisch dienstverlenend personeel" en "artsen." Door die mensen te vervangen door een algoritme dat de uitkomsten in feite dicteerde, verbrak UnitedHealth mogelijk zijn contract met elke polishouder.

Nog belangrijker: de rechter verwierp de eis dat patiënten eerst alle administratieve bezwaarprocedures moesten uitputten voordat ze een rechtszaak aanspanden. Normaal gesproken moeten Medicare-begunstigden meerdere niveaus van bureaucratische beoordeling doorlopen voordat ze naar de rechter kunnen stappen. Maar Tunheim keek naar het foutpercentage van 90%, keek naar het bezwaarpercentage van 0,2%, en zei in wezen: we gaan stervende mensen niet dwingen deel te nemen aan een systeem dat tegen hen is opgezet.

Die uitspraak zou verplichte kost moeten zijn voor elke bestuurder die AI inzet in een gereguleerde sector. Het rechtssysteem is niet langer bereid om algoritmisch disfunctioneren te behandelen als een procesprobleem dat patiënten zelf moeten oplossen.

Waarom "wrapper-AI" een tikkende tijdbom is in de gezondheidszorg

Hier moet ik ronduit zijn over mijn eigen sector, want het verhaal van UnitedHealth is geen op zichzelf staand incident. Het is het meest zichtbare symptoom van een structureel probleem.

De afgelopen drie jaar is de markt voor enterprise-AI overspoeld met wat ik wrapper-oplossingen noem — bedrijven die een bestaand groot taalmodel nemen, het inpakken in een aangepaste interface, het misschien fijnafstemmen op wat domeinspecifieke data, en het verkopen als een AI-product voor de gezondheidszorg. Of een AI-product voor verzekeringen. Of een AI-product voor compliance.

Deze wrappers delen elke kwetsbaarheid die nH Predict gevaarlijk maakte:

Het zijn black boxes. Je kunt de redenering achter een individuele beslissing niet controleren, wat betekent dat je systematische vertekening niet kunt onderscheppen totdat die al duizenden mensen heeft geschaad.

Ze erven de vertekeningen van hun basismodellen. Als de trainingsdata historische discriminatiepatronen weerspiegelt — en in de gezondheidszorg is dat altijd zo — reproduceert de wrapper die patronen getrouw.

Ze hebben geen causaal begrip. Ze voorspellen op basis van statistische correlatie, wat betekent dat ze optimaliseren voor "wat er meestal gebeurt" in plaats van "wat er voor deze patiënt zou moeten gebeuren."

En cruciaal: ze zijn niet verdedigbaar. Elke concurrent kan dezelfde wrapper bouwen op hetzelfde basismodel. Er is geen eigen intelligentie, geen uniek inzicht — alleen een dunne laag automatisering over andermans motor.

De wrappereconomie in AI voor de gezondheidszorg bouwt op zand. Wanneer het regelgevingstij opkomt — en het komt snel — worden bedrijven zonder diepe, verklaarbare, causaal gefundeerde systemen weggespoeld.

Ik zeg dit niet omdat Veriprajna concurreert met wrapperbedrijven (al doen we dat wel). Ik zeg het omdat ik heb gezien wat er gebeurt wanneer deze systemen in productie falen, en de kloof tussen "demo-klaar" en "klinisch veilig" is een afgrond die wrappers niet kunnen overbruggen.

Hoe wil de FDA dat AI bewijst dat het betrouwbaar is?

In januari 2025 bracht de FDA een conceptrichtlijn uit die een 7-stappen-geloofwaardigheidsbeoordelingskader voor AI-modellen die worden gebruikt bij medische en regelgevende besluitvorming vaststelde. Ik heb weken met dit document doorgebracht, en het is het meest ingrijpende stuk AI-regelgeving dat ik heb gezien.

Het kader eist dat elke AI-implementatie duidelijk definieert welke exacte vraag ze beantwoordt, haar rol in de klinische workflow specificeert, beoordeelt wat er gebeurt als ze het mis heeft, en vervolgens — met rigoureuze tests — bewijst dat ze geschikt is voor dat specifieke doel.

nH Predict zou bij elke stap zijn gezakt. Het had geen duidelijke definitie van zijn klinische rol. De risicobeoordeling negeerde de levensbedreigende gevolgen van geweigerde zorg. De "validatie" optimaliseerde voor kostenbeheersing, niet voor patiëntuitkomsten.

Ondertussen classificeerde de EU AI Act in 2025 AI voor de gezondheidszorg als "Hoog Risico", met verplichte transparantieverklaringen en menselijk toezicht. Boetes voor niet-naleving lopen op tot 7% van de wereldwijde omzet. Voor een bedrijf van de omvang van UnitedHealth is dat geen boete — het is een existentiële bedreiging.

De Wereldgezondheidsorganisatie is verder gegaan en richt zich specifiek op wat zij automatiseringsbias noemt — de neiging van behandelaars om zich neer te leggen bij een algoritme, zelfs wanneer het hun eigen klinische oordeel tegenspreekt. Dit is precies wat er bij NaviHealth gebeurde. De richtlijn van de WHO uit 2024 waarschuwt dat overmatig vertrouwen op AI kan leiden tot een "achteruitgang van vaardigheden" bij artsen die stoppen met kritisch beoordelen.

Voor de volledige technische uiteenzetting van deze regelgevingskaders en hoe ze van toepassing zijn op de inzet van enterprise-AI, zie onze onderzoekspaper.

De nacht waarop ik besefte dat verklaarbaarheid niet optioneel is

Er is een moment in de reis van elke oprichter waarop een abstract principe voelbaar wordt. Voor mij was het een late avond waarop ik een vroege versie van een van onze modellen testte op een dataset uit de gezondheidszorg.

Het model had een geval gemarkeerd voor weigering. Ik vroeg mijn team om SHAP te draaien — SHapley Additive exPlanations, een tool die laat zien welke kenmerken een specifieke voorspelling aandreven. De belangrijkste factor was niet de diagnose van de patiënt of zijn klinische traject. Het was zijn postcode.

Mijn hoofdingenieur en ik staarden naar het scherm. We wisten allebei waarmee postcode correleert in Amerikaanse gezondheidszorgdata. We keken niet naar een klinische variabele. We keken naar een proxy voor ras en inkomen, verpakt in vijf cijfers.

Die avond schrapten we het kenmerk. Maar de ervaring kristalliseerde iets uit dat ik intellectueel had begrepen, maar nog niet in mijn onderbuik had gevoeld: als je niet kunt uitleggen waarom je AI een beslissing nam, kun je de beslissingen die onverdedigbaar zijn niet onderscheppen.

Daarom bouwen we met verklaarbaarheid als architectuur, niet als bijzaak. Tools zoals SHAP geven je een globaal beeld van wat je model aandrijft. LIME — Local Interpretable Model-Agnostic Explanations — toont je de redenering achter elke afzonderlijke beslissing. Voor een patiënt als Carol Clemens zou LIME zichtbaar hebben gemaakt dat het algoritme haar gevaarlijk lage zuurstofgehalte in het bloed negeerde ten gunste van gemiddelde herstelstatistieken voor haar diagnosecode.

En dan is er nog betrouwbaarheidsscoring — het onderdeel dat de meeste wrapper-oplossingen volledig overslaan. Wanneer een patiënt zich meldt met een zeldzame aandoening die slecht is vertegenwoordigd in de trainingsdata, moet het systeem expliciet zeggen: "Ik weet niet genoeg om deze beslissing te nemen. Stuur dit door naar een mens." Geen suggestie. Een harde stop.

Waarom dit niet langer een "IT-probleem" kan zijn

Mensen spreken me altijd tegen wanneer ik zeg dat AI-governance thuishoort in de bestuurskamer. "Is dat niet waar het engineeringteam voor is?" Nee. Absoluut niet. En de zaak-UnitedHealth is het bewijs.

De ingenieurs bij NaviHealth stelden het mandaat van 1% variantie niet vast. Dat was een managementbeslissing. De ingenieurs besloten niet om behandelaars die het algoritme negeerden disciplinair te bestraffen. Dat was een beleidsbeslissing. De ingenieurs kozen er niet voor om een op correlatie gebaseerd model in te zetten voor dekkingsbeslissingen over leven en dood zonder causale validatie. Dat was een strategiebeslissing.

Tegen 2025 heeft 72% van de S&P 500-bedrijven materiële AI-risico's onthuld in hun SEC-deponeringen. Reputatierisico is nu de meest genoemde zorg. Eén enkel algoritmisch falen kan tegelijkertijd rechtszaken, toezichtmaatregelen en publieke verontwaardiging uitlokken — en de raad van bestuur die zegt "we wisten het niet" zal merken dat onwetendheid geen verweer is.

Bij Veriprajna sturen we elke klant aan op het oprichten van multidisciplinaire AI-governancecommissies met klinische leiders, juridisch adviseurs en vertegenwoordigers van patiëntveiligheid — niet alleen ingenieurs en productmanagers. Deze commissies hebben de bevoegdheid nodig om een centraal register bij te houden van elk AI-model in de stack van de organisatie, terugdraaiopties af te dwingen wanneer de prestaties verslechteren, en — dit is het deel waar bestuurders zich ongemakkelijk bij voelen — een winstgevend model stop te zetten wanneer het schade veroorzaakt.

AI-governance is geen kostenpost. Het is het verschil tussen een bedrijf dat AI verantwoord inzet en een bedrijf dat het volgende afschrikwekkende voorbeeld wordt in een Senaatsonderzoek.

De discussie die ik steeds weer voer

Er is een gesprek dat ik op vrijwel elke conferentie voer, en het gaat als volgt:

"Ashutosh, je maakt dit te ingewikkeld. We kunnen GPT-4 fijnafstemmen op onze klinische data en binnen zes weken iets uitbrengen. Jouw aanpak kost maanden."

Ik ben het niet oneens over de tijdlijn. Ik ben het oneens over de definitie van "klaar."

Je kunt zeker een wrapper binnen zes weken uitbrengen. Je kunt het prachtig demonstreren. Het zal plausibel klinkende klinische samenvattingen genereren en je investeerders blij maken. En dan, zes maanden later, wanneer een patiënt sterft omdat je model vol vertrouwen de verkeerde handelwijze aanbeval en niemand kon uitleggen waarom, ontdek je dat de zes weken die je bespaarde je alles hebben gekost.

De UnitedHealth-crisis werd niet veroorzaakt door slechte ingenieurs of kwade opzet. Ze werd veroorzaakt door een organisatie die AI behandelde als een probleem van doorvoeroptimalisatie — het terugbrengen van de beoordelingstijd met zes tot tien minuten per geval — in plaats van als een probleem van klinisch oordeelsvermogen. Ze maten succes af aan verwerkingssnelheid en weigeringspercentages, niet aan patiëntuitkomsten.

De verschuiving van voorspellende wrappers naar wat ik deep AI noem, gaat niet over het gebruik van luxere modellen. Het gaat over het stellen van een fundamenteel andere vraag. Niet "hoe automatiseren we deze beslissing?" maar "hoe maken we deze beslissing beter, transparanter en meer verantwoord dan een mens alleen zou kunnen?"

Hoe we nu verder gaan

Ik wil eindigen met iets dat me dwarszit sinds ik hieraan begon te schrijven.

Het verhaal van nH Predict is schokkend, maar het zou niet verrassend moeten zijn. We hebben jaren besteed aan het bouwen van een AI-ecosysteem dat snelheid boven veiligheid beloont, correlatie boven causaliteit, en automatisering boven augmentatie. De prikkelstructuren — tijdlijnen van durfkapitaal, inkoopcycli van ondernemingen, de meedogenloze druk om te leveren — duwen allemaal richting de wrapper-aanpak. Bouw snel, verkoop snel, maak je later druk over governance.

Er is geen "later." De uitspraak van februari 2025 maakte dat duidelijk. Het geloofwaardigheidskader van de FDA maakte dat duidelijk. De boete van 7% van de EU AI Act maakte dat duidelijk. En de medische rekening van $16.768 van Carol Clemens maakte dat duidelijk in de meest menselijke bewoordingen die mogelijk zijn.

De weg vooruit is niet minder AI. Het is AI die het gezag verdient dat we haar geven — via causale validatie die begrijpt waarom, via verklaarbare architectuur die haar werk laat zien, via governancestructuren die mensen in staat stellen de machine te overrulen zonder angst voor straf, en via de fundamentele institutionele bescheidenheid om toe te geven wanneer het model niet genoeg weet om de beslissing te nemen.

De vraag was nooit "kan AI beslissingen nemen in de gezondheidszorg?" Het was altijd "moeten we AI beslissingen laten nemen in de gezondheidszorg die het niet kan uitleggen, niet kan rechtvaardigen en 90% van de tijd fout heeft?" Het antwoord is, eindelijk, nee.

We bouwden Veriprajna omdat we geloofden dat dat antwoord eraan kwam. Ik wou alleen dat er geen stervende patiënten voor nodig waren geweest om ons gelijk te geven.