Het probleem
De AI-algoritme van UnitedHealth Group weigerde zorg aan oudere patiënten — en zat 90% van de keer fout. Negen van de tien afwijzingen werden ongedaan gemaakt zodra een menselijke beoordelaar ze daadwerkelijk beoordeelde. Maar UnitedHealth wist iets verwoestends: slechts 0,2% van de patiënten had de middelen om zich te verzetten.
Het algoritme dat centraal staat in deze crisis heet nH Predict. De Optum-divisie van UnitedHealth verwierf het in 2020 voor ruim 1 miljard dollar. Het moest voorspellen hoe lang Medicare-patiënten post-acute zorg nodig hadden, zoals verblijven in gespecialiseerde verpleeginstellingen. In plaats daarvan werd het een kostenbesparende machine die negeerde of patiënten daadwerkelijk hulp nodig hadden.
Denk aan Carol Clemens. Nadat ze methemoglobinemie had overleefd — een levensgevaarlijke bloedaandoening — had ze intensieve verpleegkundige zorg nodig. Klinisch bewijs ondersteunde haar voortdurende behoefte aan revalidatie. Maar de projecties van nH Predict beëindigden desondanks haar dekking. Haar familie betaalde meer dan $16.768 uit eigen zak om haar voortijdige ontslag te voorkomen. UnitedHealth rekende volgens de rechtszaak stilletjes op het feit dat patiënten zoals Clemens te ziek, te oud of te arm waren om in beroep te gaan.
In februari 2025 oordeelde een federale rechter dat de class action kon worden voortgezet. Het tijdperk van schuilen achter black-box-AI-beslissingen loopt ten einde. Als uw organisatie AI gebruikt om beslissingen te nemen die invloed hebben op iemands leven of bestaan, dan is deze zaak uw waarschuwingsschot.
Waarom dit belangrijk is voor uw bedrijf
Dit is niet alleen een zorgverhaal. Het is een verhaal over corporate governance, en het financiële risico is duizelingwekkend groot.
UnitedHealth Group genereert jaarlijks ongeveer 300 miljard dollar omzet. Het bedrijf wordt nu geconfronteerd met een federale class action die zou kunnen herdefiniëren hoe elke gereguleerde onderneming AI inzet. Dit vertellen de cijfers u over uw eigen risico:
Afwijzingspercentages stegen met meer dan 100%. Afwijzingen van post-acute zorg sprongen van ongeveer 10% naar 22,7% nadat de AI was ingezet. Afwijzingen in gespecialiseerde verpleeginstellingen namen toe met 800%. Uw raad van bestuur moet zich afvragen: produceren uw AI-systemen statistisch afwijkende uitkomsten die toezichthouders kunnen signaleren?
72% van de S&P 500-bedrijven maakt nu materiële AI-risico's bekend in hun jaarlijkse SEC-filings. Reputatieschade is het meest genoemde punt van zorg. Eén virale AI-fout kan een rechtszaak veroorzaken die een veelvoud kost van wat de AI ooit moest besparen.
Boetes onder de EU AI Act lopen op tot 7% van de wereldwijde omzet. Zorg-AI-systemen worden onder deze wet geclassificeerd als "Hoogrisico", met verplichte conformiteitsbeoordelingen, transparantieverplichtingen en menselijk toezicht. Als u zaken doet in Europa, is niet-naleving een financieel dreigement op raad-van-bestuur-niveau.
Het ontwerpadvies van de FDA van januari 2025 stelt nu een verplicht geloofwaardigheidskader van 7 stappen vast voor AI-modellen die worden gebruikt in medische en regelgevende besluitvorming. Toezichthouders doen geen aanbevelingen meer over beste praktijken. Ze schrijven regels.
De kern voor uw resultatenrekening: de kosten van goed AI-bestuur zijn een fractie van de kosten van het verdedigen van een class action, het betalen van boetes van toezichthouders of het weer opbouwen van uw merk na een publieke mislukking.
Wat er echt onder de motorkap gebeurt
Dit is waarom nH Predict faalde, uitgelegd zonder jargon.
Het algoritme werkte door een database van 6 miljoen patiëntendossiers mee te vergelijken. Het zocht naar patronen: patiënten met vergelijkbare diagnoses verbleven historisch X aantal dagen. Vervolgens genereerde het een "doel"-ontslagdatum voor elke nieuwe patiënt.
Denk aan een navigatiesysteem dat alleen gemiddelde verkeerspatronen kent. Het zegt u dat de rit 30 minuten duurt. Maar het ziet het ongeluk verderop niet, de wegafsluiting niet, en ook niet dat uw auto een lekke band heeft. Het blijft maar volhouden dat u al gearriveerd had moeten zijn.
nH Predict had dezelfde blinde vlek. Het vertrouwde op correlatie — wat meestal gebeurde — in plaats van op causaliteit — wat de toestand van elke patiënt feitelijk aandreef. Het kon geen rekening houden met de vraag of een patiënt thuis een mantelzorger had, met financiële instabiliteit kampte of specifieke klinische complicaties had. Deze factoren bepalen de medische noodzakelijkheid onder de Medicare-regels, maar het model negeerde ze volledig.
Deze faalwijze heeft een naam: het is het verschil tussen vragen "wat gebeurt er meestal" en "waarom heeft deze patiënt meer tijd nodig". Een correlatiegedreven model — een dat patronen herkent zonder oorzaken te begrijpen — zegt u dat patiënten met een bepaalde diagnose doorgaans na 14 dagen vertrekken. Een causaal model vraagt welke factoren ervoor zorgen dat een patiënt meer tijd nodig heeft, en wat er gebeurt als u de dekking voortijdig intrekt.
Het probleem werd erger omdat UnitedHealth een gebrekkig voorspellingsinstrument omtoverde tot een verplicht voorschrift. Interne managers droegen casemanagers op om patiëntenverblijven binnen 3% van de projectie van het algoritme te houden. Vervolgens verscherpten ze dat doelwit naar slechts 1%. Clinici die afweken om tegemoet te komen aan de feitelijke behoeften van patiënten, kregen te maken met disciplinaire maatregelen of ontslag. De "human-in-the-loop"-waarborg werd gereduceerd tot een stempelautomaat.
Wat werkt (en wat niet)
Beginnen we met wat níet werkt, want misschien doet uw organisatie er al één van deze dingen.
Een chatbotlaag toevoegen bovenop bestaande AI. Dit is de "wrapper"-aanpak — een eigen interface leggen over een externe AI-engine zoals GPT. Deze wrappers bieden geen eigen logica, erven elke bias van hun onderliggende model en produceren black-box-uitkomsten die u niet kunt auditen. In gereguleerde sectoren zijn het aansprakelijkheden.
Ervan uitgaan dat menselijke review alles oplost. UnitedHealth had technisch gezien mensen die AI-beslissingen beoordeelden. Maar als u werknemers straft voor het overrulen van het algoritme, is uw human-in-the-loop fictie. Procesontwerp is belangrijker dan beleidstaal.
AI-governance behandelen als een IT-project. Als uw AI-governance volledig binnen IT leeft, mist u de juridische, klinische en financiële dimensies die daadwerkelijke aansprakelijkheid creëren. De uitspraak van februari 2025 slaagde doordat de rechter vaststelde dat UnitedHealth zijn contractuele belofte schond dat dekkingsbeslissingen zouden worden genomen door "clinical services staff" en "physicians" — niet door algoritmes.
Dit is wat daadwerkelijk werkt, in drie stappen:
Input: causale modellering in plaats van correlatie. Uw AI-systeem zou gebouwd moeten zijn op causale en contrafeitelijke modellering — een aanpak waarbij u de feitelijke oorzaak-en-gevolgrelaties in uw domein in kaart brengt, niet alleen historische patronen. Voor de zorg betekent dit modelleren waarom een patiënt zorg nodig heeft, niet alleen hoe lang vergelijkbare patiënten verbleven.
Processing: verklaarbare AI met betrouwbaarheidsscores. Elke beslissing die uw AI neemt, moet vergezeld gaan van een uitleg in gewone taal van de factoren die eraan ten grondslag lagen. Tools zoals SHAP en LIME — methoden die laten zien welke datapunten een specifieke uitkomst hebben beïnvloed — laten auditors zien of afwijzingen worden gedreven door klinisch bewijs of door proxyvariabelen zoals postcode. Wanneer de AI een geval tegenkomt dat buiten zijn trainingsdata ligt, moet confidence scoring de onzekerheid signaleren en het geval doorsturen naar een menselijke beoordelaar.
Output: volledige audittrail met kill-switch-controles. Elke AI-uitvoer moet worden geregistreerd, van een tijdstempel voorzien en traceerbaar zijn. Uw AI-governance- en complianceprogramma moet een centraal AI-register bevatten dat elk model in uw stack catalogueert, modelwijzigingsbeheer met rollback-opties, en duidelijke bevoegdheid voor een cross-functioneel comité om een model stil te leggen wanneer de prestaties ervan verslechteren.
Dit audittrail is wat deze aanpak verkoopt aan uw complianceteam. Wanneer een toezichthouder of de advocaat van een eiser vraagt "laat me zien hoe deze beslissing tot stand kwam", heeft u óf een gedocumenteerde logische sporenketen óf u heeft een rechtszaak. Het geloofwaardigheidskader van 7 stappen van de FDA vereist nu expliciet een "Credibility Report" waarin validatiestrategieën, metrieken en eventuele afwijkingen worden gedocumenteerd. Als uw AI dat rapport niet kan produceren, zakt hij voor de regelgevingstoets nog voordat hij een rechtszaal bereikt.
De organisaties die AI-oplossingen voor zorg en life sciences bouwen, hebben systemen nodig die hun redenering uitleggen, hun eigen onzekerheid signaleren en mensen echt in controle houden. De boodschap van de rechtbank in de UnitedHealth-zaak was ondubbelzinnig: als uw AI-systeem fundamenteel defect is, zullen rechtbanken niet eisen dat slachtoffers meespelen in de farce van een oneerlijk beroepsproces.
U kunt de volledige technische analyse lezen of de interactieve versie verkennen voor een diepere blik op de regelgevingskaders en architecturale vereisten.
Belangrijkste inzichten
- De AI van UnitedHealth weigerde oudere patiënten zorg met een foutpercentage van 90%, maar slechts 0,2% van de patiënten kon in beroep gaan — een winstgevende mislukking.
- Een federale rechter liet de class action voortgaan en oordeelde dat het vervangen van menselijk klinisch oordeel door een AI-algoritme contractuele beloften aan verzekerden kan schenden.
- De EU AI Act kan niet-conforme zorg-AI-implementaties boetes opleggen tot 7% van de wereldwijde omzet, en de FDA vereist nu een geloofwaardigheidskader van 7 stappen voor AI-modellen.
- Correlatiegebaseerde AI die voorspelt "wat er meestal gebeurt", faalt in gereguleerde omgevingen — u hebt causale modellen nodig die uitleggen "waarom" een beslissing is genomen.
- Elke AI-uitvoer in een domein met hoge inzetten heeft een volledige audittrail, betrouwbaarheidsscores en een kill switch nodig — anders bouwt u aansprakelijkheid, geen efficiëntie.
Kort samengevat
De UnitedHealth-zaak bewees dat een winstgevend AI-systeem nog steeds catastrofaal verkeerd kan zijn — en rechtbanken zullen uw organisatie verantwoordelijk houden voor dat gat. Als u AI inzet bij beslissingen die de gezondheid, financiën of juridische rechten van mensen raken, moet uw systeem zijn redenering kunnen uitleggen en zijn eigen onzekerheid signaleren. Stel uw AI-leverancier de vraag: kan uw model, wanneer het een claim afwijst of een aanbeveling met hoge inzetten doet, een toezichthouder de precieze factoren tonen die het heeft gewogen, het betrouwbaarheidsniveau van die specifieke beslissing en de audittrail die bewijst dat een mens echte bevoegdheid had om het te overrullen?