Negentig procent van de artsen vertrouwt zijn klinische AI. Een derde van de gevaarlijke fouten vangen ze op.
De eerste versie van onze tool voor klinische AI-veiligheid werkte voortreffelijk. Dat was nu net het probleem.
We hadden hem gebouwd om het voor de hand liggende te doen: hallucinaties opsporen. Richt hem op een ambient scribe of een tool die berichten opstelt in het patiëntenportaal, voed hem met de output van de AI en laat hem uitspraken markeren die feitelijk onjuist waren. Hij ving de verkeerde medicijnnamen. Hij ving de onmogelijke laboratoriumwaarden. Hij ving een dosering die een orde van grootte afweek. Ik herinner me dat ik er oprecht een goed gevoel over had — we vonden fouten, de demo sloeg aan, de cijfers zagen er schoon uit.
Toen liep een klinisch adviseur binnen het project, een ziekenhuisarts die twee decennia op de afdelingen had doorgebracht, met me door een voorbeeld dat me nog altijd bezighoudt. Een AI had een MyChart-antwoord opgesteld voor een patiënt die vroeg naar zijn medicatie. In het concept stond dat metformine moest worden voortgezet en werd opgewekt opgemerkt dat de laatste HbA1c 6,8% was. Elk feit erin was waar. De notitie was empathisch, goed gestructureerd, precies wat een goede arts zou schrijven. Onze tool liet hem zonder markering door.
Het creatinine van de patiënt was over drie bezoeken heen aan het stijgen. Stijgend creatinine betekent afnemende nierfunctie, en afnemende nierfunctie maakt metformine gevaarlijk. De AI wist niet dat hij moest kijken. En — dit is het deel dat mijn denken over klinische AI-veiligheid opnieuw heeft geordend — de beoordelende arts evenmin, die een vloeiend, vriendelijk, feitelijk-consistent concept in de tien of vijftien seconden bekijkt die een drukke clinicus eraan geeft voordat hij op verzenden klikt.
Onze hallucinatiedetector loste het verkeerde probleem op. De fouten die patiënten schaden zijn meestal niet de fouten die overduidelijk verkeerd zijn. Het zijn de fouten die lokaal correct en contextueel dodelijk zijn. Je kunt je niet naar veiligheid feitcontroleren, want het gevaar schuilt in wat de AI niet heeft gezegd.
Die mislukking is de reden waarom Veriprajna stopte met het bouwen van een hallucinatiedetector en begon met het bouwen van onafhankelijke veiligheidsinfrastructuur voor de hele stack aan AI die een zorgsysteem daadwerkelijk draait. Dit essay gaat over wat we vonden toen we eerlijk naar die stack keken.
Het cijfer dat elke CMIO 's nachts wakker zou moeten houden
In april 2024 publiceerde The Lancet Digital Health een studie waarvan ik denk dat het de belangrijkste en minst verwerkte bevinding in AI voor de gezondheidszorg is. Onderzoekers lieten artsen door AI opgestelde antwoorden op patiëntberichten beoordelen. 7,1% van die concepten vormde een ernstig risico op patiëntenschade. 0,6% vormde een risico op overlijden.
Hier is het deel dat er meer toe doet dan het foutpercentage. De artsen, die precies deden wat we van hen vragen — het werk van de AI beoordelen — misten 66,6% van de schadelijke concepten. Tussen een derde en bijna de helft van de foutieve concepten ging volledig ongewijzigd de deur uit. En toen ze werden bevraagd, zei 90% van diezelfde artsen dat ze de prestaties van de tool vertrouwden.
Negentig procent vertrouwen, en een derde van de gevaarlijke fouten opgevangen. Die kloof is geen trainingsprobleem. Het is het voorspelbare gevolg van een mens vragen om een machine te controleren die vloeiender schrijft dan hij zelf.
Dit is automatiseringsbias, en het is geen karakterfout van artsen. Het is een eigenschap van de interactie. Wanneer een concept goed geschreven en empathisch is, vervangt de kwaliteit van het proza de onafhankelijke verificatie in het hoofd van de lezer. Hoe beter de AI schrijft, hoe minder de mens controleert. We zetten tools in waarvan de grootste kracht — vloeiende, zelfverzekerde taal — precies het mechanisme is dat het vangnet ontwapent dat we eromheen hebben gebouwd.
ECRI, de non-profitorganisatie voor patiëntveiligheid die de jaarlijkse lijst van grootste gezondheidstechnologische gevaren publiceert, rangschikte het door AI aangedreven diagnostische risico als het gevaar nummer één voor zowel 2025 als 2026. Niet in de top tien. Nummer één, twee jaar op rij.
"Gelezen en beoordeeld" is een juridische fictie
AB 3030 van Californië, van kracht sinds januari 2025, verplicht zorgsystemen om openbaar te maken wanneer AI wordt gebruikt in klinische communicatie met patiënten. Het bevat een uitzondering die redelijk klinkt: als een bevoegde zorgverlener de output van de AI leest en beoordeelt, is geen openbaarmaking nodig. De logica is dat een mens in de lus de bijdrage van de AI onzichtbaar en veilig maakt.
De Lancet-gegevens vernietigen die logica. Als artsen twee derde van de schadelijke fouten missen, dan is "gelezen en beoordeeld", voor een groot deel van de gevallen, een formaliteit. De uitzondering veronderstelt een kwaliteit van beoordeling die automatiseringsbias op schaal onmogelijk maakt. Overtredingen lopen op tot $25.000 per incident voor een instelling, plus tuchtrechtelijke blootstelling voor de arts wiens naam op de notitie staat.
Ik breng veel tijd door met chief medical information officers, en dit is waar het gesprek meestal ongemakkelijk wordt. Het juridische kader veronderstelt dat de menselijke beoordeling betekenisvol is. De klinische realiteit is dat een betekenisvolle beoordeling technische ondersteuning vereist die de AI-leveranciers grotendeels niet hebben gebouwd — het markeren van onzekerheid, het koppelen van citaten terug naar de bron, actieve bevestigingsworkflows die de arts laten stoppen bij de beweringen die ertoe doen. Enkele leveranciers zijn het gaan bouwen — Abridge's Linked Evidence herleidt elke regel van een gegenereerde notitie terug naar het exacte audiofragment dat hem heeft geproduceerd — wat alleen maar bewijst dat de capaciteit bestaat en dat de meeste tools er nog steeds geen prioriteit aan geven. Zonder die ondersteuning is "een mens heeft het beoordeeld" een compliancevakje, geen veiligheidscontrole.
De leverancier zei 0,001%. De procureur-generaal van Texas zei: bewijs het.
Elke leverancier van klinische AI leidt met een nauwkeurigheidscijfer. Het eerste wat ik leerde bij het auditen van deze tools is dat het cijfer een marketingartefact is totdat je weet hoe het is berekend.
In september 2024 trof de procureur-generaal van Texas een schikking met Pieces Technologies over zijn op de markt gebrachte claim van een "kritiek hallucinatiepercentage" onder 0,001%. De software van Pieces was ingezet in vier grote Texaanse ziekenhuizen — Houston Methodist, Children's Health, Texas Health Resources en Parkland. Het opvallende aan de zaak is dat de procureur-generaal geen enkele AI-specifieke wet nodig had. Bestaande consumentenbeschermingswetgeving was voldoende om een nauwkeurigheidsclaim aan te vechten die het bedrijf niet kon onderbouwen.
De schikking — een vijfjarige Assurance of Voluntary Compliance — dwingt Pieces nu om aan elke klant openbaar te maken hoe zijn statistieken worden gedefinieerd en berekend, op welke gegevens het model is getraind en welk schadelijk gebruik het kent. Dat is een sjabloon voor de hele branche.
Een hallucinatiepercentage zonder noemer is geen meting. Het is een advertentie.
Vergelijk 0,001% met wat wij en anderen daadwerkelijk in het veld vinden. In een pilot in het eerste kwartaal van 2025 beval een AI-ontslagassistent een medicijn aan voor een patiënt die expliciet als allergisch voor die medicijnklasse stond vermeld. Zijn werkelijke percentage klinisch relevante onjuiste uitspraken was 0,98% — twaalf keer de door de leverancier geclaimde 0,08%. Dezelfde productcategorie, een kloof van een orde van grootte tussen de slide en de patiënt. Het MIT Media Lab ontdekte dat modellen zonder mitigatie hallucinatiepercentages boven de 60% haalden bij klinische casussen. Het eerlijke antwoord is dat niemands kopcijfer iets betekent totdat je vraagt: berekend op welke dataset, gevalideerd door wie, over welke periode, en — de vraag die vrijwel niemand stelt — over welke patiëntendemografie?
Die laatste vraag bleek degene te zijn met lichamen erachter.
De bias die je niet kunt zien omdat het apparaat hem verbergt
Er is een feit waarvan ik wou dat het beter bekend was buiten de intensieve zorg. De pulsoximeter — het kleine klemmetje op de vinger van een patiënt dat de zuurstofverzadiging van het bloed afleest, een van de meest vertrouwde cijfers in de geneeskunde — is systematisch minder nauwkeurig op een donkere huid.
Zwarte patiënten hebben ongeveer drie keer meer kans op occulte hypoxemie: gevaarlijk laag bloedzuurstof dat het apparaat als normaal afleest. De overschatting bedraagt 0,6 tot 1,5 procentpunt, wat triviaal klinkt totdat het het verschil is tussen "opname op de IC" en "naar huis sturen". In pediatrische gegevens miste het apparaat lage zuurstof bij 7% van de kinderen met de donkerste huidtinten en 0% met de lichtste. De FDA gaf in januari 2025 conceptrichtlijnen uit die fabrikanten aanbevelen te testen op ten minste 150 diverse deelnemers met behulp van de Monk Skin Tone-schaal, tegenover een eerdere norm van soms slechts tien.
Leg nu AI bovenop een meting die aan de sensor al bevooroordeeld is. Het model erft de bias en wast hem wit via een zelfverzekerde output. Dit is het deel van klinische AI-veiligheid dat leveranciers het minst zijn toegerust om bij zichzelf te vinden, want het vinden ervan vereist het bewust stratificeren van prestaties naar ras, geslacht en leeftijd — en vervolgens de kloven publiceren.
Het Epic-sepsismodel is het waarschuwende verhaal dat ik naar elke governancediscussie meebreng. De ontwikkelaar rapporteerde een AUC — een standaardmaat voor voorspellende nauwkeurigheid waarbij 1,0 perfect is en 0,5 een muntworp — van 0,76 tot 0,83. Toen de Universiteit van Michigan het extern valideerde op hun eigen patiënten, kwamen ze uit op 0,63. De sensitiviteit was 33%, wat betekent dat het twee derde van de sepsisgevallen miste. De positief voorspellende waarde was 12%, wat betekent dat 88% van zijn waarschuwingen vals alarm was. En het was slecht gekalibreerd voor zwarte en Hispanic patiënten, die bijna twee keer zoveel sepsis hebben. Een model dat is getraind op historisch klinisch oordeel leert historische klinische blinde vlekken, en vuurt ze vervolgens terug op clinici met het gezag van een algoritme. Epic heeft het model in 2022 grondig herzien, en een multicenter prospectieve validatie van de tweede versie verscheen in februari 2026 in JAMA Network Open — en dat is precies het punt. Externe validatie na inzet is wat de kloof opvangt die een oorspronkelijke AUC-claim verbergt, en hier kostte het jaren en externe onderzoekers om het af te dwingen.
De meest extreme versie hiervan komt naar voren in de zorg voor moeders. Zwarte vrouwen sterven bij de bevalling met 42,8 tot 50,3 per 100.000 levendgeborenen, tegenover 13 tot 14,5 voor witte vrouwen. Eén Californische evaluatie ontdekte dat AI-vroegwaarschuwingssystemen 40% van de gevallen van ernstige morbiditeit bij zwarte patiënten misten. Wanneer het waarschuwingssysteem blind is voor de populatie die het meeste risico loopt, faalt het niet zomaar neutraal — het vergroot de kloof die het geacht werd te dichten.
Waarom kun je het model niet gewoon op bias testen en verdergaan?
Mensen vragen me waarom zorgsystemen niet gewoon een eerlijkheidscontrole uitvoeren en het model certificeren. Ik dacht vroeger dat het een middelenprobleem was. Het zit dieper dan dat, en het is wiskundig.
Er is een resultaat dat het onmogelijkheidstheorema van Chouldechova heet. Eenvoudig gezegd: twee redelijke definities van eerlijkheid — demografische pariteit (het model markeert elke groep in hetzelfde tempo) en gelijkgestelde kansen (het model is even nauwkeurig binnen elke groep) — kunnen niet allebei tegelijk worden vervuld, behalve in triviale gevallen. Je moet kiezen welk soort eerlijkheid je optimaliseert, en die keuze heeft klinische gevolgen.
"We hebben op bias getest" is betekenisloos zonder het criterium te benoemen. Elke leverancier die je niet kan vertellen welke eerlijkheidsdefinitie ze hebben gekozen, heeft er een gekozen en vertelt het je niet.
Dit is waarom een echte biasaudit geen eenmalig certificaat is. Het zijn gestratificeerde subgroepprestatietabellen, kalibratiecurven per demografie en een Population Stability Index — een driftmaat — bijgehouden per inzetlocatie, want een model dat in Boston eerlijk was, kan in Houston uit kalibratie raken naarmate de patiëntenmix verandert. Door experts beoordeelde ground-truth-labels voor dit werk kosten $50 tot $200 per casus. Het is dure, gespecialiseerde, doorlopende infrastructuur. Het is ook het enige wat staat tussen een inkoopbeslissing en een lijkschouwersrapport.
Niemand is eigenaar van de hele stack
Het structurele probleem waar ik steeds tegenaan liep is dit: een middelgroot tot groot zorgsysteem draait ergens tussen de vijf en vijftien AI-tools tegelijk. Een ambient scribe (Abridge in de meer dan veertig ziekenhuizen van UPMC, of Nuance's DAX Copilot gekoppeld aan het EPD), een sepsismodel van Epic, een tool die berichten opstelt in het patiëntenportaal, een triage-algoritme, een codeerassistent. Elk heeft zijn eigen nauwkeurigheidsclaim, zijn eigen veiligheidsprofiel, zijn eigen blinde vlekken en zijn eigen dashboard. Geen enkele leverancier biedt governance over de tools heen, want geen enkele leverancier verkoopt ze allemaal.
En de governance die wél bestaat is dunner dan de organigrammen suggereren. De gegevens van Censinet uit 2026 laten zien dat 84% van de zorgsystemen een AI-governancecommissie heeft — maar slechts 59% een formeel, gedocumenteerd goedkeuringsproces heeft voordat een AI-tool live gaat. CIO's zitten in 63% van die commissies; de CMIO, de persoon die klinisch verantwoordelijk is wanneer de tool het mis heeft, zit in slechts 45%. Ondertussen nemen clinici op eigen houtje tools in gebruik — schaduw-AI — sneller dan welke commissie ze ook kan beoordelen.
Dit is de kloof die Veriprajna is opgericht om te vullen, en het is de reden waarom ik stopte met wat we doen te omschrijven als "hallucinatiedetectie". Wij doen onafhankelijke, leveranciersneutrale beoordeling van de AI die een zorgsysteem daadwerkelijk heeft ingezet: het red-teamen van de tools zoals een tegenstander of een slechte dag dat zou doen, het valideren van nauwkeurigheidsclaims van leveranciers tegen de echte noemer, het uitvoeren van de biasaudits die de meeste IT-teams niet de capaciteit hebben om uit te voeren, en het omzetten van AB 3030, Colorado's AI Act en de high-riskregels van de EU AI Act in operationele controles in plaats van juridische zorgen. Eén veiligheidslaag die over elke tool heen ligt.
"Vertraagt dit niet gewoon de innovatie?"
Het is het bezwaar dat ik het vaakst hoor, meestal van iemand die zag hoe ambient documentatie in één jaar een categorie van 600 miljoen dollar werd en die niet de bestuurder wil zijn die nee zei.
Ik zou het tegenovergestelde beweren. Onafhankelijke veiligheid is wat snelle adoptie overleefbaar maakt. De zorgsystemen die hun vingers branden zijn niet de voorzichtige — het zijn degene die inzetten op basis van de slidedeck van een leverancier en de kloof tussen 0,08% en 0,98% ontdekten nadat een patiënt schade had opgelopen. De gemiddelde investering in AI in de gezondheidszorg levert ongeveer $3,20 op voor elke dollar, gerealiseerd binnen 14 maanden. Dat rendement verdampt de eerste keer dat een niet-geverifieerde tool een aansprakelijkheidsclaim oplevert — en AI-gerelateerde claims zijn sinds 2022 al met 14% gestegen, geconcentreerd in radiologie, cardiologie en oncologie. Verificatie is niet de belasting op innovatie. Het is de verzekering waarmee je kunt blijven innoveren nadat het eerste misgaat.
Het tweede bezwaar: kan ons eigen informaticateam dit niet aan? Soms, gedeeltelijk. Maar de waarde van een onafhankelijke beoordeling is juist dat ze onafhankelijk is — dezelfde reden waarom je een bedrijf niet zijn eigen financiën laat controleren. Een leverancier zal zichzelf niet naar een slechter ogend cijfer red-teamen, en een intern team dat een aankoop heeft aangeprezen heeft een stil belang bij het slagen ervan. Iemand zonder positie in de deal stelt de vragen die iedereen anders om een reden liever niet stelt.
Wat ik een CMIO vandaag zou vertellen
De vraag waarvan ik vroeger dacht dat hij ertoe deed, was werkt deze AI? Ik had het mis. Elke leverancier zal je laten zien dat hij werkt. De vraag die ertoe doet, is kun je bewijzen dat hij werkt — over elke patiëntendemografie heen — op de dag dat een toezichthouder, de advocaat van een eiser of een journalist je daarom vraagt?
Op dit moment kunnen de meeste zorgsystemen dat niet. Ze hebben nauwkeurigheidscijfers die ze niet kunnen reproduceren, een governancecommissie zonder de klinisch verantwoordelijke erin, en een vloot aan tools die geen enkele onafhankelijke partij ooit samen heeft getest. Het vloeiende concept zal doorgeklikt blijven worden. De sepsiswaarschuwing zal 88% van de tijd vals alarm blijven slaan. De pulsoximeter zal normaal blijven aflezen bij de patiënt bij wie dat niet zo is.
Ik bouwde Veriprajna's praktijk voor AI-veiligheid in de gezondheidszorg omdat het metformine-voorbeeld me nooit meer losliet. De notitie was perfect. Alles erin was waar. En het had iemand kunnen doden — niet omdat de AI dom was, maar omdat hij overtuigend was, en niemand was toegerust om het ding te controleren dat hij niet had gezegd. Veiligheid in klinische AI is niet het opvangen van de voor de hand liggende fout. Het is het bouwen van de infrastructuur om de onzichtbare fout op te vangen, voordat de patiënt dat doet.
