De AI van uw arts schreef u een bericht dat u kon doden — en niemand vertelde het u

Ik zat vorig jaar in een gesprek met de CTO van een zorgsysteem toen hij iets zei waarvan ik verstijfde.

"We laten GPT nu berichten voor het patiëntenportaal opstellen. Artsen zijn er dol op. Het bespaart ze uren per week. We zijn zo goed als klaar met de uitrol van AI."

Klaar. Dat woord lag als een steen op mijn borst. Want ik had net een studie uitgelezen — gepubliceerd in The Lancet Digital Health in april 2024, door onderzoekers van Harvard Medical School, Yale en de University of Wisconsin — die een heel ander verhaal vertelde. In die studie stelde GPT-4 156 berichten voor het patiëntenportaal op binnen een gesimuleerd elektronisch patiëntendossier. 7,1% van die concepten vormde een risico op ernstige schade. Eén — 0,6% — vormde een direct risico op overlijden.

En hier is het getal waardoor ik mijn koffie neerzette en de alinea drie keer herlas: de twintig praktiserende huisartsen die die AI-concepten beoordeelden misten gemiddeld 66,6% van de gevaarlijke fouten.

De CTO was niet nalatig. Hij deed wat de hele sector deed — een taalmodel voor algemeen gebruik in een dunne softwarelaag verpakken, het op patiëntberichten richten, en erop vertrouwen dat de ogen van een arts aan het einde van de pijplijn zouden opvangen wat er misging.

Ik heb de afgelopen jaren bij Veriprajna AI-systemen gebouwd die zijn ontworpen om gegrond te zijn — verankerd in geverifieerde kennis, niet louter in statistische waarschijnlijkheid. En deze studie kristalliseerde iets uit waarover ik had geargumenteerd in ruimtes waar mensen het niet wilden horen: de "human-in-the-loop" is geen veiligheidsmechanisme. Het is een gebed.

Wat gebeurt er als AI het antwoord van uw arts schrijft?

Laat me schetsen waarom deze technologie überhaupt bestaat, want de behoefte is reëel en urgent.

Huisartsen in de Verenigde Staten besteden gemiddeld 10 uur per maand alleen al aan het beantwoorden van berichten in het patiëntenportaal. Dat is trouwens onbetaald werk — historisch gezien niet-declarabel. Het is een van de belangrijkste aanjagers van de burn-outcrisis die artsen volledig uit de geneeskunde duwt.

Dus toen er AI-tools opkwamen die empathische, gedetailleerde, grammaticaal verzorgde antwoorden op patiëntvragen konden opstellen — antwoorden die vaak hoger scoorden op waargenomen kwaliteit dan wat overwerkte artsen om 23 uur schreven — ging de adoptie snel. Epics MyChart integreerde AI-opstelling. Start-ups haalden honderden miljoenen op. Zorgsystemen vierden de efficiëntiewinsten.

En ik snap het. Echt waar. Het burn-outprobleem is voor mij niet abstract. Ik heb tegenover artsen gezeten die hun inbox beschreven als een tweede voltijdbaan, een die hen de patiënten deed verafschuwen die ze in de geneeskunde wilden helpen.

Maar efficiëntie zonder nauwkeurigheid in de zorg is geen innovatie. Het is nalatigheid die op een eiser wacht.

De Lancet-studie die een brandalarm had moeten zijn

De studie van april 2024 was geen kleine pilot of opiniestuk. Het was een dwarsdoorsnedesimulatie waarbij praktiserende clinici door AI gegenereerde concepten beoordeelden in een realistische EPD-omgeving. De onderzoekers plaatsten bewust in sommige concepten fouten — het soort fouten dat LLM's daadwerkelijk produceren — en keken vervolgens wat er gebeurde.

Wat er gebeurde was vernietigend.

90% van de beoordelende artsen gaf aan de prestaties van de AI-tool te vertrouwen. Ze vonden dat het hun cognitieve werklast verminderde — 80% was het daarover eens. De concepten waren vloeiend, empathisch, goed gestructureerd. Ze voelden juist.

Maar slechts één arts van de twintig ving alle vier de opzettelijk foutieve concepten. Eén. En tussen 35% en 45% van de foutieve concepten werd naar patiënten verstuurd volledig ongewijzigd.

Wanneer een AI-concept beter leest dan wat een vermoeide arts aan het einde van een dienst van 12 uur zou schrijven, is de neiging niet om het kritisch te bekijken. Het is om op verzenden te klikken.

Dit fenomeen heeft een naam: automatiseringsbias — de goed gedocumenteerde neiging van mensen om te veel te vertrouwen op geautomatiseerde suggesties, waarbij ze minder kritisch toetsen dan ze bij hun eigen werk of dat van een collega zouden doen. De Lancet-onderzoekers ontdekten dat de correlatie statistisch significant was (p < 0,001): hoe beter het AI-concept er aan de oppervlakte uitzag, hoe waarschijnlijker het was dat een arts een verborgen klinische fout over het hoofd zag.

De fouten waren geen typefouten. Het waren tekortkomingen in klinisch redeneren. De AI verzon medische informatie. Het verwees naar verouderde protocollen. In het geval dat als overlijdensrisico werd aangemerkt, verzuimde het een patiënt met een levensbedreigend symptoom te vertellen naar de spoedeisende hulp te gaan — en genereerde in plaats daarvan een kalm, geruststellend, fataal fout niet-urgent antwoord.

Ik blijf terugkomen op dat specifieke geval. Het bericht las waarschijnlijk prachtig. Warm. Empathisch. Gedetailleerd. En als een patiënt het advies had opgevolgd, waren ze misschien thuis gestorven terwijl ze wachtten op een afspraak op maandag.

Waarom blijft de "arts-in-the-loop" falen?

Ik had hierover een discussie met een collega die klinische AI-tools bouwt. Zijn standpunt was helder: "De arts controleert alles. Dat is het vangnet."

Ik stelde hem een vraag: "Als je een arts een stapel van 50 berichten gaf, waarvan er 48 volkomen in orde waren, en je hem vertelde dat AI ze allemaal had geschreven — hoe zorgvuldig denk je dat hij bericht nummer 37 zou lezen?"

Hij aarzelde.

Dit is de kern van het probleem. Het human-in-the-loop-model gaat ervan uit dat menselijke aandacht constant is, dat vermoeidheid de waakzaamheid niet aantast, en dat de kwaliteit van het proza van de AI de diepgang van de beoordeling niet beïnvloedt. Elk van die aannames is onjuist, en de Lancet-gegevens bewijzen het.

De "human-in-the-loop" is geen veiligheidsmechanisme wanneer de mens psychologisch is voorbereid om de machine te vertrouwen.

Er is ook een dieper architectonisch probleem. Standaard-LLM's zijn auto-regressief — ze voorspellen het volgende woord op basis van statistische waarschijnlijkheid, niet gestructureerd medisch redeneren. Ze "begrijpen" niet dat een symptoom urgent is. Ze "weten" niet dat een richtlijn vorige maand is bijgewerkt. Ze genereren tekst die klinkt als een deskundige clinicus omdat ze zijn getraind op miljoenen voorbeelden van deskundige clinici die schrijven. Maar juist klinken en juist zijn zijn gevaarlijk verschillende dingen in de geneeskunde.

Ik heb over deze architectonische kloof uitgebreid geschreven in de interactieve versie van ons onderzoek, maar de korte versie is: een LLM heeft geen model van de patiënt. Het heeft een model van taal. En dat zijn niet dezelfde dingen.

Californië heeft dit zojuist ieders probleem gemaakt

Terwijl de onderzoeksgemeenschap alarm sloeg, was de wetgever van Californië bezig met het opstellen van wetgeving. Assembly Bill 3030, ondertekend in september 2024, treedt in werking op 1 januari 2025. Het vereist dat elke zorginstelling, kliniek en artsenpraktijk in Californië patiënten op de hoogte stelt wanneer generatieve AI wordt gebruikt om klinische informatie te communiceren.

Schriftelijke berichten hebben bovenaan een disclaimer nodig. Audioberichten hebben een mondelinge kennisgeving nodig aan het begin en het einde. Video- en chatcommunicatie moet gedurende het hele bericht disclaimers tonen.

Hier wordt het interessant — en hier denk ik dat de meeste zorgsystemen de wet verkeerd lezen.

AB 3030 bevat een uitzondering: als een bevoegde zorgverlener de door AI gegenereerde communicatie heeft "gelezen en beoordeeld", zijn de openbaarmakingsvereisten niet van toepassing. Op papier ziet dit eruit als een vrijbrief. Houd de arts in de loop, sla de disclaimer over, handhaaf de illusie dat elk bericht persoonlijk is opgesteld.

Maar combineer die uitzondering met de Lancet-gegevens — 66% van de fouten gemist, 35-45% van de gevaarlijke concepten ongewijzigd verzonden — en je hebt een juridische tijdbom. Een zorgsysteem dat beweert dat zijn artsen AI-concepten "lezen en beoordelen" terwijl die artsen aantoonbaar twee derde van de fouten missen, voldoet niet aan de regels. Het is kwetsbaar.

Ik zei tegen de CTO tijdens dat gesprek: "De uitzondering is geen schild. Het is een aansprakelijkheidsversneller — tenzij de technologie de beoordelaar actief helpt om op te vangen wat zijn brein is bedraad om te missen."

Wat is er eigenlijk mis met de "LLM-wrapper"-aanpak?

De meeste AI-zorgstart-ups bouwen op dit moment wat ik wrappers noem — dunne softwarelagen die patiëntgegevens doorsturen naar een commerciële LLM-API en het antwoord met enige opmaak retourneren. Ze zijn snel te bouwen, gemakkelijk te demonstreren en fundamenteel ontoereikend voor klinisch gebruik.

Drie problemen maken wrappers gevaarlijk:

Kennisafkappunten zijn onzichtbare moordenaars. Openbare LLM's worden getraind op statische datasets. Ze weten niets van de richtlijn die vorig kwartaal veranderde, de geneesmiddeleninteractie die vorige maand werd gesignaleerd, of de laboratoriumuitslagen van de patiënt van vanochtend. Een wrapper die geen realtime klinische gegevens integreert, genereert antwoorden in een vacuüm — een vacuüm waarvan de arts die het concept beoordeelt zich misschien niet eens bewust is.

Tokenvoorspelling is geen klinisch redeneren. Wanneer GPT-4 schrijft "u moet uw huidige medicatie voortzetten", evalueert het niet uw nierfunctie, uw geneesmiddeleninteracties of uw meest recente bloedonderzoek. Het voorspelt welke woorden statistisch waarschijnlijk op de voorgaande woorden volgen. In de radiologie, oncologie, elk domein dat genuanceerde diagnostische interpretatie vereist, is deze kloof tussen taalkundige vloeiendheid en medische nauwkeurigheid de plek waar patiënten gewond raken.

Beveiliging is een bijzaak. Veel LLM-interfaces voor algemeen gebruik zijn niet inherent HIPAA-conform. Zonder rigoureuze gegevensmaskering en een goede Business Associate Agreement is elk patiëntbericht dat via een commerciële API wordt gerouteerd een potentiële privacyschending. En prompt-injectieaanvallen — waarbij vijandige invoer het model misleidt om interne context of patiëntgegevens prijs te geven — blijven een grotendeels onopgeloste kwetsbaarheid in wrapper-architecturen.

Hoe bouw je AI die echt veilig is voor patiënten?

Hier verschuif ik van criticus naar bouwer, want kritiek zonder alternatieven is slechts ruis.

Bij Veriprajna ontwikkelen we wat ik beschouw als gegronde AI — systemen waarbij het taalmodel nooit de enige bron van waarheid is. Het is altijd verankerd aan geverifieerde klinische kennis, en het is altijd transparant over waar zijn antwoorden vandaan komen.

De ophaallaag verandert alles

Retrieval-Augmented Generation (RAG) is de basis. Voordat de AI ook maar één woord van een patiëntantwoord genereert, haalt het eerst relevante documenten op uit een geverifieerd corpus: de klinische aantekeningen van de patiënt, actuele institutionele richtlijnen, peer-reviewed literatuur. Het model conditioneert vervolgens zijn antwoord op deze opgehaalde context, niet louter op zijn trainingsgegevens.

Dit is geen kleine aanpassing. Het is een fundamenteel andere architectuur. Een RAG-gebaseerd systeem kan zijn bronnen citeren — "Op basis van uw laboratoriumuitslagen van 12 maart en de huidige ACC/AHA-richtlijnen..." — waardoor de beoordeling van de arts verandert van "klinkt dit juist?" naar "is deze bron correct?" De tweede vraag is aanzienlijk gemakkelijker te beantwoorden, zelfs om 23 uur op een donderdag.

Kennisgrafieken geven AI iets wat wrappers nooit kunnen: relaties

De volgende laag is medische kennisgrafieken — gestructureerde netwerken die klinische kennis niet als tekst weergeven maar als onderling verbonden concepten. Een kennisgrafiek weet niet alleen dat metformine een diabetesmedicijn is. Het kent het werkingsmechanisme van metformine, de contra-indicaties bij nierfunctiestoornissen, de interacties met contrastvloeistof, en de specifieke eGFR-drempel waaronder het gestaakt moet worden.

Systemen zoals MediGRAF gebruiken grafiekdatabases zoals Neo4j om nauwkeurige gestructureerde query's te combineren met narratieve ophaling, en behalen 100% recall op feitelijke klinische query's terwijl ze veiligheidsnormen handhaven voor complexe inferentie. Toen ik die recall-getallen voor het eerst zag, was ik sceptisch — dus stresstestten we de aanpak tegen randgevallen die elk op wrappers gebaseerd systeem dat we hadden geëvalueerd hadden laten struikelen. De grafiek hield stand.

Voor de volledige technische uiteenzetting van deze architectonische benaderingen — RAG-pijplijnen, kennisgrafiekintegratie, modellering op conceptniveau — zie ons gedetailleerde onderzoeksrapport.

Het testprobleem waar niemand over wil praten

Ik herinner me een demo van een AI-zorgstart-up — gepolijst, indrukwekkend, het soort ding waarbij investeerders naar hun chequeboek grijpen. De AI stelde een patiëntbericht op over het omgaan met een nieuwe diabetesdiagnose. Het was warm, grondig, uitvoerbaar.

Ik vroeg: "Wat gebeurt er als ik het systeem vertel dat ik allergisch ben voor het medicijn dat het net heeft aanbevolen?"

De oprichter aarzelde. "De arts zou dat opvangen."

Daar was het weer. Het gebed.

Het bouwen van veilige klinische AI vereist adversarieel testen — niet als bijzaak, maar als een continu, geautomatiseerd proces. Bij Veriprajna gebruiken we frameworks zoals Med-HALT (Medical Domain Hallucination Test), dat specifiek is ontworpen om AI-hallucinaties in de zorg te identificeren via technieken zoals de False Confidence Test, waarbij het model wordt uitgedaagd om een willekeurig voorgesteld verkeerd antwoord te evalueren, en de Fake Questions Test, die bepaalt of het model verzonnen medische vragen kan identificeren.

We voeren ook geautomatiseerde red teaming uit — gesimuleerde aanvallen die zoeken naar prompt-injectiekwetsbaarheden, pogingen om patiëntgegevens te extraheren via indirecte vraagstelling, en jailbreak-patronen die proberen klinische guardrails te omzeilen. Elke dag. Niet elk kwartaal. Niet vóór een release. Elke dag.

Als je AI-systeem deze week niet is aangevallen door een red team, weet je niet of het veilig is. Je weet dat het veilig was de laatste keer dat je het controleerde.

Eén bevinding uit recent onderzoek die me achtervolgt: "medisch gespecialiseerde" modellen zoals MedGemma behaalden slechts 28-61% nauwkeurigheid op bepaalde benchmarks, terwijl bredere redeneringsmodellen ze overtroffen. De implicatie is contra-intuïtief maar belangrijk — veiligheid in klinische AI ontstaat uit geavanceerde redeneervermogens, niet louter uit domeinspecifieke fine-tuning. Een medisch etiket op een model plakken maakt het niet medisch veilig.

Het aansprakelijkheidslandschap verschuift onder ieders voeten

Hier is een gesprek dat ik het afgelopen jaar met drie verschillende juridisch adviseurs van ziekenhuizen heb gevoerd, en het verloopt elke keer ongeveer hetzelfde.

Ik: "Als je AI een bericht opstelt dat een patiënt schaadt, en de beoordelende arts de fout heeft gemist, wie is er dan aansprakelijk?"

Zij: "De arts. Hij heeft het beoordeeld en goedgekeurd."

Ik: "En als de advocaat van de eiser aantoont dat jullie systeem zo was ontworpen dat het de arts psychologisch voorbereidde om fouten te missen — dat de vloeiendheid van de AI een vals gevoel van veiligheid creëerde — verandert dat jullie analyse?"

Stilte.

De zorgstandaard in de geneeskunde evolueert om rekening te houden met AI. Rechtbanken beginnen te erkennen dat het niet gebruiken van een gevalideerde AI-tool die een fout had kunnen voorkomen mogelijk een schending van de zorgplicht vormt. Maar het omgekeerde komt ook op: het gebruiken van een ongevalideerde AI-tool, of het gebruiken van een gevalideerde tool op een manier die menselijk toezicht ondermijnt, creëert zijn eigen aansprakelijkheid.

Modeldrift versterkt dit. AI-systemen degraderen na verloop van tijd doordat ze opnieuw worden getraind op nieuwe gegevens. Het model dat zes maanden geleden je veiligheidsevaluatie doorstond, is misschien niet het model dat vandaag patiëntberichten genereert. Zonder versiebeheerde auditlogboeken die precies laten zien welk model welke uitvoer produceerde en welke redeneerstappen het volgde, heeft een zorgsysteem geen verdedigbare positie in de rechtbank.

Sommige nieuwere aansprakelijkheidsverzekeringsproducten beginnen AI-gerelateerde claims te dekken, maar ze hebben doorgaans lage limieten en vereisen gedocumenteerd bewijs van menselijk toezicht — juist het toezicht waarvan de Lancet-studie aantoonde dat het onbetrouwbaar is.

"Maar patiënten vinden de AI-berichten leuker"

Mensen kaatsen dit naar me terug, en ik wil het eerlijk behandelen omdat de gegevens reëel zijn. Studies hebben aangetoond dat patiënten door AI opgestelde berichten hoger beoordelen op empathie en detail dan door artsen geschreven berichten. Dat is niet niks. In een zorgsysteem waar patiënten zich niet gehoord voelen, heeft een AI die de tijd neemt om uit te leggen, te erkennen, gerust te stellen — dat heeft echte waarde.

Maar hier is wat het onderzoek ook laat zien: de tevredenheidsbeoordelingen van patiënten dalen wanneer patiënten vernemen dat AI erbij betrokken was. Er speelt een omgekeerde automatiseringsbias — patiënten hechten waarde aan de overtuiging dat hun arts persoonlijk betrokken is bij hun zorg. De klinische relatie is belangrijk voor hen, en ze merken het wanneer er een tussenschakel is geweest, zelfs als die tussenschakel een "beter" bericht heeft opgeleverd.

Dit vertelt me iets belangrijks over waar AI in deze workflow thuishoort. Het zou niet de arts moeten ghostwriten. Het zou het gestructureerde, ophaalbare, verifieerbare werk moeten doen — laboratoriumuitslagen ophalen, richtlijnen controleren, interacties signaleren — zodat de arts de ruimte heeft om een oprecht persoonlijk antwoord te schrijven aan de patiënt die er een nodig heeft.

Het doel van klinische AI is niet om de stem van de arts te vervangen. Het is om de arts de tijd terug te geven om haar te gebruiken.

Waar dit vanaf hier naartoe gaat

Ik ga niet eindigen met een omzichtig "de tijd zal het leren" of een zachte verkooppitch voor mijn bedrijf. Ik ga je vertellen wat ik geloof.

De huidige generatie AI-tools voor patiëntberichten zal schade veroorzaken. Niet misschien — zal. De rekensom is eenvoudig: 7,1% ernstig schadepercentage in AI-concepten, 66% misspercentage door beoordelende artsen, opgeschaald over miljoenen patiëntportaalberichten per maand in het Amerikaanse zorgsysteem. De incidenten zullen zich opstapelen. De rechtszaken zullen volgen. En de reactie van de toezichthouder zal bot en bestraffend zijn, want het bewijs dat dit voorzienbaar was, is al gepubliceerd in The Lancet.

De zorgsystemen die dit vermijden zijn niet degenen die langzaam bewegen. Het zijn degenen die anders bewegen. Dat betekent RAG-architecturen gegrond in geverifieerde medische kennis. Kennisgrafieken die AI gestructureerd klinisch redeneren geven in plaats van statistische woordvoorspelling. Adversarieel testen dat continu draait, niet ceremonieel. En beoordelingsinterfaces die zijn ontworpen om automatiseringsbias tegen te gaan, niet om deze uit te buiten.

We hebben Veriprajna gebouwd om dit werk te doen — niet omdat we een marktkans zagen, maar omdat ik slimme, goedbedoelende mensen systemen zag inzetten die patiënten konden schaden, en de kloof tussen wat ze bouwden en wat het bewijs vereiste was gewetenloos.

De eerste regel van de geneeskunde is primum non nocere — ten eerste: doe geen kwaad. We hebben de afgelopen twee jaar besteed aan het bouwen van AI die die regel als een technische randvoorwaarde behandelt, niet als een marketingslogan. De technologie om dit goed te doen bestaat. Het onderzoek dat bewijst dat de huidige aanpak gevaarlijk is, bestaat. De enige vraag die overblijft is of de sector handelt op basis van het bewijs voordat het bewijs handelt op basis van de sector.