AI-patiëntberichten vertoonden een risico van 7% op ernstige schade

Het probleem

Een AI stelde een antwoord op voor een patiënt die een levensbedreigend symptoom beschreef. In plaats van de patiënt naar de spoedeisende hulp te verwijzen, stuurde het een kalm, routinematig antwoord. Dat ene bericht werd later geclassificeerd als een direct risico op overlijden.

Dit was geen incidenteel grensgeval. In een studie van april 2024, gepubliceerd in The Lancet Digital Health, testten onderzoekers van Harvard Medical School, Yale en de University of Wisconsin het vermogen van GPT-4 om berichten voor patiëntenportalen op te stellen. Ze voerden 156 gesimuleerde patiëntgesprekken in bij de AI binnen een gesimuleerd elektronisch patiëntendossiersysteem. De resultaten waren alarmerend: 7,1% van de door AI gegenereerde concepten vormde een risico op ernstige schade voor patiënten. En 0,6% — één bericht in de simulatie — bracht een direct risico op overlijden met zich mee.

Maar dit is het deel waar u wakker van zou moeten liggen. Twintig praktiserende eerstelijnsartsen beoordeelden die AI-concepten. Ze zagen gemiddeld tweederde van de gevaarlijke fouten over het hoofd. Slechts één op de twintig artsen merkte alle vier de opzettelijk foutieve berichten op. Tussen 35% en 45% van de foutieve concepten werd zonder enige aanpassing naar patiënten verzonden. De artsen vertrouwden de AI. Negentig procent gaf aan de prestaties van het hulpmiddel te vertrouwen. Tachtig procent zei dat het hun mentale werklast verminderde. De AI schreef goed, klonk empathisch en raakte de juiste toon. Het had alleen de geneeskunde verkeerd — en de artsen merkten het niet.

Als uw zorgorganisatie AI gebruikt om communicatie met patiënten op te stellen, is dit uw huidige risicoprofiel.

Waarom dit belangrijk is voor uw organisatie

De financiële en juridische risico's zijn hier niet theoretisch. Ze zijn meetbaar en nemen toe.

Assembly Bill 3030 van Californië trad in werking op 1 januari 2025. Deze wet verplicht elke zorginstelling, kliniek en artsenpraktijk om patiënten te informeren wanneer generatieve AI wordt gebruikt om klinische informatie te communiceren. Dat betekent schriftelijke disclaimers bovenaan e-mails, mondelinge disclaimers aan het begin en einde van telefoongesprekken en permanente disclaimers gedurende video- en chatinteracties. Als u hier niet aan voldoet, riskeren uw instellingen boetes en maatregelen tegen hun vergunning. Uw individuele artsen riskeren tuchtrechtelijke maatregelen tegen hun medische bevoegdheid.

AB 3030 bevat wel een uitzondering: als een bevoegde zorgverlener de AI-uitvoer "leest en beoordeelt", hoeft u dit niet openbaar te maken. Maar overweeg de gegevens uit de Lancet-studie:

• 7,1% van de door AI gegenereerde concepten vormde een risico op ernstige schade
• 66,6% van die gevaarlijke concepten werd over het hoofd gezien door beoordelende artsen
• 35%–45% van de foutieve concepten werd verzonden zonder enige aanpassing
• 90% van de artsen gaf aan te vertrouwen op de prestaties van het AI-hulpmiddel

Die uitzondering gaat ervan uit dat menselijke controle daadwerkelijk werkt. Het bewijs toont aan dat dit vaak niet het geval is. Als een patiënt schade oploopt door een door AI opgesteld bericht dat uw arts zonder inhoudelijke controle heeft goedgekeurd, krijgt u te maken met een claim wegens medische aansprakelijkheid in een context waarin de zorgstandaard zich snel ontwikkelt. Rechtbanken vragen zich inmiddels af of zorgverleners AI-aanbevelingen blindelings hebben overgenomen. Ze erkennen algoritmische bias als een bron van reële schade voor patiënten. En uw beroepsaansprakelijkheidsverzekeraar kan gedocumenteerde auditlogs eisen die de modelversie, de redeneerstappen en de specifieke aanpassingen van de arts aantonen.

Nieuwe verzekeringsproducten dekken inmiddels claims rond AI-hallucinaties — maar ze kennen lage limieten en strikte documentatie-eisen voor toezicht. Als u die documentatie niet kunt overleggen, is uw dekking mogelijk niet geldig.

Wat er werkelijk onder de motorkap gebeurt

De meeste AI-hulpmiddelen in de gezondheidszorg zijn vandaag de dag wat de sector noemt "LLM-wrappers". Zie ze als een dunne softwareschil rond een AI voor algemene doeleinden zoals GPT-4 of Google Gemini. Uw elektronisch patiëntendossier stuurt het bericht van de patiënt naar de AI, en de AI stuurt een concept terug. Dat is in wezen het volledige systeem.

Dit is waarom dat gevaarlijk is. Deze modellen voorspellen het volgende woord in een zin op basis van statistische patronen. Ze redeneren niet over geneeskunde. Ze controleren geen interacties tussen geneesmiddelen. Ze beoordelen niet of het symptoom van een patiënt een ongemak op dinsdagochtend is of een noodgeval op zaterdagavond. Uit de Lancet-studie bleek dat de meest kritieke fouten van de AI voortkwamen uit het onvermogen om te beoordelen hoe urgent de situatie van een patiënt was.

Stelt u zich een medewerker voor die memo's schrijft door zinnen te kopiëren uit duizenden oude memo's. De grammatica is perfect. De toon is professioneel. Maar de medewerker heeft geen idee wat de woorden werkelijk betekenen. Dat is hoe een AI voor algemene doeleinden omgaat met uw patiëntberichten.

Deze modellen hebben ook kennisgrenzen — vaste data waarna ze niets meer weten. Ze kunnen niet verwijzen naar de recentste laboratoriumuitslagen van uw patiënt of de nieuwste klinische richtlijnen, tenzij iemand die koppeling bouwt. Ze kunnen vaak geen beeldvorming, ecg-golfvormen of genomische data verwerken. En zonder een specifieke HIPAA Business Associate Agreement en protocollen voor datamaskering creëert het versturen van patiëntgegevens via een algemene AI-API een ernstig privacyrisico. Adversariële prompt injection-aanvallen kunnen deze modellen mogelijk misleiden om gevoelige patiëntinformatie vrij te geven.

Het resultaat: uw AI klinkt zelfverzekerd. Uw artsen vertrouwen erop. En niemand merkt de fouten op totdat een patiënt schade oploopt.

Wat werkt (en wat niet)

Ten eerste zijn hier drie benaderingen die dit probleem niet oplossen:

"Train artsen gewoon om voorzichtiger te zijn." Automatiseringsbias is een goed gedocumenteerd psychologisch effect. Wanneer AI verzorgde, empathische tekst produceert, laten zelfs ervaren clinici hun waakzaamheid varen. De Lancet-studie bewees dit met statistische significantie (p < 0,001).

"Fine-tune een medisch AI-model." Onderzoek toont aan dat gespecialiseerde medische modellen zoals MedGemma slechts 28%–61% nauwkeurigheid behaalden in bepaalde hallucinatietests. Domeinspecifieke fine-tuning alleen lost de onderliggende redeneerkloof niet op.

"Voeg een disclaimer toe en ga verder." Naleving van AB 3030 is noodzakelijk maar niet voldoende. Een disclaimer voorkomt geen schade. Het vertelt de patiënt alleen wie de schuldige is.

Dit is wat wél werkt — een gegronde architectuur opgebouwd in drie stappen:

Stap 1: Ophalen vóór het genereren. Voordat uw AI ook maar één woord schrijft, moet het relevant bronmateriaal ophalen. Dit heet Retrieval-Augmented Generation (RAG) — een techniek waarbij u de AI geverifieerde documenten voedt, zoals de klinische notities van de patiënt, actuele behandelrichtlijnen en institutionele protocollen. De AI genereert vervolgens zijn antwoord uitsluitend op basis van die opgehaalde informatie, niet op basis van zijn algemene trainingsdata.

Stap 2: Structureer uw kennis als een graaf. Een Medical Knowledge Graph brengt klinische concepten in kaart als onderling verbonden relaties — een geneesmiddel is gekoppeld aan de contra-indicaties ervan, die weer gekoppeld zijn aan specifieke patiëntcondities. Systemen zoals MediGRAF gebruiken graafdatabases om gewone vragen om te zetten in nauwkeurige query's. Dit levert 100% recall op bij feitelijke klinische vragen, omdat het systeem geverifieerde relaties doorloopt in plaats van statistische gissingen te doen.

Stap 3: Citeer elke bewering. Elke uitspraak in de uitvoer van de AI moet terugverwijzen naar het brondocument. Uw beoordelend arts hoeft niet te raden of de AI gelijk heeft. De arts kan elke bewering binnen enkele seconden verifiëren aan de hand van de geciteerde bron. Dit transformeert passieve controle in actieve verificatie.

Het voordeel van het audittraject maakt deze aanpak verdedigbaar. Elk door AI gegenereerd concept bevat een registratie van welke documenten zijn opgehaald, welke paden in de kennisgraaf zijn doorlopen en welke bron elke uitspraak ondersteunt. Wanneer uw complianceteam, uw verzekeraar of de advocaat van een eiser vraagt hoe een specifiek bericht tot stand is gekomen, kunt u hen het volledige logicaspoor tonen. Dat is het verschil tussen een verdedigbaar proces en een aansprakelijkheidsrisico.

Voor uw compliance- en veiligheidsprogramma's voor AI in de zorg, is deze architectuur niet optioneel — het is de opkomende zorgstandaard. Dezelfde principes gelden voor uw RAG- en kennisgraafinfrastructuur en voor de red teaming en validatietests die uw systemen dagelijks aan stresstests moeten onderwerpen.

U kunt de volledige technische analyse lezen voor de gedetailleerde technische specificaties, of de interactieve versie verkennen voor een begeleide rondleiding door de architectuur.