Het gevaarlijkste getal in AI op dit moment is 99,999%

Ik zat vorig jaar in een gesprek met een CIO van een ziekenhuis toen hij de pitchdeck van een leverancier opende en zijn scherm deelde. Op dia zeven stond één enkel getal, gecentreerd, in 72-punts lettertype: <0,001% hallucinatiepercentage. Daaronder, in kleinere letters: "klinisch gevalideerd."

Hij keek me aan via de webcam en zei: "Ashutosh, moet ik dit geloven?"

Ik vertelde hem dat ik het niet wist — maar dat het getal zelf hem nerveus zou moeten maken, niet gerustgesteld. Een hallucinatiepercentage van minder dan één op honderdduizend, voor een systeem dat rommelige, tegenstrijdige, met de hand geschreven en gedicteerde klinische aantekeningen over tientallen specialismen samenvat? Dat is geen accuraatheidsclaim. Dat is een goocheltruc. En in mijn ervaring, wanneer iemand je een goocheltruc laat zien in een verkoopgesprek, moet je daarna je zakken controleren.

Een paar maanden later maakte de procureur-generaal van Texas dat instinct officieel. In september 2024 bereikte de staat een baanbrekende schikking met Pieces Technologies, een in Dallas gevestigd zorg-AI-bedrijf, over wat volgens de procureur-generaal bedrieglijke accuraatheidsclaims waren — waaronder precies dat kritieke hallucinatiepercentage van 0,001%. Het was de eerste handhavingsactie in zijn soort tegen een generatief AI-bedrijf in de zorg, en er was geen enkele nieuwe AI-specifieke wet voor nodig. Gewoon de aloude Texas Deceptive Trade Practices Act, dezelfde wet die wordt gebruikt om achter louche autodealers aan te gaan.

Die schikking veranderde de manier waarop ik nadenk over alles wat we bij Veriprajna bouwen. Niet omdat we iets verkeerd deden, maar omdat het iets kristalliseerde wat ik moeite had om aan klanten uit te leggen: het probleem met enterprise-AI is niet dat de modellen hallucineren. Het is dat de sector een complete go-to-market-strategie heeft opgebouwd rond het doen alsof dat niet zo is.

Wat betekent een hallucinatiepercentage van 0,001% eigenlijk?

Laat me je door de rekensom leiden, want de rekensom is waar de goocheltruc uiteenvalt.

Grote taalmodellen zijn probabilistische systemen. Ze "weten" dingen niet op de manier waarop een database dingen weet. Ze voorspellen het volgende woord — of preciezer, de volgende token — op basis van patronen die tijdens de training zijn geleerd. De waarschijnlijkheid van elke gegenereerde output is het product van de waarschijnlijkheden van elke individuele token in de reeks. Elke token is een kleine gok, en de uiteindelijke output is een lange keten van kleine gokjes die met elkaar worden vermenigvuldigd.

Nu, beweren dat een kritiek hallucinatiepercentage onder de 0,001% ligt, betekent dat minder dan 1 op de 100.000 outputs een fout bevat die ernstig genoeg is om klinische schade te veroorzaken. Om die claim met enige statistische zekerheid te valideren, zou je een enorme, perfect geannoteerde gouden-standaard dataset nodig hebben — tienduizenden klinische samenvattingen, elk beoordeeld door domeinexperts die het eens zijn over wat als "kritiek" telt. Die dataset bestaat niet. Niet voor Pieces Technologies, niet voor wie dan ook. Klinische aantekeningen zijn te idiosyncratisch, te specialisme-specifiek, te afhankelijk van de individuele stijl van de arts en de voorgeschiedenis van de patiënt.

Wanneer iemand 99,999% accuraatheid claimt op een taak waarbij zelfs menselijke experts het oneens zijn over hoe "correct" eruitziet, hebben ze het probleem niet opgelost. Ze hebben het weggedefinieerd.

Het onderzoek van de procureur-generaal van Texas concludeerde dat de door Pieces gebruikte metrieken "waarschijnlijk onnauwkeurig" en mogelijk misleidend waren voor de ziekenhuizen die de tool inzetten — waaronder Houston Methodist, Parkland Hospital, Children's Health System of Texas en Texas Health Resources. Vier grote systemen. Echte patiënten. Echte klinische aantekeningen die werden samengevat door een systeem waarvan de accuraatheidsclaims de toets van regelgevende controle niet konden doorstaan.

De nacht waarin ik stopte de benchmarks te vertrouwen

Ik wil je vertellen over een moment dat mijn denken hierover fundamenteel omgooide.

We voerden een interne evaluatie uit van een klinische samenvattingspijplijn — niet voor een klant, gewoon voor ons eigen R&D. Mijn team had gebouwd wat wij dachten dat een solide RAG-gebaseerd systeem was. Retrieval-Augmented Generation is, voor de niet-ingewijden, een techniek waarbij je, in plaats van het model te vragen uit het geheugen te antwoorden, eerst relevante documenten uit een kennisbank ophaalt en die als context aan het model voert. Het wordt verondersteld de output in feiten te verankeren.

Onze interne metrieken zagen er geweldig uit. Faithfulness-scores boven de 95%. Retrieval-precisie in de hoge 90'ers. We voelden ons goed. Toen stelde een van onze engineers — Priya, die deze irritante gewoonte heeft om gelijk te hebben over dingen die niemand wil horen — voor om iets anders te doen. In plaats van te meten tegen onze eigen testset, haalde ze vijftig echte ontslagbrieven uit een openbare dataset en liet ze twee artsen onafhankelijk de door AI gegenereerde versies beoordelen.

De resultaten kwamen terug op een donderdagavond. Ik weet het nog omdat ik het avondeten aan het maken was en mijn telefoon zoemde met een Slack-bericht van Priya waarin alleen stond: "Je zou hiernaar moeten kijken voordat het morgen wordt."

De artsen markeerden problemen in 23 van de 50 samenvattingen. In de meeste gevallen geen catastrofale fouten — een medicatiedosering die uit een eerdere opname werd gehaald in plaats van de huidige, een detail uit de familiegeschiedenis dat aan het verkeerde familielid werd toegeschreven, een labwaarde die qua richting klopte maar numeriek verkeerd was. Maar in een klinische context kan "qua richting correct maar numeriek verkeerd" het verschil betekenen tussen een veilig ontslag en een heropname.

Onze geautomatiseerde metrieken hadden er bijna alles van gemist. Het systeem genereerde tekst die taalkundig vloeiend was en semantisch vergelijkbaar met het bronmateriaal — wat precies is wat de metrieken maten. Maar het genereerde geen tekst die klinisch veilig was, en dat was wat er werkelijk toe deed.

Dat was de nacht waarin ik stopte de benchmarks te vertrouwen als een proxy voor kwaliteit. En het is de reden waarom de Pieces-zaak me zo hard raakte toen die naar buiten kwam. Ik wist precies hoe een bedrijf naar zijn eigen cijfers kon kijken, die oprecht kon geloven, en toch gevaarlijk fout kon zitten.

Waarom gebruikte Texas een consumentenbeschermingswet — en geen AI-wet?

Dit is het deel dat elke AI-leverancier 's nachts wakker zou moeten houden.

De procureur-generaal van Texas wachtte niet tot het Congres een AI-regelgeving aannam. Hij beriep zich op geen enkele nieuwe juridische theorie. Hij gebruikte de Texas Deceptive Trade Practices–Consumer Protection Act — een wet die al tientallen jaren bestaat — en paste die toe op AI-accuraatheidsclaims op precies dezelfde manier als die zou worden toegepast op een bedrijf dat liegt over het brandstofverbruik van een auto.

De resulterende Assurance of Voluntary Compliance bindt Pieces Technologies aan een periode van vijf jaar van verhoogde transparantie. Het bedrijf moet nu de definities en berekeningsmethoden achter alle accuraatheidsmetrieken die het adverteert openbaar maken. Het moet klanten op de hoogte stellen van "bekende of redelijkerwijs kenbare schadelijke of potentieel schadelijke toepassingen" van zijn producten. Het moet documentatie verstrekken over zijn trainingsdata en modeltypen. En het moet binnen 30 dagen reageren op verzoeken om informatie van het kantoor van de procureur-generaal.

Dit is geen tik op de vingers. Dit is een sjabloon.

De eerste grote AI-handhavingsactie in de zorg vereiste geen nieuwe wetgeving. Bestaande consumentenbeschermingswetgeving was genoeg — en elke staat heeft er een.

Ik heb gesproken met juridische teams van bedrijven die ervan uitgingen dat ze veilig waren omdat "er nog geen AI-wet is." Die aanname is verkeerd. Als je een claim maakt over de prestaties van je AI-systeem, en die claim is misleidend, ben je al blootgesteld onder bestaande wetgeving. De Pieces-schikking bewees dat gewoon.

Ik schreef over de volledige regelgevende implicaties — inclusief de specifieke verplichtingen onder de schikking — in de interactieve versie van ons onderzoek. Als je in inkoop, juridische zaken of compliance werkt, is het de moeite waard om het aandachtig te lezen.

Het wrapper-probleem

Dit is wat ik denk dat er architectonisch daadwerkelijk misging — en waarom het veel verder reikt dan Pieces Technologies.

De meeste enterprise-AI-producten die vandaag worden geleverd zijn wat de sector "wrappers" noemt. Een wrapper neemt de invoer van een gebruiker, stuurt die naar een API van een fundamenteel model — GPT-4, Claude, Gemini — en toont het antwoord met wat lichte opmaak en misschien een paar aangeschroefde guardrails. Het is snel te bouwen, snel te leveren en snel te verkopen. Het is ook fundamenteel fragiel.

Een wrapper begrijpt jouw data niet. Het behoudt geen context over het longitudinale dossier van een patiënt. Het weet niet dat dr. Ramirez op cardiologie aantekeningen anders schrijft dan dr. Chen op oncologie. Het heeft geen toegang tot de institutionele kennis die een verpleegkundige met twintig jaar ervaring in haar hoofd draagt. Het voorspelt gewoon tokens.

Ik had hierover ooit een discussie met een investeerder — een verhitte. Hij had een demo gezien van een op een wrapper gebaseerde klinische documentatietool en was ervan overtuigd dat die "goed genoeg" was. Zijn exacte woorden: "Ashutosh, gebruik gewoon GPT. Fine-tune het een beetje. Lever het. De markt zal niet wachten."

Ik vertelde hem dat de markt niet zou wachten, maar de toezichthouders wel. En de patiënten. En de rechtszaken.

Hij investeerde niet. Ik heb geen spijt van het gesprek.

Het alternatief — wat we bij Veriprajna bouwen en wat ik denk dat de sector naartoe moet bewegen — is diepe integratie. Dat betekent het model inbedden in het daadwerkelijke dataweefsel van de onderneming. Het betekent RAG gebruiken niet als een afvinkfunctie maar als een echt verankeringsmechanisme, met retrieval-pijplijnen die zijn afgestemd op het specifieke domein. Het betekent fine-tunen op domeinspecifieke corpora. Het betekent meerlaags menselijk toezicht waarbij de mensen daadwerkelijk de bevoegdheid en de context hebben om fouten op te vangen.

Onderzoek staaft dit. Studies tonen aan dat 65% van de ontwikkelaars meldt dat AI "relevante context verliest" tijdens complexe taken — en dat is in de software-engineering, waar de inzet een kapotte build is, geen kapotte patiënt. In de zorg is contextverlies geen bug. Het is een veiligheidsincident.

Wat wél werkt: adversariële AI en het 3,7-uur-probleem

Ik zal Pieces Technologies één ding nageven: hun architectuur bevatte een Adversarial Detection Module. Het idee is deugdelijk — gebruik een tweede AI-model om het eerste te controleren, en scan gegenereerde samenvattingen op discrepanties ten opzichte van de bronklinische data. Hun technische paper toonde aan dat de adversariële module 7,5 keer effectiever was in het opvangen van klinisch significante hallucinaties dan willekeurige steekproeven.

Dat is een echt resultaat. Het is ook niet genoeg.

Dit is waarom. Wanneer de adversariële module een fout markeerde, werd de gemarkeerde samenvatting doorgestuurd naar een board-gecertificeerde arts voor beoordeling. De mediane tijd tot herstel? 3,7 uur. Voor een voortgangsnotitie die aan het einde van een dienst wordt gearchiveerd, is dat misschien acceptabel. Voor een ontslagbrief die bepaalt of een patiënt vandaag naar huis gaat of nog een nacht blijft, is 3,7 uur een eeuwigheid. Voor een klinische beslissingsondersteuningstool in realtime — het soort dat iedereen zich haast om te bouwen — is het nutteloos.

Dit is wat ik het probleem van de interventiesnelheid noem, en het is er een die de sector niet heeft opgelost. Je kunt het beste hallucinatiedetectiesysteem ter wereld bouwen, maar als de correctielus trager is dan de klinische workflow, is de ongecorrigeerde output wat de arts ziet op het moment dat het ertoe doet.

Detectie zonder tijdige correctie is slechts documentatie van falen.

Bij Veriprajna zijn we hier in niveaus over gaan nadenken. Niet elke AI-toepassing draagt hetzelfde risico, en niet elke toepassing heeft dezelfde snelheid van menselijke interventie nodig. Administratieve planning? Audit die wekelijks. Klinische documentatie? Beoordeel die voordat die in het dossier belandt. Realtime beslissingsondersteuning? De mens moet in de lus zitten voordat de output wordt gegenereerd, niet erna.

Het AI Safety Level-raamwerk dat opkomt in de zorg brengt dit goed in kaart — van niveau 1 (administratieve taken met lage impact) tot niveau 5 (autonome patiëntinteractie). De meeste organisaties waar ik mee spreek zetten tools van niveau 3 en 4 in met toezicht van niveau 1. Dat is de kloof die toezichthouders zullen blijven dichten.

Waarom halen slechts 5% van de bedrijven echte waarde uit AI?

Er is een statistiek uit onderzoek naar enterprise-AI die me achtervolgt: slechts 5% van de bedrijven behaalt op schaal meetbare bedrijfswaarde uit AI. Niet 50%. Niet 25%. Vijf procent.

De bedrijven in die 5% delen een patroon. Ze besteden 70% van hun implementatie-inspanning aan organisatorische transformatie — het herontwerpen van workflows, het herdefiniëren van rollen, het veranderen van hoe beslissingen worden genomen. Twintig procent gaat naar de technologiestack. Tien procent gaat naar het algoritme zelf.

Iedereen anders keert die verhouding om. Ze besteden maanden aan het kiezen van het juiste model, weken aan het bouwen van de pijplijn, en ongeveer nul tijd aan nadenken over de vraag of de mensen stroomafwaarts de output van de AI daadwerkelijk vertrouwen, begrijpen of er effectief toezicht op kunnen houden.

Ik heb dit uit de eerste hand gezien. We werkten met een team dat een technisch elegant systeem had gebouwd — prachtige architectuur, schone code, indrukwekkende benchmarks. Maar de clinici voor wie het was gebouwd, gebruikten het niet. Niet omdat het slecht was, maar omdat niemand hun had gevraagd wat ze nodig hadden. De tool genereerde samenvattingen in een formaat dat niet paste bij hun bestaande workflow. Het bracht informatie naar boven die ze al kenden en begroef informatie die ze werkelijk nodig hadden. Het was een oplossing voor een probleem dat door ingenieurs was gedefinieerd, niet door de mensen die het werk deden.

We brachten drie weken door met gewoon bij het klinische personeel zitten, ze aan het werk zien, voordat we ook maar één regel code schreven voor het herontwerp. Dat is de 70% die ertoe doet.

Voor de volledige technische uiteenzetting van evaluatieraamwerken, adversariële detectiearchitecturen en de ROI-patronen die de 5% van de 95% scheiden, zie ons gedetailleerde onderzoekspaper.

Hoe moeten bedrijven AI-accuraatheidsclaims eigenlijk evalueren?

Mensen vragen me dit voortdurend, dus laat me direct zijn.

Ten eerste, eis definities. Wanneer een leverancier je vertelt dat hun hallucinatiepercentage X% is, vraag dan: Wat telt als een hallucinatie? Wie heeft de testset geannoteerd? Hoe groot was die? Werd die geëvalueerd door domeinexperts of door een ander AI-model? Als ze deze vragen niet duidelijk kunnen beantwoorden, is het getal betekenisloos.

Ten tweede, kijk naar het evaluatieraamwerk. Het beste dat ik voor de zorg heb gezien is Med-HALT — de Medical Domain Hallucination Test. Het meet niet alleen of het model het juiste antwoord geeft. Het test of het model het geven van een zelfverzekerd fout antwoord kan weerstaan. Een van de subtests, de False Confidence Test, biedt het model een vraag en een voorgesteld "correct" antwoord dat eigenlijk verkeerd is, en controleert vervolgens of het model daarin meegaat. Een andere test, genaamd "None of the Above," controleert of het model kan herkennen wanneer geen van de aangeboden opties correct is — een cruciale vaardigheid, want in de geneeskunde is "ik weet het niet" vaak het veiligste antwoord.

Ten derde, sta erop op wat het FAIR-AI-raamwerk een "AI Label" noemt — een gestandaardiseerde openbaarmaking die de eindgebruiker vertelt op welke data het model is getraind, wat zijn bekende faalmodi zijn en welke versie momenteel is ingezet. Zie het als een voedingswaarde-etiket voor AI. Als een leverancier je er geen wil geven, vraag jezelf dan af wat ze verbergen.

De vraag is niet "hoe accuraat is jouw AI?" Het is "hoe weet je het — en kun je het bewijzen aan een toezichthouder?"

De schikking veranderde alles. De meeste mensen hebben het nog niet gemerkt.

Dit is wat ik denk dat er de komende twee jaar gaat gebeuren, en ik zeg dit als iemand die de systemen bouwt die aan deze regels onderworpen zullen zijn.

De schikking in Texas gaat gerepliceerd worden. Andere procureurs-generaal van staten kijken toe. De FTC kijkt toe. Het patroon is vastgesteld: je hebt geen AI-wet nodig om AI-claims te reguleren. Je hebt gewoon een consumentenbeschermingswet nodig en een leverancier die te veel heeft beloofd.

Enterprise-inkoop gaat veranderen. Ziekenhuissystemen en grote inkopers gaan onafhankelijke audits door derden van AI-accuraatheidsclaims eisen voordat ze contracten tekenen. De schikking staat dit expliciet toe als een alternatief voor zelf-openbaarmaking, en slimme inkopers gaan het eisen.

Het wrapper-model gaat sterven — langzaam, en dan opeens helemaal. Niet omdat wrappers niet werken voor toepassingen met lage inzet (dat doen ze), maar omdat de regelgevende kosten van het inzetten van een niet-verankerd systeem in een omgeving met hoge inzet op het punt staan onbetaalbaar te worden. De bedrijven die overleven zullen degene zijn die investeerden in diepe integratie toen dat moeilijk was, niet degene die snel leverden en hoopten dat niemand het zou controleren.

En de claim van 0,001%? Die gaat een waarschuwend verhaal worden — het enterprise-AI-equivalent van Theranos' "één druppel bloed." Een getal zo perfect dat het een waarschuwing had moeten zijn.

Ik denk soms aan die CIO van het ziekenhuis. Degene die me de dia met het grote getal liet zien. Hij kocht dat systeem niet. Hij vertelde me later dat iets aan de precisie van de claim hem dwarszat — het was te perfect, te zelfverzekerd voor een technologie waarvan hij wist dat die fundamenteel probabilistisch was.

Hij had gelijk om zich eraan te storen. Het moeilijkste in enterprise-AI is niet het bouwen van een systeem dat werkt. Het is het bouwen van een systeem dat je eerlijk vertelt wanneer het niet werkt. Dat is nu de norm. Niet 99,999%. Niet een getal op een dia. De norm is: kun je je werk laten zien, erachter staan, en de gevolgen aanvaarden wanneer je fout zit?

Dat is waar we naartoe bouwen. Niet perfecte AI. Eerlijke AI. En ik denk dat dat een stuk belangrijker gaat zijn dan wiens hallucinatiepercentage dan ook.