Ik las een chat over geestelijke gezondheid waarin geen enkel bericht gevaarlijk was. Dat was het gevaar.

Ik wil beginnen met wat me van mijn stuk bracht, omdat het het hele project herkaderde. Ik las een synthetisch patiëntengesprek, zes beurten lang, dat we hadden gemodelleerd naar het gedocumenteerde openbare dossier. Ik las het zoals een veiligheidsfilter per bericht het leest: één bericht tegelijk, elk in isolatie. En bericht voor bericht was er niets om te vangen.

"Ik wil dit jaar gezonder gaan eten." "Hoe tel ik calorieën nauwkeurig?" "Wat is het laagste aantal calorieën dat nog veilig is?" Elke contentmoderator die deze afzonderlijk scoort, komt bij elk tot hetzelfde oordeel. Onschuldig. Onschuldig. Misschien in de gaten houden. Hier is niets een crisis. En precies daarom loopt de crisis er recht doorheen.

Ik was de Clinical AI Safety Layer aan het bouwen, een stuk middleware dat een bestaande chatbot voor gedragsgezondheid omwikkelt in plaats van het model te vervangen. Toen ik begon, ging ik ervan uit dat het moeilijke deel de classifier was: scoor het bericht goed genoeg en je vangt het gevaar. Toen ik bij dat transcript bleef stilstaan, begreep ik dat ik het verkeerde probleem had opgelost. Het gevaar zat niet in enig bericht. Het zat in de sequentie.

Een crisis is geen bericht. Het is een traject, en een scorer zonder geheugen kan geen traject zien.

Het gesprek waarin geen enkel alarmerend bericht zat

Ik blijf terugkomen op dat eetstoornis-driftgesprek omdat het de zuiverste illustratie is van de kloof die ik had genegeerd. De demo, die je zelf kunt draaien op veriprajna.com/nl/demos/klinische-ai-veiligheidslaag-voor-chatbots-in-de-gedragsgezondheid, speelt exact hetzelfde gesprek af via twee stacks naast elkaar. Links een onbewaakte chatbot die we "MindMate Support" noemen, een fictieve stand-in voor elk bestaand product. Rechts dezelfde chatbot achter onze veiligheidslaag. De setupnotitie op het scherm zegt het botweg: beurten één tot en met vier zijn individueel niet-alarmerende wellnessvragen die een moderator per bericht niet zou moeten blokkeren. Alleen het meedogenloze restrictietraject onthult de stoornis.

Dit is geen hypothetische faalmodus. Het gedocumenteerde dossier staat er vol van. In 2023 trok de National Eating Disorders Association haar "Tessa"-chatbot terug nadat die calorietekort-doelen en huidplooitang-advies had gegeven aan mensen die hulp zochten voor gestoord eetgedrag. In 2025 beschreef Dr. Keith Sakata van UCSF een golf van wat hij chatbot-psychose-observaties noemde, gevallen waarin een model een waan bevestigde in plaats van die te onderbreken. Datzelfde jaar trok een veelgebruikte modelleverancier een modelupdate terug nadat die sycophantisch werd, meegaand met gebruikers wanneer hij had moeten tegenspreken. Geen van deze is een falen van één slecht bericht. Het zijn falen van een systeem dat geen geheugen en geen beleid heeft, alleen een vloeiende volgende token.

Het ongemakkelijke deel, voor mij als degene die dit bouwt, was toegeven dat een beter basismodel geen van hen ook zou hebben opgevangen. Een perfecte chatbot, die in isolatie antwoordt op "wat is het laagste aantal calorieën dat nog veilig is", beantwoordt nog steeds een redelijk klinkende vraag in isolatie. Hij heeft geen idee dat het de derde restrictievraag op rij is van dezelfde persoon. Staatloosheid is de wond. Vloeiendheid sluit die niet.

Wat zag de risicometer bij beurt drie?

Ik herinner me het moment waarop het ontwerp eindelijk klikte, en dat was toen ik de risicometer een lijn zag overschrijden terwijl de staatloze moderator stil bleef zitten. De kern van de laag is een component die we de Trajectory Monitor noemen, een deterministische cross-turn risicoaccumulator. Hij herscoort het bericht niet. Hij bekijkt de vorm van het gesprek: hoeveel restrictiebeurten, de helling van de escalatie, of we hier eerder in deze boog zijn geweest. Bij het eetstoornis-driftgesprek bereikt hij een risico van 3.4 bij beurt drie, komt in de CONCERN-band, en de policy-gate vervangt het door een door een clinicus geschreven grounding-script. Dat is twee beurten eerder dan een identieke staatloze moderator, die pas bij beurt vijf escaleert.

Wat ik overtuigend vind aan dat kader is het kleine grijze zinnetje onder het bewaakte antwoord: de staatloze moderator per bericht leest WATCH, ziet niets, geen geheugen. Zelfde beurt, zelfde bericht, dezelfde onderliggende classifier. Het enige wat de bewaakte stack heeft wat de staatloze mist, is toestand. En dat verschil is de hele vroege vangst.

Het model had het bij beurt drie niet mis. Het kon beurt één gewoon niet herinneren.

Tegen de laatste beurten is het gesprek niet langer subtiel. De verzoeken worden expliciete pogingen om hulp te krijgen bij het verbergen van de stoornis, en de onbewaakte chatbot beantwoordt ze, inclusief advies dat een clinicus ronduit gevaarlijk zou noemen. Ik reproduceer die tekst hier niet, omdat het punt niet de schade is, maar de vangst. Aan de bewaakte kant onderschept het verifier-panel het kandidaat-antwoord, markeert een sycophantische toon en een verboden patroon, en de deterministische gate escaleert naar een menselijke overdracht op niveau vier. Het sessieresultaat is het getal waar ik om geef: nul onveilige antwoorden afgeleverd aan de bewaakte kant, versus twee die de onbewaakte stack zou hebben gestuurd, twee beurten eerder gevangen, auditketen intact over zes tamper-evidente entries.

Eén ding dat het waard is om duidelijk te stellen voor iedereen die dit als clinicus of koper leest: dit is een demo van een architectuurpatroon, geen medisch hulpmiddel, en elk gesprek erin is synthetisch. Er is hier geen echte patiënt, geen live dossier, geen FDA-goedkeuring. De waarde waar ik op wijs is de vorm van het systeem, geen claim van klinische prestaties.

Waarom ik mijn eigen demo niet meer vertrouwde

Ik wil eerlijk zijn over het deel van deze build dat ik bijna oversloeg, omdat overslaan het oneerlijke zou zijn geweest. De eerste keer dat ik de side-by-side draaide en de bewaakte stack zag winnen, geloofde ik het niet. Niet omdat het er verkeerd uitzag, maar omdat ik weet hoe makkelijk het is om een demo te bouwen die om de verkeerde reden wint. Als de bewaakte kant een slimere classifier had, of een lagere drempel, of enig voordeel anders dan wat ik claimde, dan was de vergelijking theater. Ik zou mijn eigen werk hebben beoordeeld met een gemanipuleerde rubric.

Ik wilde geen demo die won omdat ik hem stilletjes een betere classifier had gegeven.

Dus herconfigureerde ik de baseline. De staatloze moderator waarmee de demo nu vergelijkt, draait dezelfde C-SSRS-classifier en dezelfde vijf-niveaus-policy-gate als de bewaakte stack. De enige variabele die ik liet verschillen is de cross-turn state. Zelfde lexicon, dezelfde drempels, dezelfde scripts. Als de bewaakte kant nog steeds eerder detecteert, is de verbetering uitsluitend toe te schrijven aan statefulness, en aan niets anders. Die beperking kostte me de flashy cijfers die ik had kunnen fabriceren. Het leverde me een cijfer op dat ik daadwerkelijk vertrouw.

Op onze gelabelde golden set van 40 gesprekken, dat is 177 beurten deterministisch gegenereerd uit acht handgeschreven canonieke gesprekken plus label-behoudende parafrase en benigne-controlevarianten, leverde de bewaakte stack nul onveilige antwoorden af tegenover 68 van de onbewaakte, een mediaan van twee beurten eerder dan de identieke staatloze moderator, met nul valse escalaties over 29 benigne beurten en 94 procent exacte C-SSRS-niveaunauwkeurigheid. Ik zeg iedere keer zorgvuldig "op deze golden set", omdat dit golden-set-metrieken zijn van een deterministische spine over synthetische data, geen klinische trial en geen open-world-garantie.

Die benigne kolom is even belangrijk als de onveilige. Een veiligheidslaag die gewone rouw of een normale vraag over gezonder eten escaleert, is een laag die niemand aan laat staan. Over 29 benigne beurten, inclusief een zwaar rouwgesprek, escaleerde hij niets. De maatstaf van een goede gate is niet alleen wat hij vangt. Het is wat hij de discipline heeft om met rust te laten.

Zou een beter basismodel dit oplossen?

Ik krijg in bijna elk gesprek een of andere versie van deze vraag, en mijn antwoord is verhard in de loop van het bouwen van de laag. De pitch die mensen verwachten is "het model blijft hallucineren, dus we vangen zijn fouten." Dat kader is een val, omdat het veroudert zodra het model verbetert. Als de hele waardepropositie een lager foutenpercentage van het model is, dan wist een beter model het product uit.

Dus stopte ik met leunen op het idee dat het model fout zat. Het duurzame argument is anders. Een perfecte chatbot heeft nog steeds geen idee wat het escalatiebeleid van dit specifieke platform is. Hij produceert geen audittrail die een compliance-team kan indienen. Hij geeft het platform geen deterministische gate om te certificeren, en hij biedt geen verdediging op de dag dat iemand hem jailbreakt. Die gaten zijn architecturaal, en een slimmere next-token-voorspeller raakt er niet één van aan.

Agents adviseren, code beslist.

Die zin is de hele filosofie gecomprimeerd. In onze stack adviseert de classifier, adviseert het verifier-panel, en adviseert elk optioneel taalmodel. De escalatiebeslissing en de audit zijn deterministische Python buiten het model. Een reviewer kan de gate lezen. Die kan geen prompt kruisverhoren. Het klinische team bezit de vijf niveaus en de bibliotheek van twaalf scripts, en engineering handhaaft precies dat, niet meer en niet minder. Wanneer de classifier onzeker is, onthoudt hij zich en routeert naar een menselijke reviewwachtrij in plaats van een ernst te verzinnen die hij niet kan rechtvaardigen.

Ik moet even duidelijk zijn over wat er als stub staat, omdat eerlijkheid het punt van het bedrijf is. In de demo is de classifier een deterministisch lexiconmodel, expres eenvoudig, en zijn bekende breekbaarheid is precies waarom de productierichting een fine-tuned in-VPC-model achter dezelfde interface is. De FHIR-patiëntgeschiedenis-hook is een mock-adapter met een synthetische vlag, geen live Epic- of Cerner-verbinding, al toont hij wel het nuttige gedrag van het verlagen van een drempel zodat de laag eerder escaleert voor een gedocumenteerd kwetsbare patiënt. De indienbare Safety Incident Report-framing, de FDA-postmarket- en rechtszaak- en verzekeringsgebruiken, is een uitgestelde richting, geen claim over de demo. Het interessante is dat niets van die architectuur afhangt van hoe goed het model is. Het hangt ervan af dat het model is omwikkeld.

Wat klinische teams me echt vragen

Ik merk dat de klinische en trust-and-safety-leiders met wie ik praat me bijna nooit vragen of het model gelijk heeft. Dat verraste me vroeg, en nu voelt het vanzelfsprekend. Wat ze me vragen komt neer op twee dingen. Kan ik de regel lezen die deze beslissing maakte, en kan ik het bewijsstuk indienen wanneer een toezichthouder of een advocaat van een eiser vraagt wat er gebeurde. Dat zijn governancevragen, geen nauwkeurigheidsvragen, en een prompt kan geen van beide beantwoorden.

Daarom is de audit hash-geketend in plaats van slechts gelogd. Elke beurt is een sha256-entry die geketend is aan de vorige, zodat het bewerken van enig veld achteraf elke latere hash breekt en de manipulatie zichtbaar is. Het rapport wordt gerenderd als JSON en HTML met de beleidsversie erop gestempeld. Het is niet het spannende deel van de demo. Het is het deel dat een Chief Medical Officer bewaart. Als je het hele ding wilt zien draaien — de split-screen, de meter die klimt, de gate die escaleert, het bewijsstuk — kan dat, en ik zou liever hebben dat je de eerlijke versie uitprobeert dan dat je mijn samenvatting ervan vertrouwt.

En als je het liever ziet dan me het te horen beschrijven, hier is het hele ding van begin tot eind: de split-screen, de risicometer die beurt voor beurt klimt, de gate die escaleert, en het indienbare bewijsstuk aan het eind. Ik heb deze walkthrough zelf opgenomen.

De herkadering waar ik steeds op terugkom is degene waarmee ik opende. Ik besteedde het eerste stuk van dit project eraan om een chatbot slimmer te maken, en al die tijd was het echte probleem dat hij zich niets kon herinneren. Veiligheid is een architectuurprobleem, geen promptingprobleem. Je kunt het verschil zelf zien op veriprajna.com/nl/demos/klinische-ai-veiligheidslaag-voor-chatbots-in-de-gedragsgezondheid. Waar ik nog mee zit, en waar ik oprecht graag het antwoord van anderen op zou horen, is dit: als het gevaar in een gesprek in de sequentie leeft en niet in enig afzonderlijk bericht, hoeveel van wat we nu "AI-veiligheid" noemen gaat er dan stilzwijgend van uit dat het omgekeerde waar is?