Het Groene Dashboard Loog: Wat Enterprise AI-Validatie Echt Moet Testen

Ik heb een goed deel van mijn carrière doorgebracht als de persoon in de vergaderruimte wiens taak het is om te zeggen: "nee, dat model is nog niet gevalideerd." In het bankwezen heeft die functie een droge naam — onafhankelijke modelvalidatie onder SR 11-7, de richtlijn van de Federal Reserve en de OCC die het modelrisico sinds 2011 reguleert. Het werk is precies zo glamoureus als het klinkt. Je leest de bijlage met beperkingen die niemand anders leest. Je vraagt de leverancier hoe het model zich gedraagt bij de gevallen die niet in de demo zitten. En zo nu en dan zit je in een auditcommissie voor een dashboard dat volledig, geruststellend groen is — elk vakje afgevinkt, elk beleid in kaart gebracht, elke compliancestatus nominaal — terwijl je met een zinkend gevoel weet dat het groen je bijna niets vertelt over de vraag of het ding daadwerkelijk werkt.

Die kloof is waar dit hele essay over gaat, en het is de reden waarom we de praktijk voor enterprise AI-validatie van Veriprajna rond één onmodieus idee hebben gebouwd: je moet de antwoorden testen, niet het proces. Een governance-dashboard certificeert dat een procedure is gevolgd. Het certificeert niet dat je AI het juiste antwoord gaf voor deze polishouder, deze lening, dit wetsartikel. De twee worden voortdurend door elkaar gehaald in bestuursvergaderingen, en die verwarring is kostbaar.

Laat me je laten zien hoe kostbaar.

Klarna Bespaarde 40% — En Verloor Toen $99 Miljoen

In 2024 vertelde Klarna de wereld dat zijn AI-assistent 700 klantenservicemedewerkers had vervangen. De assistent handelde ongeveer tweederde van de chats af in 35 talen. De kosten per transactie daalden van $0,32 naar $0,19 — ongeveer 40% — en de krantenkoppen schreven zichzelf. Dit was de toekomst: slanker, sneller, goedkoper.

Tegen halverwege 2025 herplaatsten ze software-ingenieurs en marketeers om de callcenters te bemannen. De CSAT-scores waren met 22% gedaald. Klanten liepen vast in wat de pers een "Kafkaëske lus" noemde bij de moeilijke zaken — betwiste kosten, aangevochten terugbetalingen, accountsluitingen. Klarna's Q1 2025 sloot af met een nettoverlies van $99 miljoen, tegenover $47 miljoen het jaar ervoor, ondanks 15% omzetgroei. De CEO gaf toe dat automatisering op grote schaal had "geleid tot een daling van de servicekwaliteit."

Hier is het deel dat me een tijdje kostte om te internaliseren, en het is het tegenovergestelde van de les die de meeste mensen eruit trokken. Klarna's AI werkte. Het bespaarde echt geld op wachtwoordresets en vragen over de orderstatus. De mislukking was niet dat de AI slecht was. De mislukking was dat niemand valideerde of het de 20% van de interacties aankon die het grootste deel van het financiële en reputationele gewicht dragen — de geschillen, de randgevallen, de dingen die uitmonden in verloop en klachten. Een toxiciteitsfilter zou elk van die mislukte gesprekken hebben goedgekeurd. De AI was beleefd terwijl hij faalde.

De AI zei niets aanstootgevends. Het kon alleen geen terugbetaling in meerdere valuta's navigeren waarbij een geannuleerde vlucht en een betwiste betaling betrokken waren — en dat was de 20% die ertoe deed.

Klarna is geen uitzondering. Het is de zichtbare versie van iets dat zich stilletjes voltrekt bij elke onderneming waar ik mee praat. Ergens tussen de 70% en 85% van de enterprise AI-projecten bereikt nooit de productie — een cijfer waar RAND, Gartner, BCG en McKinsey allemaal onafhankelijk van elkaar dicht bij uitkwamen. Het NANDA-onderzoek van MIT in 2025 vond dat 95% van de AI-pilots geen meetbare impact op winst en verlies opleverde. McKinsey rapporteerde dat 42% van de bedrijven de meeste van hun AI-initiatieven in 2025 opgaf, tegenover 17% het jaar ervoor. De pilots demonstreren prachtig. Ze sterven bij het contact met de gevallen die de demo nooit liet zien.

We Bouwden Eerst Het Verkeerde Ding

Ik wil eerlijk zijn over hoe we tot het testen van antwoorden in plaats van processen kwamen, want we kwamen daar niet door slim te zijn. We kwamen er door iets uit te brengen dat niet werkte en toe te kijken hoe het faalde voor de ogen van een klant.

Onze eerste versie van een AI-validatielaag was, achteraf gezien, precies datgene wat de markt al verkocht. We koppelden een respectabel guardrail-framework aan elkaar — contentmoderatie, PII-detectie, jailbreak-controles — schroefden er drift- en fairnessmonitoring op, en renderden het geheel als een schone complianceweergave. Inputs gescand. Outputs gescand op toxiciteit en gelekte persoonsgegevens. Een dashboard dat groen werd. Ik was er trots op. Het zag eruit als governance.

We legden het voor aan een pilot in een gereguleerde financiële workflow, en binnen de eerste weken produceerde de AI een antwoord dat zelfverzekerd was, goed opgemaakt, vrij van iets toxisch, zonder gelekte PII — en dat gewoon fout was over een domeinregel. Ons systeem keurde het goed. Elke controle die we hadden gebouwd was groen. De fout zat in de inhoud van het antwoord, op een plek waar geen van onze guardrails keek, omdat geen van hen het domein goed genoeg begreep om te weten dat het antwoord fout was.

Dat was de maand waarin ik ophield te geloven in de categorie waarin we ons hadden ingebouwd. Ik had jaren in modelvalidatie doorgebracht en dit gewend in de bankcontext, en ik had toch een tool gebouwd die dezelfde fout maakte die ik mijn hele carrière had opgespoord. Beveiliging is geen correctheid. Veiligheid is geen correctheid. Een groen dashboard is geen correctheid.

Een AI die beveiligd is tegen prompt-injectie kan nog steeds een reserve verkeerd berekenen, een ingetrokken wetsartikel citeren, of een lening goedkeuren die de regels voor eerlijke kredietverlening schendt. Veiligheid en correctheid zijn verschillende problemen, en vrijwel niemand test het tweede.

Waarom Stoppen De Tools Waar Je Van Gehoord Hebt Waar Ze Stoppen?

Er is nu een echte, goed gefinancierde markt van AI-tools, die groeit met zoiets als een samengesteld jaarlijks tempo van 45%, en ik wil er niet oneerlijk over zijn. De meeste van deze producten doen hun eigenlijke werk goed. Het probleem is dat hun eigenlijke werk niet het werk is waarvan de meeste kopers denken dat ze het kopen.

De governanceplatforms — Credo AI, IBM's watsonx.governance, ModelOp — brengen je AI-initiatieven in kaart tegen regelgevingskaders en volgen de compliancestatus. Credo AI werd gerangschikt als #6 in Applied AI op de 2026-lijst van Fast Company, naast Google, Nvidia en Anthropic; dit is serieus werk. Maar beleidscompliance is geen outputcorrectheid. Een groen beleidsdashboard betekent dat het papierwerk in orde is, niet dat de AI de juiste antwoorden geeft voor jouw specifieke use case.

De monitoringtools — Arthur, Galileo, Arize — bewaken metrieken op modelniveau in realtime: drift, fairness, latentie, tokenverdelingen. Nuttig. Maar ze monitoren het gedrag van het model in aggregaat, niet of een bepaalde verzekeringsberekening correct is gezien de dekkingsvoorwaarden van een bepaalde polishouder. De beveiligingstools gaan een laag dieper — Cisco betaalde rond de $400 miljoen voor Robust Intelligence in oktober 2024 en vouwde het in Cisco AI Defense, waarbij detecties werden gekoppeld aan OWASP en MITRE ATLAS. Dat is noodzakelijk. Het gaat ook nog steeds over de vraag of het model kan worden aangevallen, niet of het klopt.

Dan zijn er de guardrail-frameworks, NVIDIA's NeMo Guardrails en dergelijke, die goed zijn in contentmoderatie en PII en onderwerpfiltering — en waarvan NVIDIA zelf zorgvuldig zegt dat ze niet alles kunnen vangen, omdat de zelfcontrolemechanismen afhankelijk zijn van juist de modellen die ze bewaken. En er zijn de Big Four, die je een governancestrategie zullen verkopen voor ergens tussen de $500K en $5M over 6 tot 18 maanden en je aan het eind een PowerPoint en een shortlist van leveranciers overhandigen — een framework, geen draaiend systeem dat je op een dinsdag vertelt dat je AI het mis heeft.

Elk van deze heeft een kolom waar de bruikbaarheid ophoudt. Stapel ze allemaal op en je hebt beleid, beveiliging, drift en contentveiligheid gedekt. Je hebt nog steeds de vraag niet beantwoord die daadwerkelijk bepaalt of de uitrol leeft of sterft: is het antwoord correct voor dit geval?

Het 69%-Probleem

Als je het getal wilt dat dit concreet maakte voor mij, dan is het dit. Bij juridische due-diligencetaken heeft onafhankelijk testen de AI-foutpercentages tussen de 69% en 88% gelegd — ver boven wat de benchmarks van leveranciers suggereren. Laat dat bezinken. Niet 6,9%. Negenenzestig tot achtentachtig.

En dit zijn geen fouten die een guardrail vangt, omdat ze niet aanstootgevend of onveilig zijn. Ze zijn fout op de manier die alleen iemand die het domein kent kan zien. Tegen het einde van 2025 waren er meer dan 729 gedocumenteerde incidenten van AI-hallucinaties in juridische dossiers — tegenover 280 het jaar ervoor. Rechtbanken begonnen mensen te beboeten. In één zaak, Doiban v. OLCC, kwam de sanctie neer op $500 voor elk van 15 verzonnen citaten plus $1.000 voor de tijd van de tegenpartij die spookzaken opzocht die niet bestonden. Een van de grootste advocatenkantoren in de VS registreerde drie afzonderlijke hallucinatie-incidenten in zes maanden.

Dit zijn professionals, die hun werk dubbel controleren, in een vakgebied waar fout zijn gevolgen heeft — en toch verzon de AI jurisprudentie overtuigend genoeg om in een gerechtelijk dossier terecht te komen. Dat is de textuur van de mislukking. Het is vloeiend, plausibel en onwaar, en het leeft precies in de domeinkennis die generieke monitoring op geen enkele manier kan evalueren.

Wat Valideer Je Als De Leverancier De Doos Niet Wil Openen?

In gereguleerde industrieën houdt dit op een interessant technisch probleem te zijn en wordt het een juridisch probleem. Als een model invloed heeft op acceptatie, reservering of kapitaal, vereist SR 11-7 in het Amerikaanse bankwezen — en Solvency II Pijler 2 voor Europese verzekeraars — dat het onafhankelijk wordt gevalideerd, gedocumenteerd en continu gemonitord. Die verplichting geldt nu ook voor grote taalmodellen; een toezichthouder maakt het niet uit dat jouw model toevallig een LLM is.

En hier is het knelpunt waar ik steeds tegenaan liep. SR 11-7-validatie leunt van oudsher op het begrijpen van het model — zijn aannames, zijn interne werking, zijn grenzen. Maar de LLM-aanbieders vertellen je niet hoe het model werkt. Ik heb de e-mail in mijn archief, in verschillende formuleringen: we kunnen de interne werking van het model niet openbaar maken. Je bent wettelijk verplicht om iets te valideren dat de leverancier weigert te openen.

De enige uitweg uit dat knelpunt is te stoppen met het proberen te inspecteren van de gewichten en te beginnen met het scoren van de outputs tegen de grondwaarheid van het domein. Je bouwt een verzameling gevallen op waar je het juiste antwoord kent — de manier waarop een langlopende aansprakelijkheidsreserve moet worden vastgesteld wanneer een sublimiet van een polis en een dekkingsuitsluiting op elkaar inwerken, wat een ingetrokken wetsartikel betekent, hoe een regel voor eerlijke kredietverlening van toepassing is — en je test of de AI ze correct krijgt, op schaal, continu, elke keer dat het model wordt bijgewerkt of opnieuw afgesteld. Je valideert het gedrag dat je kunt zien, want het is het gedrag dat de toezichthouder en de klant hoe dan ook ervaren. Dat is de kern van wat we nu bouwen, en het is de enige aanpak die werkt of de leverancier de doos nu ooit opent of niet.

Wanneer je niet in het model kunt kijken, is de outputlaag de enige eerlijke plek die overblijft om te valideren — en handig genoeg is het de enige laag die je klant en je toezichthouder ooit daadwerkelijk aanraken.

Waarom "Koop Gewoon Een Platform" Ophield Het Antwoord Te Zijn

Er is een stille opstand gaande in hoe ondernemingen AI bouwen, en die is direct relevant voor validatie. Retool's 2026-rapport over zelf bouwen versus kopen vond dat 35% van de teams al ten minste één SaaS-tool heeft vervangen door een op maat gemaakte bouw, en 78% verwacht meer te bouwen. Maatwerkoplossingen, afgestemd op specifieke bedrijfslogica, laten 3 tot 5 keer het rendement van generieke wrappers zien — deels omdat ruwweg 65% van de softwarekosten pas arriveert na de implementatie, in de integratie en het onderhoud en de dingen die de wrapper niet helemaal deed.

Maar er zit een addertje onder het gras dat de "bouw het gewoon zelf"-menigte over het hoofd ziet. Om maatwerkvalidatie goed te bouwen zijn ML-infrastructuurteams nodig die de meeste bedrijven niet hebben. Dus het echte landschap is niet wrapper-versus-maatwerk. Het zijn drie opties: een generieke wrapper die je domein niet begrijpt, een doe-het-zelfproject waarvoor je geen personeel hebt, of domeinexpertsystemen die zijn gebouwd voor jouw specifieke verticale markt door mensen die dit validatiewerk eerder hebben gedaan. Die derde optie is de kloof waarin we besloten te leven. Geen dashboard dat je in licentie neemt. Geen platform waarvoor je personeel inzet. Een validatielaag gebouwd rond de daadwerkelijke waarheid van jouw domein.

"Dekt De Governance-Tool Die We Al Kochten Dit Niet?"

Mensen stellen me voortdurend een variant hierop, meestal met een toon van hoop, omdat ze het budget al hebben uitgegeven. Het eerlijke antwoord is dat je governance-tool governance dekt — en governance is oprecht noodzakelijk. Houd het. Het valideert alleen geen correctheid, en het was er nooit voor gebouwd.

Het tweede wat ze vragen gaat over de AI die ze niet kunnen zien — de schaduw-AI. Deze houdt risicofunctionarissen 's nachts wakker, en de cijfers zeggen dat dat terecht is: 78% van de werknemers gebruikt AI-tools die hun werkgever niet heeft verstrekt, en 77% van hen heeft gevoelige of vertrouwelijke informatie in die tools ingevoerd. Zowel Samsung als Amazon ontdekten hun eigen bedrijfseigen code in openbare AI-diensten. De gemiddelde schaduw-AI-inbreuk kost $4,63 miljoen. Gartner's eigen formulering is de ongemakkelijke — de grote meerderheid van de ongeautoriseerde AI-activiteit komt voort uit interne beleidsschendingen, oversharing en misbruik, niet uit externe aanvallers. Je governanceplatform kan niet besturen wat het niet kan zien, en validatie moet beginnen met het ontdekken van wat er daadwerkelijk draait.

De derde vraag is degene die het snelst aankomt. Gartner voorspelt dat 40% van de enterprise-applicaties tegen het einde van 2026 autonome AI-agents zal inbedden — agents die niet alleen antwoorden, maar handelen: databases wijzigen, transacties uitvoeren, klantcommunicatie versturen. Slechts ongeveer een derde van de organisaties meldt volwassen governance voor dit alles. Wanneer een agent een onomkeerbare actie kan ondernemen, verschuift de validatievraag van "zei het het juiste" naar "deed het het juiste," en een verkeerde actie die je niet ongedaan kunt maken is een andere categorie risico dan een verkeerde zin. De monitoring die voor chatbots is gebouwd, was er nooit voor ontworpen.

De Boetetabel Die Niemand Op De Bestuurdia Wil

Ik sluit af met het getal dat het debat meestal beëindigt, omdat het de kosten van het niet valideren leesbaar maakt voor een CFO op een manier die foutpercentages niet doen.

Vanaf 2 augustus 2026 treden de meeste resterende verplichtingen van de EU AI Act in werking — de regels voor systemen met een hoog risico, de transparantievereisten onder Artikel 50. De boete voor verboden praktijken loopt op tot €35 miljoen of 7% van de wereldwijde omzet; niet-naleving bij hoog risico tot €15 miljoen of 3%. Finland werd in januari 2026 de eerste lidstaat met volledig operationele handhavingsbevoegdheden. Dit is niet langer een toekomstig memo. Het is een begrotingspost met een datum erop.

Tel de rest van de rekening voor het overslaan van validatie op: $4,63 miljoen per schaduw-AI-inbreuk, meer dan $1 miljoen per uur tijdens een grote AI-storing, $99 miljoen wanneer de servicekwaliteit stilletjes instort, sancties in de zes cijfers per hallucinatie-incident, en een EU-boete gemeten in procenten van de wereldwijde omzet. Tegenover dat alles is de kostprijs van het goed valideren van je AI — het testen van de antwoorden, tegen jouw domein, continu — een afrondingsfout. Toch behandelen de meeste ondernemingen validatie nog steeds als een vinkje dat ze één keer zetten, niet als een discipline die ze uitvoeren.

Het groene dashboard vertelde hun dat alles in orde was. Het probleem is dat het dashboard het verkeerde ding beoordeelde. Het controleerde of ze het proces hadden gevolgd — het enige dat gemakkelijk te auditen en veilig te bezitten is, wat precies de reden is waarom het in bestuurspresentaties overleeft lang nadat het ophoudt iets te betekenen. Het vroeg nooit één keer of het antwoord correct was — en het correct zijn van het antwoord was het enige waar de klant, de toezichthouder en de verliesrekening ooit om gaven. Als je wilt zien hoe wij dat in plaats daarvan testen, hebben we de aanpak hier beschreven.

Ik houd de vierpijler-checklist van SR 11-7 nog steeds op een plek waar ik hem kan zien, en de vierde pijler is monitoring — wat alleen iets betekent als je het juiste ding monitort. Een dashboard dat je proces beoordeelt, blijft daar groen zitten terwijl je AI stilletjes de terugbetaling in meerdere valuta's, de betwiste reserve, het ingetrokken wetsartikel verprutst. Die van Klarna was ook groen, tot aan het kwartaal waarin het $99 miljoen verloor. De validatie die je daadwerkelijk beschermt is het onglamoureuze werk dat ik mijn hele carrière heb gedaan: verzamel de gevallen waarin je het juiste antwoord al kent, en controleer — keer op keer, elke keer dat het model verandert — of de machine ze nog steeds correct krijgt.