De zaken waren echt. Toch kon ik de AI er niet voor laten instaan.

De eerste keer dat ik zag dat mijn eigen tool weigerde om drie echte Supreme Court-zaken te zegenen, was ik er zeker van dat hij kapot was.

Ik draaide een voorbeeldbrief die ik "Misapplied Precedent" had genoemd. Hij citeerde Erie Railroad v. Tompkins, 304 U.S. 64, voor het bestaan van een uniform lichaam van federal common law, wat ongeveer het tegenovergestelde is van wat Erie daadwerkelijk oordeelde. Hij steunde op Celotex Corp. v. Catrett, 477 U.S. 317, en Baker v. Carr, 369 U.S. 186, voor stellingen waarvoor de uitspraken niet staan. Elk van die zaken is echt. Ik verwachtte dat mijn support-check ze rood zou markeren, ze zou stempelen als Unsupported, en ermee klaar zou zijn. In plaats daarvan kwamen alle drie terug met een stiller oordeel: Needs Review. Mijn eerste instinct was dat het taalmodel had gefaald op het makkelijke deel.

Het kostte me een beschamend lange avond om te begrijpen dat het instinct de bug was, en dat die in mij zat, niet in het systeem.

Een zelfverzekerde stempel "Unsupported" op een subtiele verkeerde lezing van Erie zou een bluf zijn geweest. De uitspraak is lang, het misbruik is een kwestie van juridisch oordeel, en het model kan vanuit een fragment de negatie niet vaststellen met de zekerheid die een rood oordeel impliceert. De eerlijke zet, die ik per ongeluk had gebouwd en daarna bijna in frustratie uit de code had gehaald, was om het door te sturen naar een mens met de tegenstrijdige context erbij. Onthouding was niet de mislukking. Onthouding was juist het hele punt. Als je het zelf wilt zien beslissen, staat het hier: veriprajna.com/nl/demos/verificatie-en-governance-van-juridische-ai-citaten.

Dit essay gaat over de aanname waarmee ik begon, die bijna iedereen die nu legal AI bouwt deelt, en over de trage, specifieke manier waarop het bouwen van de demo die aanname ontleedde. De aanname is dat het hallucinatieprobleem wordt opgelost door een beter model. Dat geloof ik niet meer, en niet omdat ik twijfel of de modellen zullen verbeteren.

De week waarin ik het ene model het andere probeerde te laten bewaken

Ik besteedde ongeveer een week aan de poging om een taalmodel de betrouwbare rechter van een ander taalmodel te laten zijn, en ik wil eerlijk zijn: het werkte niet.

De opzet leek redelijk. Een of ander model schrijft een brief, van Harvey of Lexis Protégé of een open-source model, het maakt niet uit welk. Dan leest een tweede model elke citatie tegen de zaak waarnaar hij verwijst en oordeelt of de uitspraak de claim ondersteunt. Twee modellen, een nette check, het soort architectuur dat een design review overleeft. Ik verwachtte echt dat de oordeelsstap het makkelijke deel zou zijn. Het was juist het deel dat niet stil wilde blijven staan.

De mislukking was niet luid, en dat maakte hem gevaarlijk. Ik liet dezelfde brief drie keer door de support-check lopen en kreeg twee keer "Needs Review" en één keer een zelfverzekerd groen, zonder wijziging aan de input. Bij de Bell Atlantic Corp. v. Twombly citatie, 550 U.S. 544, een echte zaak, besloot het model soms dat de uitspraak de geciteerde stelling duidelijk vaststelde en soms dat dat net niet zo was. Beide lezingen waren verdedigbaar. Dat was precies het probleem. Een oordeel dat je niet kunt reproduceren is geen oordeel. Het is een second opinion in een toga.

Ik vroeg een probabilistisch systeem om de deterministische poort te zijn op een ander probabilistisch systeem, en noemde het resultaat verificatie.

Dat is geen verificatie. Dat is twee modellen die het eens zijn, wat een zwakkere en veel grilligere zaak is. Als de reden dat je een check nodig hebt is dat de output van het eerste model niet klakkeloos te vertrouwen is, kan de output van het tweede model niet het ding zijn waarop je vertrouwt om die te checken. Ik had een spiegelzaal gebouwd en stond op het punt er een compliance-sticker op te plakken. De rechtbank aan de andere kant geeft niet om hoe zelfverzekerd beide modellen waren. Die wil weten of de zaak bestaat en of die zegt wat je beweerde. Dat zijn twee vragen, en ik had ze als één behandeld.

Wat is gevaarlijker, een verzonnen zaak of een echte die verkeerd wordt gebruikt?

Wat me verraste tijdens het bouwen was het besef dat de twee mislukkingen compleet andere machinerie nodig hebben, en dat de industrie er grotendeels één van levert.

Een verzonnen citatie is, vreemd genoeg, de vriendelijke mislukking. Halstead v. Ferngate Holdings, 823 U.S. 1199, komt voor in een van de voorbeeldbriefs, met totale vloeiendheid geciteerd voor de stelling dat punitive damages categorisch zijn uitgesloten. Hij bestaat niet. De United States Reports heeft geen volume 823. Dat kun je met zekerheid bewijzen, niet door een model te vragen wat het denkt, maar door echte jurisprudentie te bevragen en een zero-result lookup terug te krijgen. Dat is rekenkunde tegen een autoriteit, geen oordeel. Het is het soort ding dat code moet beslissen, en elke keer op dezelfde manier.

De gevaarlijke mislukking is de echte zaak die voor het verkeerde wordt geciteerd. Erie is een echte, beroemde, correct geformatteerde citatie. Elk fabricatiefilter ter wereld laat hem door, juist omdat hij niet verzonnen is. Het volume bestaat, de pagina bestaat, de uitspraak bestaat. Wat fout is, is de relatie tussen de geciteerde zaak en de zin die hem aanvoert, en die relatie is een kwestie van juridisch lezen, niet van bestaan. Een source-matching check behandelt "deze zaak is echt" en "deze zaak ondersteunt mijn claim" als hetzelfde feit. Ze liggen niet eens in de buurt.

Dus beginnen de cijfers die mensen over legal AI citeren zin te krijgen. Zelfs purpose-built tools hallucineren in percentages die je koud zouden moeten laten staan: Westlaw Precision op 33 procent en Lexis+ op 17 procent in de Stanford RegLab-studie gepubliceerd in het Journal of Empirical Legal Studies, 2025. Begin 2026 waren er 1.222 gedocumenteerde rechtszaken met AI-gehallucineerde citaties, en rechtbanken zijn begonnen te sanctioneren, waaronder een boete van 30.000 dollar van het Sixth Circuit in maart 2026. De verzinsels zijn de mislukkingen waarvan je je tenminste kunt voorstellen dat je ze vangt. De echte-maar-verkeerd-toegepaste cite is degene die eruitziet als zorgvuldigheid tot een rechter de uitspraak leest die je citeerde en ontdekt dat die het tegenovergestelde zegt.

Een verzonnen zaak is een leugen die je kunt weerleggen. Een echte zaak geciteerd voor de verkeerde holding is een leugen die elke test passeert die is gebouwd om de eerste soort te vangen.

Waarom ik de engine in tweeën splitste

Ik stopte met proberen één systeem beide jobs te laten doen op de avond dat ik accepteerde dat het verschillende jobs waren.

De existence check en de fabrication catch werden deterministische Python tegen echte jurisprudentie. Geen prompt, geen temperature, geen "as an AI language model." Neem de citatie, zoek hem op in een onafhankelijke autoriteit, en als de zaak echt afwezig is, is hij fabricated, aantoonbaar, en kan hij nooit de poort passeren. Die laatste clausule is de ene garantie die ik botweg wil uitspreken, omdat het een unit-tested invariant is in plaats van een hoop: zero fabricated citations can pass the policy gate. Er is een test die precies zo heet, en die hoort bij de 8 van de 8 die slagen op de gebouwde demo.

De support-check bleef een enkele taalmodelstap, omdat beoordelen of een echte uitspraak een stelling ondersteunt echt een leestaak is, en het model een goede lezer is. Maar ik gaf hem expliciet toestemming om zich te onthouden, en ik stopte met onthouding als een bug te behandelen. Wanneer hij de claim niet in de tekst van de uitspraak kan gronden, routeert hij naar een mens in plaats van te gokken. Het model adviseert. De deterministische poort en de advocaat beslissen. Uiteindelijk zei ik tijdens het bouwen constant twee dingen. Het ene is agents adviseren, code beslist. Het andere is dat ik een LLM niet de uiteindelijke rechter van een LLM ga laten zijn.

Ik wil precies zijn over de splitsing, omdat de verleiding is om die tot een grotere belofte te vervagen dan hij is. De deterministische delen — existence, fabrication, outside-coverage, en de poort — zijn exact en reproduceerbaar. De support-check is dat niet. Hij is non-deterministisch, en geeft ontwerpmatig alleen een cite groen wanneer de tekst van de uitspraak de holding duidelijk vaststelt, zoals Miranda v. Arizona, 384 U.S. 436, doet bij waarschuwingen bij custodial interrogation, en stuurt de cite anders door naar review. Welke specifieke echte cites groen krijgen versus naar een mens worden gerouteerd, kan van run tot run verschillen. Dat is geen ruwe rand die ik verberg. Het is de eerlijke vorm van het probleem, en doen alsof het anders is, is precies de zet waartegen ik probeer te bouwen.

Wat "8 van de 8" werkelijk mag betekenen

Ik houd mezelf aan een regel over cijfers, omdat het bedrijf dat ik bouw Veriprajna heet, wat ware wijsheid betekent, en zo'n naam is een permanente uitdaging om te overclaimen.

Er staan bewijscijfers in de demo en die betekenen smalle dingen. 8 van de 8 offline-unittests slagen, inclusief degene die bewijst dat geen verzonnen cite de poort kan passeren en degene die bewijst dat een onbereikbare autoriteit als unproven wordt behandeld in plaats van fabricated. Er zijn 20 echte zaken gecached uit CourtListener als de lokale ground truth. Die beschrijven de scope van de gebouwde demo. Ze zijn geen claim over jouw brief of de open wereld. De fabrication-garantie is gezaghebbend omdat hij live jurisprudentie bevraagt en een ontbrekende zaak een feit is. De support-check-adjudicatie wordt op kleine schaal gedemonstreerd op echte zaken, en ik zal die niet opblazen tot een universeel accuracynummer, want dat is het niet.

Hier is de zin die ik weiger in te korten, ook al zou een kortere versie beter verkopen. Een brief zonder verzonnen cites is niet automatisch veilig om in te dienen. Wanneer zelfs één echte citatie nog een mens nodig heeft om te bevestigen dat hij correct wordt gebruikt, houdt de poort de indiening op Not Filing-Ready, en dat is terecht. Ik heb gezien hoe mensen precies het omgekeerde willen: dat een brief die er schoon uitziet zelf een groen licht verdient. Dat is precies het instinct waardoor een advocaat wordt gesanctioneerd.

Dat certificaat betekent meer voor mij dan welk accuracynummer dan ook, en daarom moeten de deterministische en non-deterministische stukken gescheiden blijven. Reproduceerbaarheid is wat een beslissing certificeerbaar maakt. Ik kan je de bon geven. Deze cite is gecheckt tegen CourtListener, het volume bestaat niet, oordeel fabricated, poort houdt. Je kunt hem opnieuw draaien en het identieke resultaat krijgen. Een LLM-rechter, zelfs een goede, kan je dat niet beloven, en ik heb de avond meegemaakt van drie runs en drie verschillende antwoorden. Ik bouw geen compliance-dossier bovenop een muntworp.

Ik zeg ook botweg, omdat de standaard die ik aanhoud dat eist, dat dit een verificatielaag is en geen researchtool. Hij schrijft geen briefs en vindt geen zaken. Hij concurreert niet met Harvey of Westlaw of Lexis. Hij zit om wat zij produceren heen en vertelt de advocaat wat veilig is om in te dienen en precies wat een mens nodig heeft. De full-text grounding voorbij het openbare fragment van de uitspraak heeft een gratis CourtListener-token nodig, de document-managementconnector in de demo is een mock, en enkele features zoals een PDF-certificaat zijn uitgesteld. Wat echt is, is het mechanisme: de checks, de onthouding, de deterministische poort, en het audittrail, allemaal draaiend tegen echte jurisprudentie.

Is onthouding niet gewoon het model dat de moeilijke beslissing ontwijkt?

Ik krijg bijna in elk gesprek een versie van deze vraag, meestal van een engineer, en mijn antwoord is in de loop van de tijd korter en zekerder geworden.

Nee. Onthouding is de moeilijke beslissing, eerlijk gemaakt, en weigeren die te maken is de echte ontwijking. Het verleidelijke alternatief is een systeem dat altijd een scherp oordeel teruggeeft, groen of rood, op elke citatie. In een demo oogt het prachtig. Het liegt ook, omdat sommige citaties vanuit de beschikbare tekst echt niet met vertrouwen zijn te beoordelen, en een systeem dat dat nooit zegt, fabriceert zekerheid die het niet heeft. Het waardevolste wat een high-stakes AI kan doen, is je vertellen waar het eigen oordeel ophoudt. In een domein waarin een zelfverzekerde fout je cliënt een sanctie oplevert, is een gekalibreerd "ik weet het niet zeker, een mens moet hiernaar kijken" meer waard dan een vloeiende gok.

Daarom denk ik dat dit werk de huidige modelgeneratie overleeft. De industrie blijft het hallucinatieprobleem wegbeloven met het volgende model. Geef het allemaal toe: grotere context, schonere training, een lager fabricatiepercentage. Een perfect model dat nooit een zaak verzint, zal nog steeds vrolijk een echte citeren voor een stelling die hij niet ondersteunt, omdat die zin van binnenuit het conceptstuk waar klinkt en precies is wat je vroeg. De kloof tussen "deze zaak bestaat" en "deze zaak ondersteunt mijn claim" is geen kloof die schaal dicht. Het is een governance-vraag, en governance is een eigenschap van het systeem dat je om het model heen bouwt, niet een vermogen waar je op wacht tot het model dat ontwikkelt.

Een rechtbank geeft niet om hoe zelfverzekerd je model was. Die wil weten of de citatie bestaat en zegt wat je beweerde. Dat is geen groter-modelprobleem. Het is een bouw-de-juiste-laag-probleem.

De toezichthouders zien het al zo, en dat is het waard om bij stil te staan. ABA Formal Opinion 512 en meer dan 300 judicial standing orders eisen nu dat advocaten AI-output verifiëren vóór indiening, en minder dan 20 procent van de kantoren heeft überhaupt een AI-gebruiksbeleid. De verplichting is niet "gebruik een slimmer tool." De verplichting is "bewijs dat je hebt gecheckt." Bewijs, herkomst en eerlijke onthouding zijn geen dingen die een betere schrijver je geeft. Het zijn dingen die een verificatielaag je geeft, en ze houden stand bij elke modelkwaliteit, precies daarom denk ik dat ze het duurzame deel zijn.

De vraag die ik stel vóór ik indien

Ik merkte dat wat deze build in mij veranderde kleiner was dan de these, en langer heeft geduurd.

Ik stopte met vragen of een door AI geschreven claim waar is, omdat ik dat vaak kan beantwoorden en het blijkt niet genoeg te zijn. De Erie-citatie wees, in enge zin, naar een echte zaak. De moeilijkere vraag, die ik nu stel voordat iets wat door AI is opgesteld mijn handen verlaat, is of ik nu, meteen, kan bewijzen dat precies deze bron precies deze claim ondersteunt, en of dat bewijs zou standhouden tegen iemand die het voor een rechter wilde laten falen.

Dat is een governance-vraag, geen modelvraag. Hij wordt niet makkelijker naarmate het model beter wordt, omdat wat gevraagd wordt niet is "kan het model een betere zin schrijven" maar "kun jij achter deze ene staan." En het nuttigste antwoord dat mijn eigen systeem me ooit geeft, is niet het groene vinkje. Het is het moment dat hij een echte zaak op Needs Review houdt en mij, een mens, de uitspraak laat gaan lezen. Als je wilt zien waar ik uitkwam, staat het hier nog eens: veriprajna.com/nl/demos/verificatie-en-governance-van-juridische-ai-citaten.

En als je het liever wilt zien dan lezen hoe ik het beschrijf, hier is het hele ding end-to-end draaiend, in mijn stem.

Dus de vraag die ik je wil nalaten is degene die de hele build herschikte. Wanneer de AI je iets zelfverzekerds en schoons aanreikt, heb je dan een laag die bereid is te zeggen "ik weet het niet zeker, een mens moet kijken"? Want zelfvertrouwen is goedkoop, en in het werk dat echt risico draagt, is aantoonbare onthouding het product.