Kunt u AI vertrouwen bij het bepalen van juridische aansprakelijkheid?

Het probleem

Onderzoekers van Stanford ontdekten dat toonaangevende AI-modellen hallucineren — dus ze fabriceren feiten of verzinnen juridische bronvermeldingen — bij 69% tot 88% van de juridische vragen. Stelt u zich nu voor dat diezelfde technologie beslist wie een auto-ongeval heeft veroorzaakt, wie de claim betaalt en wie met een rechtszaak wordt geconfronteerd. Dat is precies wat er op dit moment in de verzekerings- en juridische sector gebeurt.

Bedrijven haasten zich om Large Language Models in te zetten als geautomatiseerde rechters. Deze systemen lezen politierapporten, verklaringen van getuigen en aantekeningen van schadebehandelaars. En wijzen vervolgens de schuld toe. De aanname is dat als een AI kan schrijven als een advocaat, het ook als een advocaat kan denken. Die aanname is onjuist. LLM's voorspellen het volgende woord in een zin. Ze begrijpen geen natuurkunde, geen verkeerswetgeving en geen oorzaak en gevolg. Ze genereren tekst die gezaghebbend klinkt, maar het redeneren erachter kan pure fictie zijn.

Het whitepaper van Veriprajna zegt het ronduit: een LLM vragen om aansprakelijkheid te beoordelen is als een dichter vragen om natuurkunde te doen. U krijgt een prachtig antwoord. Het zal waarschijnlijk fictie zijn. Als uw organisatie raakt aan claims, compliance of juridische beslissingen, dan is dit gat tussen vloeiendheid en nauwkeurigheid uw probleem om op te lossen.

Waarom dit belangrijk is voor uw bedrijf

De financiële en regulatoire blootstelling hierbij is niet theoretisch. Ze is meetbaar, en ze is groot.

LLM's introduceren specifieke, gedocumenteerde biases in elke beslissing die ze nemen. Wanneer die beslissingen geld, aansprakelijkheid en juridische rechten betreffen, raken de gevolgen uw bedrijfsresultaat rechtstreeks.

• 69% tot 88% hallucinatiegraad bij juridische vragen. Stanford-onderzoek toont aan dat top-AI-modellen in alarmerende mate wetten verzinnen, jurisprudentie fabriceren en juridische regels verkeerd weergeven. Als uw geautomatiseerde systeem een wet citeert die niet bestaat, riskeert u litigatie wegens kwade trouw en regelgevende boetes.
• Uitvoerigheidsbias bevoordeelt de welbespraakten, niet de waarachtigen. Onderzoek naar LLM-as-a-judge-systemen laat zien dat modellen zoals GPT-4 consequent hogere betrouwbaarheidsscores geven aan langere, meer gedetailleerde antwoorden — zelfs wanneer het kortere antwoord feitelijk sterker is. In een claimgeschil betekent dit dat een verhaal van 500 woorden vol emotionele details kan winnen van een feitelijk correcte verklaring van 50 woorden. Uw systeem kan uitspraken doen tegen eerlijke polishouders ten gunste van welbespraakte maar nalatige claimanten.
• 100% inconsistentierisico. Voer hetzelfde politierapport tien keer door een LLM en u krijgt mogelijk tien verschillende aansprakelijkheidsuitspraken. Probabilistische tekstgeneratie kan niet garanderen dat dezelfde feiten tot hetzelfde vonnis leiden. Die inconsistentie is een nachtmerrie voor compliance.
• Claimlekkage door onjuiste schuldverdelingen. Een probabilistisch systeem zou kunnen kiezen voor een 50/50-verdeling van de aansprakelijkheid omdat de verhalen rommelig zijn. Een op regels gebaseerd systeem zou een duidelijke 100/0-verdeling aan het licht kunnen brengen op basis van een specifieke overtreding van de verkeerswetgeving. Elke foute verdeling kost u geld.

Voor uw General Counsel is dit litigatierisico. Voor uw CFO is dit onbeheerste claimlekkage. Voor uw risk officer is dit een systeem dat niet te auditen valt en niet aan een toezichthouder kan worden uitgelegd.

Wat er werkelijk onder de motorkap gebeurt

Om te begrijpen waarom AI faalt in juridische oordelen, moet u begrijpen wat het eigenlijk doet. Een LLM redeneert niet. Het voorspelt. Gegeven een reeks woorden berekent het het statistisch meest waarschijnlijke volgende woord. Dat is alles.

Zie het als de automatische tekstaanvulling op uw telefoon — maar opgeschaald tot het schrijven van alinea's. Uw telefoon begrijpt niet wat u wilt zeggen. Het gokt op basis van patronen. LLM's doen hetzelfde, alleen met meer data en langere outputs. Bij het schrijven van een e-mail werkt dat prima. Bij de vraag wie een verkeersongeval heeft veroorzaakt, valt het uit elkaar.

Het whitepaper identificeert vier specifieke faalmodi:

Uitvoerigheidsbias betekent dat het model lengte als bewijs behandelt. Een bestuurder die een levendig verslag van 500 woorden schrijft over het weer, zijn emoties en de "agressie" van de andere bestuurder krijgt meer gewicht dan een bestuurder die simpelweg schrijft: "Ik stopte. Ik keek. Ik reed door. Ze ramden me." Het model verwart tokendichtheid met bewijsdichtheid.

Sycophantie betekent dat het model het eens is met wie de vraag stelt. Als een schadebehandelaar het systeem voedt met "analyseer dit om te zien of de eiser te hard reed", is de kans statistisch groter dat het model bewijs van snelheid vindt — zelfs als dat er niet is. Dit is confirmation bias als dienst geleverd.

Hallucinatie betekent dat het model feiten en wet verzonnen. Het kan lezen dat een auto "ernstige schade aan de voorkant" had en als vaststaand feit melden dat het voertuig te hard reed — zonder gegevens over remspoeren of telemetrie. Het vult narratieve gaten op met plausibel klinkende fictie.

Falen van abductief redeneren betekent dat het model niet vanuit het bewijs terug kan redeneren naar de beste verklaring. Het kan geen mentale simulatie uitvoeren: "Als deze bestuurder was gestopt, zou de botsing dan nog zijn gebeurd?" Het voorspelt gewoon de volgende zin in een botsingsverhaal. Dat is geen justitie. Dat is automatische tekstaanvulling met gevolgen.

Wat wél werkt (en wat niet)

Voordat we uitleggen wat werkt, eerst wat niet werkt:

"Gebruik gewoon een betere prompt." Prompt engineering lost structurele bias niet op. Uitvoerigheidsbias en sycophantie zitten ingebakken in hoe modellen worden getraind. Een betere prompt kan geen probabilistisch systeem deterministisch maken.

"Voeg een mens toe aan het proces." Als uw menselijke reviewer AI-output controleert die er al gezaghebbend en goed geschreven uitziet, is de kans groot dat hij deze goedkeurt. Het hele probleem is juist dat LLM-output overtuigend klinkt, zelfs wanneer deze onjuist is.

"Fine-tune het model op juridische data." Fine-tuning kan domeinvocabulaire verbeteren. Het lost hallucinatie niet op en geeft het model geen begrip van natuurkunde, causaliteit of wettelijke logica. Een gefinetund model voorspelt nog steeds woorden, geen waarheid.

Wat wél werkt, is het scheiden van de taken waar AI goed in is van de taken waar het slecht in is. Veriprajna noemt dit een neuro-symbolische benadering. Zo werkt die architectuur, in drie stappen:

Stap 1: Extractie (AI doet wat AI goed kan). De LLM leest uw ongestructureerde politierapporten, getuigenverklaringen en aantekeningen van schadebehandelaars. Zijn enige taak is het eruit halen van gestructureerde feiten: voertuigen, bestuurders, verkeersvoorzieningen, handelingen, omstandigheden. Deze brengt het in kaart volgens een strikt vooraf gedefinieerd schema — een formele woordenschat van meer dan 110 entiteits- en relatietypes. Als het model iets probeert uit te voeren dat het schema schendt (zoals een stopbord plaatsen waar er volgens de kaart geen staat), vlagt het systeem het conflict. De AI is een klerk, geen rechter.

Stap 2: Reconstructie (bouw een digitale tweeling van de gebeurtenis). Die geëxtraheerde feiten worden geladen in een kennisgraf — een gestructureerde weergave van alles wat er is gebeurd. Voertuigen worden knooppunten. Handelingen worden randen. Verkeerswetten worden uitvoerbare logische regels, geen samen te vatten tekst. Het systeem gebruikt formele deontische logica om verplichtingen, verboden en permissies rechtstreeks uit wetten zoals California Vehicle Code § 21802 te coderen. "Stopte de bestuurder?" wordt een ja-of-nee-controle tegen de grafstructuur, geen meningskwestie.

Stap 3: Vaststelling (logica bepaalt de schuld, geen taal). Het systeem past de geformaliseerde verkeersregels toe op de gereconstrueerde gebeurtenisgraf. Het toetst de handelingen van elke agent aan de wetten die gelden op diens specifieke locatie. Het draait contrafactische simulaties: "Was deze botsing gebeurd als de bestuurder was gestopt?" Verdwijnt het botingsknooppunt in de gesimuleerde alternatieve wereld, dan is de overtreding de oorzaak. De output is een gestructureerd aansprakelijkheidsrapport waarin elke conclusie herleidbaar is tot een specifiek feit en een specifieke regel.

Hier moet uw complianeteam goed opletten. Elke beslissing is herleidbaar tot een specifiek knooppunt in de grafstructuur en een specifieke regel in de logica-engine. U kunt de volledige redeneerketen visualiseren. U kunt een toezichthouder, een rechter of een jury exact laten zien waarom het systeem tot zijn conclusie is gekomen. Draait u dezelfde feiten 100 keer door het systeem, dan krijgt u 100 keer hetzelfde antwoord. Dat is de audit trail die black-box-AI niet kan leveren.

Voor organisaties in de juridische en professionele dienstverlening, is dit soort herleidbaarheid geen optie — het is de minimale verwachting. En de onderliggende benadering — een oplossingsarchitectuur gebouwd op neuro-symbolische principes — is specifiek ontworpen om aan die lat te voldoen. Als uw organisatie bovendien moet aantonen dat haar AI alle partijen eerlijk behandelt, ongeacht hoe goed zij schrijven, dan gaat het fairnessaudit- en biasmitigatiewerk van Veriprajna rechtstreeks in op de uitvoerigheids- en sycophantie-bias die in dit onderzoek worden gedocumenteerd.

Voor de volledige technische uiteenzetting kunt u de volledige technische analyse lezen of de interactieve versie verkennen.