Kunt u AI vertrouwen voor juridisch onderzoek? Waarschijnlijk nog niet.

Het probleem

In juni 2023 diende een advocaat een juridisch stuk in bij een federale rechtbank in New York. Het stuk verwees naar meerdere zaken — Varghese v. China Southern Airlines, Shaboon v. Egyptair, Petersen v. Iran Air — compleet met rolnummers, data en citaten. Elke enkele zaak was nep. ChatGPT had ze allemaal verzonnen.

De rechter in Mata v. Avianca, Inc. merkte op dat de verwijzingen waren gefingeerd. Hij noemde de door AI gegenereerde samenvattingen van rechtsopvattingen gedeeltelijk "wartaal", ondanks hun overtuigende juridische opmaak. De rechtbank legde een boete van $5,000 op en gelastte de advocaten hun cliënt in te lichten. Maar de geldboete was het kleinste deel van de schade. De reputatieschade haalde internationale krantenkoppen.

Wat deze zaak nog erger maakt: toen de advocaat van de tegenpartij de verzonnen zaken betwistte, ging de advocaat terug naar ChatGPT en vroeg of ze echt waren. De AI bevestigde zijn eigen leugens. Het antwoordde dat de zaken "inderdaad bestonden" en te vinden waren in "gerenommeerde juridische databases". Dit creëerde wat het whitepaper een "hallucinatielus" noemt — het hulpmiddel dat voor verificatie werd gebruikt, had dezelfde fout als het hulpmiddel dat voor generatie werd gebruikt.

De rechtbank verwierp het verweer dat de advocaat niet wist dat AI informatie kon verzinnen. Rechters hebben inmiddels vastgesteld dat advocaten eindverantwoordelijk zijn voor de nauwkeurigheid van hun technologie. Als uw kantoor AI gebruikt voor juridisch werk, ligt de aansprakelijkheid bij u — niet bij de softwareleverancier.

Waarom dit belangrijk is voor uw bedrijf

De zaak Mata was geen geïsoleerd incident. Ze legde een structureel probleem bloot dat elke organisatie raakt die AI gebruikt voor juridisch onderzoek, compliance of regelgevingswerk.

Deze cijfers moeten u zorgen baren:

• 58% tot 82%: Stanford-onderzoekers ontdekten dat algemene AI-chatbots op deze percentages hallucineerden bij complexe juridische vragen — zelfs tools met internettoegang of basale retrieval-mogelijkheden.
• $5,000: De directe boete in Mata v. Avianca. Maar de werkelijke kosten waren reputatieschade en een mogelijk royementsrisico voor de betrokken advocaten.
• Tot 30-35%: Het prestatieverschil tussen geavanceerde op grafen gebaseerde retrievalsystemen en standaard op vectoren gebaseerde systemen bij meerstaps juridische redeneertaken.

Deze risico's raken uw bedrijf op drie punten:

• Aansprakelijkheid voor beroepsfouten. Uw kantoor draagt de wettelijke verantwoordelijkheid voor elke door AI gegenereerde verwijzing in een processtuk. De premies voor beroepsaansprakelijkheidsverzekeringen zullen waarschijnlijk stijgen voor kantoren die geen strenge AI-governance kunnen aantonen.
• Regulatorische blootstelling. Rechtbanken vaardigen permanente bevelen uit die verplichte openbaarmaking van AI-gebruik eisen. Als uw tools hun redenering niet kunnen uitleggen, krijgt u te maken met compliance-falen voordat u überhaupt aan de inhoud van de zaak toekomt.
• Vertrouwen van cliënten. Uw cliënten zullen steeds vaker vragen: "Welke AI gebruikt u?" Antwoorden "ChatGPT" — of welke dunne wrapper rond een algemeen model dan ook — geeft aan dat u zich niet serieus in nauwkeurigheid hebt verdiept. Dat antwoord wordt onacceptabel in ondernemingsjuridisch werk.

De bottom line voor uw P&L: als een advocaat elke door AI gegenereerde verwijzing handmatig moet verifiëren, verliest u de efficiëntiewinst die de AI-investering in de eerste plaats rechtvaardigde.

Wat er echt onder de motorkap gebeurt

Om te begrijpen waarom Mata gebeurde, moet u één ding begrijpen over hoe grote taalmodellen (LLM's) werken. Ze voorspellen het volgende woord in een reeks. Ze doorzoeken geen bibliotheek. Ze controleren geen database. Ze genereren tekst die goed klinkt op basis van statistische patronen.

Denk aan autoaanvullen op uw telefoon — maar dan voor hele alinea's. Uw telefoon stelt misschien "meeting" voor nadat u "See you at the" typt. Een LLM doet hetzelfde op enorme schaal. Als er om een letselschadezaak tegen een luchtvaartmaatschappij wordt gevraagd, zoekt het geen echte zaken op. Het stelt een antwoord samen dat het patroon volgt van hoe een juridische verwijzing eruitziet. "Varghese" was een statistisch plausibele naam voor een eiser. "China Southern Airlines" was een plausibele gedaagde. Maar de relatie daartussen was een wiskundige fictie, geen juridische realiteit.

De eerste oplossing van de industrie was iets dat Retrieval-Augmented Generation (RAG) heet — een methode waarbij u de AI echte brondocumenten voert voordat het een antwoord genereert. Standaard RAG slaat juridische documenten op als numerieke vectoren en haalt tekstdelen op die semantisch lijken op uw vraag. Dat helpt, maar het introduceert nieuwe problemen.

Op vectoren gebaseerd zoeken behandelt een afwijkende mening hetzelfde als een meerderheidsmening als de woorden op elkaar lijken. Het kan niet zien of een zaak is overruled. Het haalt documenten op in isolatie, waardoor het de verbanden mist tussen een wet, de regelgeving die die wet interpreteert en de rechtspraak die die regelgeving toepast. Onderzoek toont aan dat wanneer LLM's lange lijsten met opgehaalde tekst krijgen, ze zich richten op informatie aan het begin en het einde en materiaal in het midden negeren. In juridisch werk zit de cruciale uitzondering vaak begraven in het 15e chunk opgehaalde jurisprudentie.

Een systeem dat in 80% van de gevallen de juiste zaak ophaalt, is in de andere 20% een risico op beroepsfouten.

Wat werkt (en wat niet)

Drie gangbare benaderingen falen bij juridische AI met hoge inzet:

• Betere prompts. Prompt-engineering kan de stijl of het formaat van AI-output veranderen. Het kan geen kennis injecteren die het model niet heeft, en het kan het model niet dwingen feiten te verifiëren tegen een database waar het geen toegang toe heeft.
• Wrapper-applicaties. Dit zijn dunne interfaces bovenop API's zoals OpenAI. Ze voegen misschien een systeemprompt toe zoals "Je bent een behulpzame advocaat", maar dat geeft geen toegang tot geverifieerde rechtspraakdatabases en voorkomt niet dat de AI verwijzingen verzint.
• Standaard vector-RAG alleen. Het vermindert pure fabricatie, maar kan de juridische hiërarchie niet vastleggen. Het weet niet wanneer de ene zaak door een andere is overruled. Het begrijpt geen jurisdictie. Het behandelt een ingetrokken wet hetzelfde als een huidige als de tekst op uw zoekopdracht lijkt.

Wat wél werkt is een methode genaamd Citation-Enforced GraphRAG — een systeem dat juridische autoriteit in een geverifieerde Knowledge Graph afbeeldt en de AI fysiek verhindert om verzonnen verwijzingen te genereren. Zo werkt het in drie stappen:

1. Input: bouw de kaart. Elke wet, elk voorschrift en elke zaak wordt een specifiek knooppunt in een Knowledge Graph — een gestructureerd netwerk van juridische entiteiten en hun relaties. De randen tussen knooppunten dragen betekenis: "overruled", "interpreteert", "bevestigt", "onderscheidt". Dit is geen stapel documenten. Het is een geverifieerde kaart van hoe het recht met elkaar verbonden is.

2. Verwerking: beperk de AI. Tijdens tekstgeneratie controleert een beperktingsmechanisme elke verwijzing die de AI probeert te produceren tegen de Knowledge Graph. Als de AI "Varghese v. China Southern" wil uitvoeren, controleert het systeem de graaf. Omdat blijkt dat zo'n zaak niet bestaat, blokkeert het de output volledig. De AI kan fysiek geen tokensequentie produceren voor een zaak die niet in de geverifieerde database staat. Dit beweegt uw systeem van probabilistische nauwkeurigheid naar structurele afdwinging.

3. Output: laat uw werk zien. Wanneer het systeem een zaak citeert, levert het het exacte traversatiepad — van welke wet het uitging, welke zaken die interpreteren en of die zaken nog geldig recht zijn. Is een zaak overruled, dan markeert de graaf haar met een "red flag" en verwijdert haar uit de context van de AI nog voordat de generatie begint.

Dit is waar uw complianceteam moet opletten. Elke verwijzing komt met een audittrail. Uw advocaten kunnen zien waarom de AI een zaak selecteerde, niet alleen dat het er een selecteerde. Het systeem kan laten zien dat het negatieve behandeling heeft gecontroleerd — het digitale equivalent van Shepardizing — en heeft bevestigd dat de autoriteit geldig is. Een grounding-, citatie- en verificatie- laag maakt elke output traceerbaar en verdedigbaar.

Voor organisaties in de juridische en professionele dienstverlening, maakt deze architectuur het ook mogelijk om interne beleidsregels aan externe regelgeving te koppelen. De graaf kan een specifieke alinea in uw compliancehandboek koppelen aan de exacte sectie van een voorschrift waarop die betrekking heeft. Dit creëert geautomatiseerde, verifieerbare compliancematrixen die een audit doorstaan.

De hybride aanpak — het combineren van vectorzoeken voor het vinden van relevante tekst met op grafen gebaseerde verificatie voor het bevestigen van juridische geldigheid — geeft u zowel breedte als precisie. Uw oplossingsarchitectuur krijgt de vloeiendheid van AI zonder diens neiging tot fabricatie.

Naarmate juridische AI zich richt op autonome agenten die meerstaps-onderzoektaken kunnen plannen en uitvoeren, wordt een op grafen gebaseerde structuur essentiële infrastructuur. Agenten hebben een kaart van de juridische wereld nodig om complexe vragen te doorredeneren. Een vectordatabase geeft hen een stapel documenten. Een Knowledge Graph geeft hen de kaart.

Voor een diepere duik in de technische architectuur, lees de volledige technische analyse of verken de interactieve versie.