De $5,000-hallucinatie en het einde van het wrapper-tijdperk: waarom enterprise legal AI vereist citatie-afgedwongen GraphRAG

Managementsamenvatting

De advocatuur staat op een precair kruispunt van technologische belofte en existentieel risico. De snelle democratisering van large language models (LLM’s) heeft een golf van "legal AI"-tools ontketend die beloven onderzoek, het opstellen van stukken en analyse te automatiseren. Echter, de fundamentele architectuur van deze generieke modellen—probabilistische tokenvoorspelling—staat fundamenteel op gespannen voet met de deterministische eisen van het recht. Dit conflict werd scherp belicht door Mata v. Avianca, een keerpunt waarbij het vertrouwen op een standaard-LLM leidde tot het verzinnen van niet-bestaande jurisprudentie, met gerechtelijke sancties en professionele vernedering tot gevolg. ¹

Dit whitepaper betoogt dat het tijdperk van de "AI-wrapper"—dunne gebruikersinterfaces gelegd over generieke API’s zoals OpenAI of Anthropic—functioneel voorbij is voor high-stakes enterprise legal toepassingen. De inherente neiging van LLM’s om semantische vloeiendheid te prioriteren boven feitelijke nauwkeurigheid, bekend als hallucinatie, maakt standaard generatieve benaderingen ontoereikend voor de juridische praktijk. ³ Hoewel standaard retrieval-augmented generation (RAG) met vector- databases een gedeeltelijke verbetering biedt, slaagt het er niet in de ingewikkelde, structurele en hiërarchische relaties te vatten die de jurisprudentie definiëren. ⁵

Veriprajna bepleit een overgang naar citatie-afgedwongen GraphRAG, een "Deep AI"-architectuur die het generatieve proces fundamenteel inperkt. Door wetsbepalingen, regelgeving en jurisprudentie te mappen in een geverifieerde Knowledge Graph (KG) en graph-constrained decoding te gebruiken, voorkomt dit systeem fysiek dat de AI een citatie genereert tenzij het succesvol een geverifieerde link in de grafiek doorloopt. ⁷ Dit rapport beschrijft de technische tekortkomingen van vectorgebaseerd juridisch zoeken, de architecturale superioriteit van Knowledge Graph-integratie, en de implementatie van constraint-mechanismen die legal AI van een aansprakelijkheid in een geverifieerd activum veranderen. Het dient als blauwdruk voor de overgang van probabilistisch opstellen naar deterministische, citatie-onderbouwde juridische engineering.

Deel I: De crisis van waarschijnlijkheid in het recht

1.1 Het keerpunt Mata v. Avianca: een systemisch falen

In juni 2023 legde de U.S. District Court for the Southern District of New York sancties op in Mata v. Avianca, Inc., een zaak die sindsdien het definitieve waarschuwende voorbeeld is geworden voor de legal technologiesector. De details van de zaak zijn niet louter anekdotisch; ze onthullen het structurele onvermogen van generatieve modellen om juridisch gezag te hanteren zonder externe constraints.

De advocaat van de eiser diende een memorie in tot afwijzing van een motion to dismiss, onder verwijzing naar meerdere precedenten, waaronder Varghese v. China Southern Airlines, Shaboon v. Egyptair en Petersen v. Iran Air . Deze zaken bevatten overtuigende docketnummers, data en gedetailleerde interne citaties. Ze leken, voor het ongeoefende oog, perfecte juridische autoriteiten. Ze waren echter volledige verzinsels, gegenereerd door ChatGPT. ¹ De zittende rechter, Judge P. Kevin Castel, merkte op dat de “opinion”-samenvattingen inconsistent waren en deels "onzin," maar de hallucinatie was verfijnd genoeg om de stijl en syntaxis van federale rechterlijke uitspraken na te bootsen. ²

De opgelegde sancties—een boete van $5,000 en de verplichting de cliënt te informeren—waren relatief mild in financiële zin, maar desastreus voor de reputatie. ⁹ Echter, het meest verontrustende aspect van de Mata- zaak was niet de oorspronkelijke fout, maar het stapelende verificatiefalen. Toen de wederpartij het bestaan van de zaken betwistte, ging de advocaat van de eiser terug naar ChatGPT om te vragen of de zaken echt waren. De AI, die haar probabilistische patroonmatching voortzette, bevestigde haar eigen hallucinaties, stellende dat de zaken "inderdaad bestaan" en te vinden waren in "gezaghebbende juridische databanken". ² Zo ontstaat een "hallucinatie-lus" waarin het hulpmiddel dat voor verificatie wordt gebruikt, onderhevig is aan dezelfde foutmodi als het hulpmiddel dat voor generatie wordt gebruikt.

De rechtbank wees uitdrukkelijk het verweer van de advocaat af dat hij niet wist dat AI kon liegen, en vestigde een precedent dat advocaten de ultieme garanten zijn van de juistheid van hun technologische hulpmiddelen. ¹⁰ Dit incident was geen geïsoleerde anomalie, maar een systemisch falen van de "wrapper"-benadering van AI. De advocaat gebruikte een algemene LLM-interface—een wrapper rond een foundation model—die geen toegang had tot een geverifieerde databank van jurisprudentie. Het model deed waarvoor het was getraind: het voorspelde het volgende statistisch waarschijnlijke woord in een reeks. In de context van de prompt was "Varghese" een statistisch plausibele naam voor een eiser, en "China Southern Airlines" een plausibele gedaagde, maar de relatie tussen hen was een wiskundige fictie, geen juridische werkelijkheid. ¹

1.2 De mechanica van hallucinatie: perplexiteit vs. provenance

Om te begrijpen waarom Mata gebeurde, moet men onder de gebruikersinterface kijken naar de architectuur van de tools die als juridische oplossingen worden verkocht. Foundation models (LLM’s) werken volgens een probabilistisch mechanisme. Wanneer hen wordt gevraagd een zaak over een luchtvaartletsel te geven, "zoekt" het model niet in een bibliotheek; het doorloopt een hoogdimensionale vectorruimte van taalkundige patronen. ⁵

De kernmetriek voor deze modellen is perplexiteit —een maat voor hoe "verrast" het model is door het volgende token in een reeks. Het model is getraind om perplexiteit te minimaliseren, wat betekent dat het streeft naar tekst die syntactisch samenhangend en semantisch plausibel is op basis van zijn trainingsdata. Het is niet getraind om te optimaliseren voor provenance —de herleidbaarheid van informatie tot een verifieerbare bron.

Kenmerk	Juridische eis	Standaard LLM- gedrag	Resultaat
Waarheidsbron	Extern, verifieerbaar dossier (docket)	Interne parameters (trainingsdata)	Verzinnen van plausibele maar valse dossiers
Citatielogica	Strikte, deterministische koppeling	Statistische associatie	Verzonnen citaties op basis van patroon- matching
Outputconstraint	Moet in de werkelijkheid bestaan	Moet klinken samenhangend	"Varghese v. China Southern Airlines"
Verificatie	Binair (waar/onwaar)	Probabilistisch (waarschijnlijk/onwaarschijnlijk)	Hoge zekerheid bij onjuiste informatie

In Mata verlaagde het model zijn perplexiteit door een zaak te verzinnen die paste in het syntactische patroon van een juridische citatie. Het genereerde een docketnummer omdat juridische citaties doorgaans docket- nummers bevatten. Het genereerde een citaat omdat de prompt om een precedent vroeg. Voor een creatieve schrijver is dit vermogen om stijl na te bootsen een feature; voor een advocaat is het een beroepsfout. ¹³

Dit onderscheid is cruciaal omdat het verklaart waarom "beter prompten" geen oplossing is. Prompt engineering kan de stijl of het formaat van de output sturen, maar kan geen kennis injecteren die het model niet heeft, noch het model dwingen feiten te verifiëren tegen een databank die het niet kan benaderen. Een wrapper die uitsluitend steunt op het parametrische geheugen van het model is inherent onveilig voor citatie. ¹⁵

1.3 De "wrapper"-val: economische en functionele kwetsbaarheid

De softwaremarkt is overspoeld met "AI-wrappers"—toepassingen die in wezen dunne codelagen zijn die interacteren met de API van OpenAI. ¹⁶ Deze toepassingen missen vaak propriëtaire intellectuele eigendom of diepe technische infrastructuur. Ze steunen volledig op de capaciteiten (en hallucinaties) van het onderliggende model.

In het juridische domein is de "wrapper"-benadering bijzonder gevaarlijk omdat zij de "redeneer"-laag uitbesteedt aan een black box die geen begrip heeft van wetsbepalingen of jurisdictie. Een wrapper kan een systeemprompt toevoegen die de AI zegt "Je bent een behulpzame advocaat," maar dat geeft de AI geen toegang tot de databank van LexisNexis of Westlaw, noch weerhoudt het de AI ervan feiten te verzinnen. ¹⁵ De zaak Mata toonde aan dat een advocaat die een wrapper gebruikt in wezen gokt dat de trainingsdata van het model precies de benodigde specifieke jurisprudentie bevat en dat het model die perfect herinnert—een gok met uiterst slechte kansen. ¹⁸

De economische levensvatbaarheid van AI-wrappers is eveneens twijfelachtig. Analyses suggereren dat hoewel sommige wrappers snel aanzienlijke omzet kunnen bereiken, de overgrote meerderheid faalt omdat ze geen "moat" hebben—verdedigbare technologie of propriëtaire data. ¹⁷ Naarmate foundation models capabeler worden, worden features die ooit zelfstandige wrapperproducten waren (zoals PDF-samenvatting) in de modellen zelf opgenomen. Voor enterprise legal-adviesbureaus is steunen op een wrapper- strategie een race naar de bodem. Echte waarde ligt in "Deep AI"-oplossingen die de datalaag en de redeneerarchitectuur in eigendom hebben. Zij "prompten" het model niet louter; zij ontwerpen de omgeving waarin het model opereert, en beperken zijn acties tot geverifieerde paden. Dit onderscheid is de kern van Veriprajna’s filosofie: de verschuiving van generatieve vrijheid naar ingeperkte precisie.

1.4 De hardnekkigheid van hallucinatie in juridische contexten

Ondanks vooruitgang in modelgrootte en training (RLHF) blijft hallucinatie een hardnekkig probleem in legal AI. Stanford-onderzoekers vonden dat algemene chatbots, zelfs die met internettoegang of basisretrieval, tussen 58% en 82% van de tijd hallucineerden bij complexe juridische vragen. ⁴ Dit hoge foutpercentage blijft bestaan omdat de fundamentele architectuur—het voorspellen van het volgende woord—niet is veranderd.

Juridische hallucinaties zijn bijzonder verraderlijk omdat het vaak "subtiele" fouten zijn in plaats van voor de hand liggende verzinsels. Een model kan een echte zaak citeren maar de holding verkeerd toeschrijven, of een wetsbepaling citeren die is ingetrokken. In Mata waren de zaken volledige verzinsels, maar in andere gevallen heeft AI echte zaken aangehaald voor stellingen die zij niet ondersteunen. Bijvoorbeeld het citeren van een dissenting opinion alsof het de majority holding was. Deze fouten zijn lastiger te vangen dan valse docketnummers, maar even schadelijk in een processtuk. ¹¹

De reactie van de sector—sancties, verplichte openbaarmaking van AI-gebruik, en gerechtelijke standing orders—weerspiegelt een groeiende intolerantie voor deze fouten. Rechtbanken eisen dat als AI wordt gebruikt, de output moet worden geverifieerd. Dat creëert een knelpunt: als een advocaat elke enkele citatie die een AI genereert moet verifiëren, gaan de efficiëntiewinsten van de AI verloren. Het doel van legal AI moet daarom zijn output te produceren die structureel gegarandeerd accuraat is, zodat de verificatielast bij de menselijke gebruiker wegvalt. ¹⁸

Deel II: Het falen van standaard vector-RAG in het recht

2.1 De belofte en valkuilen van vectorzoeken

Om hallucinaties te mitigeren nam de sector retrieval-augmented generation (RAG) over. In een standaard RAG-pijplijn worden juridische documenten in tekstsegmenten geknipt, omgezet in numerieke vectoren (embeddings) en opgeslagen in een vectordatabase. ³ Wanneer een gebruiker een vraag stelt, haalt het systeem de chunks met de hoogste "cosinusgelijkenis" tot de query op en voedt die aan de LLM als context.

Hoewel dit puur verzinnen vermindert door de AI in opgehaalde tekst te verankeren, introduceert het een nieuwe klasse fouten: retrievalfalen en contextuele blindheid . De aanname dat "semantische gelijkenis" gelijkstaat aan "juridische relevantie" is vaak gebrekkig.

2.1.1 De valkuil van semantische gelijkenis

Vectorzoeken steunt op semantische gelijkenis. Als een advocaat vraagt naar "aansprakelijkheid voor knieletsel bij internationale vluchten," haalt een vectordatabase documenten op die vergelijkbare woorden bevatten. Juridische relevantie wordt echter vaak gedreven door structurele relaties, niet alleen semantische. Een zaak kan semantisch relevant zijn (knieletsel bespreken) maar juridisch irrelevant (herroepen door een hogere rechter, of uit de verkeerde jurisdictie). Standaard vector-RAG behandelt een dissenting opinion hetzelfde als een majority opinion als de tekst semantisch lijkt op de query. ⁵

Neem een query over een specifieke interpretatie van een fiscale wetsbepaling. Een vectorzoekactie kan een law-reviewartikel over de wetsbepaling teruggeven, een dissenting opinion die voor een andere interpretatie pleit, en een zaak uit een andere jurisdictie. Alle zijn "semantisch" dicht bij de query. Maar het enige juridisch bindende gezag kan een droge, korte memorandum opinion zijn die iets andere terminologie gebruikt en daardoor een lagere gelijkenisscore krijgt. De AI, gevoed met de top 5 "vergelijkbare" documenten, kan een argument opbouwen op het overtuigende maar niet-bindende law-reviewartikel, en de advocaat op een dwaalspoor brengen.

2.1.2 Het "lost in the middle"-fenomeen

Juridische queries vereisen vaak synthese van informatie uit meerdere documenten—een wetsbepaling, een regelgeving die die wetsbepaling uitlegt, en een zaak die de regelgeving toepast. Standaard RAG haalt chunks geïsoleerd op. Als het "antwoord" vereist dat deze drie onderscheiden bronnen worden verbonden, faalt vector-RAG vaak. De LLM ontvangt een onsamenhangende set tekstfragmenten en probeert die aan elkaar te naaien, wat vaak leidt tot "redeneerhallucinaties" waarbij het model verkeerd interpreteert hoe de documenten tot elkaar in verhouding staan. ⁴

Onderzoek naar beperkingen van "long context" toont dat wanneer LLM’s een lange lijst opgehaalde chunks krijgen (het "contextvenster"), ze geneigd zijn zich te richten op informatie aan het begin en het einde, en het midden te negeren. In legal RAG, waar de relevante uitzondering begraven kan liggen in de 15e chunk van opgehaalde jurisprudentie, leidt dit tot fouten waarbij de AI de cruciale nuance negeert. De sancties in Mata onderstrepen dat "grotendeels accuraat" ontoereikend is; een systeem dat in 80% van de gevallen de juiste zaak ophaalt, is 20% van de tijd een machine voor beroepsfouten. ¹

2.2 Het ontbreken van multi-hop-redeneren

Complexe juridische vragen vereisen multi-hop-redeneren. Bijvoorbeeld:

●​ Stap 1: Zoek de wetsbepaling die luchtvaartaansprakelijkheid beheerst (Verdrag van Montreal).

●​ Stap 2: Zoek zaken die "accident" definiëren onder artikel 17 van dat verdrag.

●​ Stap 3: Bepaal of recente uitspraken van het Supreme Court die definitie hebben versmald.

Vector-RAG voert stap 1 redelijk uit. Het heeft grote moeite met stap 2 en stap 3 omdat het geen "kaart" heeft van de relaties tussen de wetsbepaling en de zaken. Het weet alleen dat de tekst van de zaken woorden bevat die lijken op de query. Het begrijpt niet dat zaak A wetsbepaling B interpreteert. Deze structurele blindheid leidt tot onvolledige of misleidende antwoorden, waarbij de AI een zaak kan citeren die een oude versie van de wetsbepaling uitlegt. ⁶

In een vectorgebaseerd systeem is er geen expliciete link tussen het document voor het Verdrag van Montreal en het document voor de Supreme Court-zaak die het uitlegt. Het zijn slechts twee punten in de vectorruimte. Als ze semantisch niet dichtbij zijn (bijv. als de zaak andere woordenschat gebruikt dan het verdrag), gaat de verbinding verloren. De AI moet de relatie "gissen" op basis van de opgehaalde fragmenten, en herkent vaak niet dat het ene gezag het andere beheerst.

2.3 Omgaan met negative treatment: de "Shepardizing"-kloof

Een van de meest kritische functies in juridisch onderzoek is "Shepardizing" of "KeyCiting"—nagaan of een zaak nog good law is. Als een zaak is herroepen, vernietigd of nietig verklaard, kan zij niet als bindend gezag worden geciteerd.

Vector-RAG-systemen zijn over het algemeen blind voor deze status. Ze indexeren de tekst van de zaak. Een zaak die is herroepen bevat vaak een zeer lange, gedetailleerde en "relevante" bespreking van het juridische onderwerp—alleen is die toevallig onjuist. Omdat vectorzoeken semantische match prioriteert, zal het de herroepen zaak vaak hoog rangschikken. Tenzij de specifieke tekstchunk die de herroeping noemt ook wordt opgehaald en correct door de LLM wordt gekoppeld, zal het systeem vol vertrouwen bad law citeren.

Standaard RAG-pijplijnen hebben geen mechanisme om te zeggen: "Haal dit document niet op, hoe relevant het er ook uitziet, omdat het een rode vlag heeft." Dat vereist gestructureerde metadata en een retrieval-logica die verder gaat dan vectorgelijkenis—precies wat GraphRAG biedt. ²⁴

Deel III: Citatie-afgedwongen GraphRAG — de architectuur van de waarheid

3.1 GraphRAG gedefinieerd: structuur boven semantiek

GraphRAG (graph-based retrieval-augmented generation) is een paradigmaverschuiving van tekstgebaseerde retrieval naar structuurgebaseerde retrieval. In plaats van data als geïsoleerde vectoren op te slaan, gebruikt GraphRAG een Knowledge Graph (KG) —een netwerk van knopen (entiteiten) en randen (relaties). In de juridische context betekent dit het expliciet modelleren van de verbindingen tussen wetten, zaken en regelgeving. ⁵

●​ Vector-RAG: "Vind tekst die op deze query lijkt."

●​ GraphRAG: "Vind de wetsbepaling die in de query wordt genoemd, traverseer dan de 'interprets'-rand om relevante jurisprudentie te vinden, traverseer dan de 'overrules'-rand om te verzekeren dat de zaak nog geldig is." ²³

Deze architectuur maakt citatiehandhaving mogelijk. Omdat elke zaak en wetsbepaling een discreet knooppunt in de grafiek is, kan het systeem zo worden ontworpen dat het elke citatie afwijst die niet overeenkomt met een geldig knooppunt-ID. Dit verschuift het retrievalproces van een "fuzzy" match naar een deterministische traversal.

3.2 Het schema van de juridische Knowledge Graph

De basis van Veriprajna’s oplossing is een domeinspecifieke Knowledge Graph, ontworpen voor de complexiteit van de jurisprudentie. In tegenstelling tot generieke grafieken moet een Legal Knowledge Graph (LKG) de hiërarchische en adversariale aard van het recht vastleggen. ²⁸

3.2.1 Knooppunttypen

Het schema moet granulair genoeg zijn om te onderscheiden tussen verschillende typen juridisch gezag. Een "platte" grafiek is ontoereikend; de ontologie moet het gewicht van het gezag weerspiegelen.

●​ Wettelijke knopen: Die individuele wetsartikelen representeren (bijv. 28 U.S.C. § 1332). Dit zijn de wortels van veel juridische bomen.

●​ Zaakknopen: Die rechterlijke uitspraken representeren. Cruciale metadata omvat gerechtelijk niveau (Supreme vs. District), datum, jurisdictie en reporter-citatie.

●​ Conceptknopen: Die juridische leerstukken representeren (bijv. "Res Ipsa Loquitur," "Qualified Immunity") om semantische bruggen mogelijk te maken. Deze knopen helpen zaken te koppelen die hetzelfde concept bespreken, ook als ze andere trefwoorden gebruiken. ³⁰

●​ Regelgevingsknopen: Die administratieve regels representeren (bijv. FAA-regelgeving, CFR- secties). ²⁹

3.2.2 Randtypen (het "bindweefsel")

De kracht van GraphRAG ligt in de randen, die de juridische kracht van de relatie definiëren. Eenvoudige "gerelateerd aan"-links zijn niet genoeg.

●​ CITES: Een neutrale verwijzing van de ene zaak naar de andere.

●​ OVERRULES: Een negative treatment waarbij een hogere rechter een eerdere holding ongeldig maakt. Dit is een cruciale "blokkerende" rand voor retrieval.

●​ DISTINGUISHES: Een genuanceerde relatie waarbij een rechter uitlegt waarom een precedent niet van toepassing is op de huidige feiten.

●​ AFFIRMS: Een positive treatment die de beslissing van een lagere rechter bekrachtigt.

●​ CODIFIES: Wanneer een wetsbepaling wordt vastgesteld om een common-lawbeginsel te formaliseren. ³⁰

●​ INTERPRETS: Het koppelen van een zaak aan de specifieke wetsbepaling of regelgeving die zij analyseert.

Relatietype	Impact op AI- retrieval	Vector-RAG- capaciteit	GraphRAG- capaciteit
Directe citatie	Precedenten vinden	Matig	Hoog
Negatieve behandeling	wegfilteren van "bad law"	Laag (kan citatie niet onderscheiden van herroeping)	Hoog (expliciete OVERRULES-rand)
Wettelijke interpretatie	Wetten koppelen aan zaken	Laag (steunt op nabijheid van trefwoorden)	Hoog (expliciete INTERPRETS-rand)
Jurisdictionele hiërarchie	Bindend vs. overtuigend	Geen	Hoog (grafiek- traversalregels)

3.3 Graph-constrained decoding: het "veiligheidsslot"

De meest kritieke innovatie in citatie-afgedwongen GraphRAG is graph-constrained decoding (of graph-constrained reasoning, GCR). ⁷ Standaard-LLM’s genereren tokens vrij op basis van waarschijnlijkheidsverdelingen. In een constrained systeem wordt het decodingproces onderschept en beheerst door de grafiek.

3.3.1 Het KG-Trie-mechanisme

Het systeem gebruikt een prefixboom (Trie) opgebouwd uit de geldige entiteit- identificatoren van de Knowledge Graph (bijv. zaaksnamen, reporters, docketnummers). Deze Trie fungeert als een dynamisch vocabulairemasker tijdens generatie.

Wanneer de LLM een citatie gaat uitvoeren (gedetecteerd via context of een gespecialiseerd token), activeert het constraint-mechanisme. Het kijkt in de KG-Trie welke geldige voortzettingen bestaan. Als de LLM "Mata v. A" heeft gegenereerd, laat de Trie alleen tokens toe die geldige zaaks- namen voltooien die met die string beginnen (bijv. "Avianca"). Alle andere tokens worden uitgeschakeld door hun logits op min oneindig te zetten. ⁷

3.3.2 De onmogelijkheid van verzinsels

Als de LLM probeert "Varghese v. China Southern" te genereren, controleert het constraint-mechanisme de Trie na "Varghese v. Chi". Als blijkt dat zo’n tokenreeks niet bestaat in de geverifieerde grafiek, wordt de generatie geblokkeerd. Het systeem dwingt het model effectief tot backtracking (via beam search) en tot ofwel een geldige citatie die in de context past, of het uitvoeren van een fallback-token zoals "Geen precedent gevonden". ³³

Dit mechanisme biedt een wiskundige garantie tegen citatiehallucinatie. De AI kan geen zaak "verzinnen" omdat zij fysiek de tokenreeks van een zaak die niet in de databank staat niet kan uitvoeren. Dit verschuift het systeem van "probabilistische juistheid" (95% accuraat) naar "structurele handhaving" (100% geldige citaties). ⁸ Merk op dat de AI nog steeds een geldige zaak kan verkeerd interpreteren (een redeneerfout), maar er geen kan verzinnen (een verzinselsfout). Dit onderscheid is vitaal voor aansprakelijkheid wegens beroepsfout.

3.4 Multi-hop-redeneren en padbeperkte retrieval

Complexe juridische vragen vereisen vaak het doorlopen van meerdere logica-stappen. GraphRAG blinkt hierin uit via padbeperkte retrieval (PCR). ⁸ PCR verzekert dat opgehaalde informatie een structurele relatie met het ankerconcept behoudt.

●​ Scenario: Een gebruiker vraagt of een specifieke regelgeving uit 1990 nog geldig is gegeven een Supreme Court-uitspraak uit 2023.

●​ Vector-RAG: Haalt de tekst van de regelgeving uit 1990 en de uitspraak uit 2023 afzonderlijk op. De LLM gokt de relatie.

●​ GraphRAG: Identificeert het knooppunt voor de regelgeving uit 1990. Het traverseert de grafiek om eventuele INVALIDATED_BY-randen te vinden die verbonden zijn met knopen die linken naar de uitspraak uit 2023. Het "wandelt" de grafiek om de keten van gezag te vinden. Als een pad bestaat (regelgeving -> wetsbepaling -> zaak A -> herroepen door zaak B), begrijpt het systeem de ongeldigheid. ⁶

Deze capaciteit stelt het systeem in staat vragen te beantwoorden als: "Wat is de meest recente Second Circuit-zaak die de standaard uit Bell Atlantic v. Twombly toepast?" door expliciet het citatienetwerk te traversen, gefilterd op gerecht en datum. Dit is een deterministische query over de grafiek, geen fuzzy zoekactie over tekst. ²⁷

Deel IV: De juridische Knowledge Graph bouwen

Het bouwen van een citatie-afgedwongen GraphRAG-systeem gaat niet louter om het aankoppelen van een LLM aan een grafiekdatabase; het is een enorme data-engineeringuitdaging. De primaire horde is entiteits resolutie en de opbouw van een schone, onderling verbonden grafiek uit ongestructureerde juridische teksten.

4.1 Datainname en entiteitsresolutie

Juridische teksten zijn rommelig. Een zaak kan worden aangeduid als "Mata v. Avianca," "Mata," "678 F. Supp. 3d 443," "the Avianca case," of eenvoudig "Id." Het systeem moet al deze varianten resolven tot één canoniek knooppunt-ID. Falen daarin resulteert in een gefragmenteerde grafiek waarin de AI verbindingen mist. ³⁵

4.1.1 De canonicalisatie-uitdaging

Wij zetten geavanceerde entiteitsresolutie (ER)-pijplijnen in die zowel deterministische regels als probabilistische matching gebruiken om vermeldingen aan entiteiten te mappen.

●​ Deduplicatie: Vaststellen dat "Smith v. Jones, 123 F.3d 456" en "Smith, 123 F.3d at 456" naar dezelfde entiteit verwijzen.

●​ Canonicalisatie: Een uniek Global ID toekennen aan die zaak. De grafiek slaat de canonieke naam op maar indexeert alle aliassen in de Trie voor flexibele herkenning. ³⁶

●​ Disambiguatie: Onderscheid maken tussen "Smith v. Jones (1995)" en "Smith v. Jones (2002)." Het systeem gebruikt metadata (datum, gerecht, onderwerp) om naar de juiste unieke entiteit te linken. Dit is cruciaal voor zaken met een "veelvoorkomende naam". ³⁸

4.1.2 Omgaan met "Id." en korte citaties

Een grote uitdaging in juridische NLP is het gebruik van "Id." om naar de onmiddellijk voorgaande citatie te verwijzen. Een vectorzoekactie behandelt "Id." vaak als stopwoord of irrelevante ruis. In GraphRAG gebruiken we een sliding-window contextparser tijdens inname om "Id." naar de actieve entiteit te resolven. Als een alinea Mata citeert en de volgende zin "Id. at 445" zegt, registreert de grafiek een link tussen het concept in die zin en het Mata-knooppunt. Dit behoudt de dichtheid van het citatienetwerk. ³⁵

4.2 Omgaan met negative treatment (het "rode vlag"-systeem)

Een juridische grafiek is nutteloos als zij herroepen zaken als geldig behandelt. Het systeem moet "Shepardizing"- of "KeyCiting"-logica rechtstreeks in de grafiek integreren.

●​ Inname van signalen: We nemen "citator"-data in van betrouwbare bronnen of gebruiken predictieve modellen om taal van negative treatment te identificeren ("overruled," "abrogated," "superseded").

●​ Randweging: Een OVERRULES-rand fungeert als een "gifpil." Als een traversalpad een OVERRULES-rand tegenkomt, wordt dat pad ongeldig voor het vinden van bindend gezag.

●​ Transparantie voor de gebruiker: Wanneer de AI een zaak citeert, toont de UI de grafiek- afstamming—die precies laat zien waarom de zaak als good law wordt beschouwd, of haar markeert als zij "cautionary" treatment heeft (gele-vlaglogica). Dit geeft de advocaat onmiddellijke visuele bevestiging van geldigheid. ²⁴

Als de AI bijvoorbeeld Roe v. Wade aanbeveelt, zou de grafiektraversal onmiddellijk de OVERRULES-rand van Dobbs v. Jackson raken. Het constraint-mechanisme zou de AI beletten Roe als huidig bindend gezag voor het recht op abortus te citeren, en haar dwingen Dobbs te citeren of te stellen dat het recht onder federaal recht niet langer bestaat. Een vectorsysteem zou Roe nog steeds kunnen citeren omdat het tekstvolume dat haar ondersteunt historisch enorm is.

4.3 De hybride RAG-architectuur

Hoewel GraphRAG structuur biedt, bevat de ongestructureerde tekst van rechterlijke uitspraken de genuanceerde redenering die nodig is voor het opstellen van stukken. Daarom is de optimale architectuur een hybride RAG-systeem. ²³

●​ Vectorlaag: Verzorgt ongestructureerd semantisch zoeken (bijv. het vinden van zaken met vergelijkbare feiten- patronen rond "metalen serveerwagens").

●​ Grafieklaag: Verzorgt structurele verificatie en citatiehandhaving (bijv. verzekeren dat de gevonden zaken geldig en bindend zijn).

●​ Orchestrator: Een besturingslaag die de resultaten combineert. Die kan de vectorlaag gebruiken om kandidaatzaken te vinden, ze vervolgens tegen de grafieklaag te verifiëren voordat ze aan de LLM worden doorgegeven. Als de grafieklaag een zaak als herroepen markeert, wordt zij uit het context- venster verwijderd voordat de LLM haar überhaupt ziet. ⁵

Deze hybride aanpak verzekert dat we semantisch relevante tekst ophalen die ook juridisch geldig is. Zij combineert de breedte van vectorzoeken met de precisie van grafiekconstraints.

4.4 Constraint-integratie met enterprise-LLM’s

Het implementeren van graph-constrained decoding vereist diepe integratie met de inference-engine van de LLM. Daarom falen "wrappers"—zij steunen op commerciële API-eindpunten (zoals GPT-4-Turbo) die gebruikers doorgaans niet toestaan aangepaste decodingconstraints (logits- verwerking) op tokenniveau te injecteren.

Veriprajna bouwt op open-weightsmodellen (bijv. Llama 3, Mistral) of gespecialiseerde enterprise- eindpunten die logit bias-manipulatie of aangepaste decodinglussen toestaan. Door het model te hosten (of dedicated deployments te gebruiken) krijgen we de mogelijkheid de KG-Trie-constraints rechtstreeks in het generatieproces te injecteren. We kunnen de waarschijnlijkheidsverdeling van het volgende token in realtime manipuleren en zo de structuur van de grafiek afdwingen. Deze capaciteit is structureel onmogelijk met standaard "chat with PDF"-wrappers. ⁷

Deel V: De businesscase voor Deep AI

Voor de founder van Veriprajna is het argument naar cliënten niet louter technisch; het is economisch, ethisch en strategisch. De verschuiving van wrapper-AI naar Deep AI is een verschuiving van "speelgoed"-toepassingen naar enterprise-infrastructuur.

5.1 De kosten van risico: beroepsfout als maatstaf

De kosten van Mata v. Avianca waren niet louter $5,000. Het was de publieke vernedering van een kantoor, het verlies van cliëntvertrouwen, en het risico op schrapping van het tableau. ¹ Voor een groot advocatenkantoor is het risico van een gehallucineerd processtuk een existentiële dreiging. Premies voor beroepsaansprakelijkheidsverzekering zullen waarschijnlijk stijgen voor kantoren die geen strikte AI-governance kunnen aantonen.

Citatie-afgedwongen GraphRAG fungeert als een verzekeringspolis . Door structureel citatieverzinning te voorkomen, mitigeert het kantoor de hoogste risicofactor van generatieve AI.

●​ De wrapper-ROI: Lage aanvangskosten ($20/user), oneindige risicoaansprakelijkheid.

●​ De GraphRAG-ROI: Hogere initiële investering, nagenoeg nul risico op citatieverzinning.

Cliënten eisen in toenemende mate "explainable AI." Een black-boxwrapper kan niet uitleggen waarom hij een zaak koos. Een GraphRAG-systeem kan het exacte traversalpad geven: "Ik selecteerde zaak A omdat die wetsbepaling B citeert en is bekrachtigd door gerecht C". ⁵ Deze transparantie is essentieel voor interne audittrails en het verweer tegen claims van nalatigheid. ²¹

5.2 Winst in efficiëntie en nauwkeurigheid

Naast veiligheid biedt GraphRAG superieure prestaties op complexe taken. Benchmarks tonen dat GraphRAG-systemen standaard RAG met significante marges overtreffen (tot 30-35%) bij multi-hop-redeneertaken. ⁶ In het juridische domein vertaalt dit zich in drastische reducties van niet-declarabele uren besteed aan het verifiëren van AI-output.

●​ Workflowoptimalisatie: In plaats van AI te gebruiken om te schrijven en daarna 3 uur citaties te controleren, kunnen advocaten erop vertrouwen dat de citaties geldig zijn (hoewel zij de juridische redenering nog steeds moeten toetsen). Dit verschuift de menselijke rol van "feitenchecker" naar "strategie-beoordelaar". ¹⁸

●​ Regelgevende compliance: Voor corporate legal departments maakt GraphRAG het mappen van intern beleid op externe regelgeving mogelijk (bijv. GDPR, DORA). De grafiek kan een specifieke alinea in een bedrijfsbeleid koppelen aan de specifieke sectie van de regelgeving die zij adresseert, en zo geautomatiseerde, verifieerbare compliancematrices creëren. ⁴⁰

5.3 De strategische omslag voor advocatenkantoren

Het adopteren van citatie-afgedwongen GraphRAG signaleert de volwassenheid van een kantoor in AI-adoptie. Het brengt het kantoor van de fase "Experiment and Prepare" naar de fase "Develop Scaled AI Ways of Working" . ⁴¹ Het onderscheidt het kantoor als een technologisch vooruitstrevende partner die de nuances van dataintegriteit begrijpt, in plaats van een kantoor dat beknibbelt met goedkope automatiseringstools.

In een steeds competitievere markt zullen cliënten vragen: "Welke AI gebruiken jullie?" Het antwoord "Wij gebruiken ChatGPT" zal binnenkort onaanvaardbaar zijn. Het antwoord "Wij gebruiken een citatie-afgedwongen GraphRAG- systeem dat verificatie garandeert" zal een concurrentievoordeel zijn. ⁴²

Deel VI: Legal tech toekomstbestendig maken

De overgang naar GraphRAG gaat niet louter om het herstellen van de hallucinaties van vandaag; het gaat om voorbereiding op de volgende generatie AI: agentic AI .

6.1 Agenten hebben structuur nodig

We bewegen van "chatbots" (passieve responders) naar "agenten" (actieve probleemoplossers). Agenten moeten plannen, redeneren en meerstaps-taken uitvoeren. Een juridische agent die wordt gevraagd "Stel een motion to dismiss op" heeft een gestructureerde wereldkaart nodig om zijn onderzoek te plannen. Een vector- database biedt geen kaart, slechts een stapel documenten. Een Knowledge Graph biedt de kaart. Zij laat de agent redeneren: "Eerst heb ik de wetsbepaling nodig, dan de interpreterende zaken, dan de procedurele regels." GraphRAG is de faciliterende infrastructuur voor autonome juridische agenten. ⁴⁴

6.2 Evoluerende standaarden en interoperabiliteit

Naarmate legal tech rijpt, ontstaan standaarden voor Legal Knowledge Graphs (bijv. FOLIO). Veriprajna’s graph-first-benadering verzekert compatibiliteit met deze toekomstige standaarden. Door data nu te structureren bouwen kantoren een activum dat in waarde groeit. Wrappers bouwen niets; zij laten slechts chatlogs achter. ⁴⁶

6.3 Conclusie: het einde van het wrapper-tijdperk

De les van Mata v. Avianca is niet dat AI geen plaats heeft in het recht, maar dat probabilistische AI geen plaats heeft in deterministische citatie. Het "wrapper"-tijdperk, gekenmerkt door blind vertrouwen op de next-tokenvoorspelling van generalistische modellen, loopt ten einde. Het wordt vervangen door het tijdperk van "Deep AI"—systemen die de vloeiendheid van LLM’s combineren met de gestrengheid van Knowledge Graphs.

Veriprajna staat vooraan in deze overgang. Wij bouwen geen chatbots; wij bouwen citatie-afgedwongen GraphRAG-systemen . Wij mappen het juridische universum in een geverifieerd netwerk en beperken onze AI tot alleen de waarheid die in dat netwerk besloten ligt.

Voor het moderne advocatenkantoor is de keuze helder: blijf gokken met waarschijnlijkheid, of investeer in de architectuur van de waarheid. In een beroep gebouwd op precedent is het enige intelligente pad vooruit er een waarin de AI de grafiek respecteert.

Over Veriprajna

Veriprajna is een Deep AI-adviesbureau gespecialiseerd in citatie-afgedwongen GraphRAG architecturen voor high-compliance-industrieën. Wij gaan verder dan API-wrapping om kennissystemen te engineeren die deterministisch, auditbaar en enterprise-ready zijn.

Geraadpleegde bronnen

1. Two Years of Fake Cases and the Courts are Ratcheting up the Sanctions - Board of Bar Overseers, geraadpleegd op 10 december 2025, https://www.massbbo.org/Files?fileName=Two%20Years%20of%20Fake%20Cases%20and%20the%20Courts%20are%20Ratcheting%20up%20the%20Sanctions.pdf

2. Mata v. Avianca, Inc. - Wikipedia, geraadpleegd op 10 december 2025, https://en.wikipedia.org/wiki/Mata_v._Avianca,_Inc.

3. Word of the Week: RAG (Retrieval-Augmented Generation) - The Legal AI Breakthrough Eliminating Hallucinations. ⚖️ - The Tech Savvy Lawyer, geraadpleegd op 10 december 2025, https://www.thetechsavvylawyer.page/blog/2025/9/4/-word-of-the-week-rag-retrieval-augmented-generation-the-legal-ai-breakthrough-eliminating-hallucinations-

4. Hallucination‐Free? Assessing the Reliability of Leading AI Legal Research Tools Daniel E. Ho - Stanford University, geraadpleegd op 10 december 2025, https://dho.stanford.edu/wp-content/uploads/Legal_RAG_Hallucinations.pdf

5. Graph RAG vs vector RAG: 3 differences, pros and cons, and how to choose Instaclustr, geraadpleegd op 10 december 2025, https://www.instaclustr.com/education/retrieval-augmented-generation/graph-rag-vs-vector-rag-3-diferences-pros-and-cons-and-how-to-choose/ f

6. Navigating the Nuances of GraphRAG vs. RAG - foojay, geraadpleegd op 10 december 2025, https://foojay.io/today/navigating-the-nuances-of-graphrag-vs-rag/

7. Graph-Constrained Reasoning: Using Knowledge Graphs for ..., geraadpleegd op 10 december 2025, https://www.lettria.com/lettria-lab/graph-constrained-reasoning-using-knowledge-graphs-for-reliable-ai-reasoning

8. Path-Constrained Retrieval: A Structural Approach to Reliable LLM Agent Reasoning Through Graph-Scoped Semantic Search - arXiv, geraadpleegd december 10, 2025, https://arxiv.org/html/2511.18313v1

9. Beware Fake Facts: AI Hallucination in Business - network1, geraadpleegd op 10 december 2025, https://network1consulting.com/a-lawyer-relied-on-chatgpt-to-draft-legal-briefs-in-mata-v-avianca-resulting-in-the-submission-of-fake-case-law-and-court-sanctions-a-warning-to-verify-ai-outputs-and-understand-their-limits/

10. Massachusetts Lawyer Sanctioned for AI-Generated Fictitious Case Citations | Maryland State Bar Association, geraadpleegd op 10 december 2025, https://www.msba.org/site/site/content/News-and-Publications/News/General-News/Massachusets_Lawyer-Sanctioned_for_AI_Generated-Fictitious_Cases.aspx t

11. When AI Gets It Wrong: Cost of Hallucinations in Courts - NexLaw Blog, geraadpleegd op 10 december 2025, https://www.nexlaw.ai/blog/when-ai-gets-it-wrong-the-real-cost-of-hallucinations-in-us-courts/

12. Knowledge Graph LLM - TigerGraph, geraadpleegd op 10 december 2025, https://www.tigergraph.com/glossary/knowledge-graph-llm/

13. The Risk of AI Hallucinations: How to Protect Your Brand | NeuralTrust, geraadpleegd 10 december 2025, https://neuraltrust.ai/blog/ai-hallucinations-business-risk

14. Large Language Models for Drug-Related Adverse Events in Oncology Pharmacy: Detection, Grading, and Actioning - MDPI, geraadpleegd op 10 december 2025, https://www.mdpi.com/2226-4787/13/6/176

15. Margin of Safety #17 – Wrappers vs Foundational Models - Forgepoint Capital, geraadpleegd op 10 december 2025, https://forgepointcap.com/perspectives/margin-of-safety-17-wrappers-vs-foundational-models/

16. AI Wrapper Applications: What They Are and Why Companies Develop Their Own, geraadpleegd op 10 december 2025, https://www.npgroup.net/blog/ai-wrapper-applications-development-explained/

17. Beyond the Blank Slate: Escaping the AI Wrapper Trap - jeffreybowdoin.com, geraadpleegd op 10 december 2025, https://jeffreybowdoin.com/beyond-blank-slate-escaping-ai-wrapper-trap/

18. The Perils of Legal Hallucinations and the Need for AI Training for Your In-House Legal Team! | Baker Donelson, geraadpleegd op 10 december 2025, https://www.bakerdonelson.com/the-perils-of-legal-hallucinations-and-the-need-for-ai-training-for-your-in-house-legal-team

19. How Profitable Are AI Wrappers in 2025? - Market Clarity, geraadpleegd december 10, 2025, https://mktclarity.com/blogs/news/how-much-ai-wrapper

20. AI on Trial: Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries, geraadpleegd op 10 december 2025, https://hai.stanford.edu/news/ai-trial-legal-models-hallucinate-1-out-6-or-more-benchmarking-queries

21. From risk to ROI: The business case for AI governance - Legal IT Professionals, geraadpleegd op 10 december 2025, https://www.legalitprofessionals.com/legal-it-columns/65-guest-columns/14139-from-risk-to-roi-the-business-case-for-ai-governance

22. GenAI hallucinations are still pervasive in legal filings, but better lawyering is the cure, geraadpleegd op 10 december 2025, https://www.thomsonreuters.com/en-us/posts/technology/genai-hallucinations/

23. Graph RAG vs RAG: Which One Is Truly Smarter for AI Retrieval? | Data Science Dojo, geraadpleegd op 10 december 2025, https://datasciencedojo.com/blog/graph-rag-vs-rag/

24. Updating, Reading, Analyzing, and Organizing Sources – Advanced Legal Research, geraadpleegd op 10 december 2025, https://opentext.uoregon.edu/legal/chapter/reading-and-organizing-sources/

25. Westlaw flags: Checking Cases with KeyCite - Thomson Reuters Legal Solutions, geraadpleegd op 10 december 2025, https://legal.thomsonreuters.com/blog/westlaw-tip-of-the-week-checking-cases-with-keycite/

26. GraphRAG vs. Vector RAG: Side-by-side comparison guide - Meilisearch, geraadpleegd op 10 december 2025, https://www.meilisearch.com/blog/graph-rag-vs-vector-rag

27. VectorRAG vs. GraphRAG: a convincing comparison - Lettria, geraadpleegd op 10 december 2025, https://www.lettria.com/blogpost/vectorrag-vs-graphrag-a-convincing-comparison

28. Improving Legal Question Answering through Structured Knowledge Representation - CEUR-WS, geraadpleegd op 10 december 2025, https://ceur-ws.org/Vol-4089/paper4.pdf

29. NyayGraph: A Knowledge Graph Enhanced Approach for Legal Statute Identification in Indian Law using Large Language Models - ACL Anthology, geraadpleegd op 10 december 2025, https://aclanthology.org/2025.nllp-1.11.pdf

30. Retrieval-Augmented Generation with Vector Stores, Knowledge Graphs, and Hierarchical Non-negative Matrix Factorization - arXiv, geraadpleegd op 10 december 2025, https://arxiv.org/html/2502.20364v1

31. Knowledge Graph for RAG: Definition and Examples - Lettria, geraadpleegd op 10 december 2025, https://www.lettria.com/blogpost/knowledge-graph-for-rag-definition-and-examples

32. Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law - arXiv, geraadpleegd 10 december 2025, https://arxiv.org/html/2410.04949v2

33. Graph-Constrained Reasoning: A Practical Leap for Trustworthy, KG-Grounded LLMs, geraadpleegd op 10 december 2025, https://medium.com/@yu-joshua/graph-constrained-reasoning-a-practical-leap-for-trustworthy-kg-grounded-llms-04efd8711e5e

34. Graph-constrained Reasoning: Faithful Reasoning on Knowledge Graphs with Large Language Models | OpenReview, geraadpleegd op 10 december 2025, https://openreview.net/forum?id=6embY8aclt

35. What is Entity Resolution? - Reltio, geraadpleegd op 10 december 2025, https://www.reltio.com/glossary/data-quality/what-is-entity-resolution/

36. How entity resolution changes working with data - From theory to practice Semantic Visions, geraadpleegd op 10 december 2025, https://www.semantic-visions.com/insights/entity-resolution

37. Basics of Entity Resolution - District Data Labs, geraadpleegd op 10 december 2025, https://districtdatalabs.silvrback.com/basics-of-entity-resolution

38. Entity Resolution & ETL - Cognyte, geraadpleegd op 10 december 2025, https://www.cognyte.com/blog/entity-resolution-etl/

39. GraphRAG Use Cases: Discover 4 Uses of GraphRAG - Lettria, geraadpleegd op 10 december 2025, https://www.lettria.com/blogpost/rag-use-cases-discover-4-uses-of-graphrag

40. The Advantages of GraphRAG for Enhanced Regulatory Compliance and Understanding, geraadpleegd op 10 december 2025, https://graphwise.ai/blog/the-advantages-of-graphrag-for-enhanced-regulatory-compliance-and-understanding/

41. Grow Enterprise AI Maturity for Bottom-Line Impact | MIT CISR, geraadpleegd op 10 december 2025, https://cisr.mit.edu/publication/2025_0801_EnterpriseAIMaturityUpdate_WoernerSebastianWeillKaganer

42. The AI maturity blueprint - Crafty Counsel, geraadpleegd op 10 december 2025, https://craftycounsel.co.uk/latest-content/the-ai-maturity-blueprint/

43. AI Maturity Blueprint: What Separates Leading Legal Teams from the Rest - Axiom Law, geraadpleegd op 10 december 2025, https://www.axiomlaw.com/blog/ai-maturity-legal-blueprint

44. Will Agentic AI Disrupt SaaS? | Bain & Company, geraadpleegd op 10 december 2025, https://www.bain.com/insights/will-agentic-ai-disrupt-saas-technology-report-2025/

45. MCP vs. API – Rethinking Interfaces for the AI Age - Agenticlabs, geraadpleegd op 10 december 2025, https://agenticlabs.io/mcp-vs-api-rethinking-interfaces-for-the-ai-age/

46. What is a knowledge graph? — FOLIO, geraadpleegd op 10 december 2025, https://openlegalstandard.org/education/what-is-a-knowledge-graph/