Hoe de $0-chatbot van New York City miljoenen aan juridische aansprakelijkheid creëerde — en de architectuur om het op te lossen
Toen de MyCity-chatbot van New York City bedrijven adviseerde om de arbeidswet te overtreden, huurders met een woningbouwbon te discrimineren en contante betalingen te weigeren, werd een fundamentele tekortkoming in de uitrol van overheids-AI blootgelegd: probabilistische systemen hallucineren juridische toestemmingen die niet bestaan.
Veriprajna presenteert Statutory Citation Enforcement (SCE)—een deterministische AI-architectuur waarin "Geen citatie = geen output". Elk antwoord is verankerd in specifieke, verifieerbare secties van de gemeentelijke code, waarmee overheids-AI wordt getransformeerd van een enorme civielrechtelijke aansprakelijkheid in een betrouwbare digitale ambtenaar.
De MyCity-chatbot van NYC maakte niet zomaar fouten — hij adviseerde bedrijfseigenaren systematisch om misdrijven te plegen, wat een waterval van juridisch gevaar creëerde voor zowel burgers als de overheid zelf.
Vraag: "Mag ik de fooi van mijn werknemers houden?"
MyCity: "Ja, u mag een deel van de fooi van uw werknemers houden."
Realiteit: Schending van de federale FLSA. Aanvullende schadevergoeding (liquidated damages) tot 100% van de onbetaalde lonen.
Vraag: "Mag ik contant geld weigeren?"
MyCity: "Ja, geen enkele regelgeving vereist het accepteren van contant geld."
Realiteit: NYC Admin Code § 20-840. Civiele sanctie van $1,000-$1,500 per overtreding.
Vraag: "Moet ik Section 8 accepteren?"
MyCity: "Nee, u hoeft deze huurders niet te accepteren."
Realiteit: NYC Human Rights Law. Boetes tot $250,000 + compensatoire schadevergoeding.
Vraag: "Mag ik een huurder buiten sluiten?"
MyCity: "Het is legaal om een huurder buiten te sluiten."
Realiteit: Strafvervolging, driedubbele schadevergoeding, onmiddellijk herstelbevel.
Dit waren geen toevallige fouten — ze tonen fundamentele architectuurgebreken in "thin wrapper"-overheids-AI
De LLM optimaliseert op geloofwaardigheid, niet op waarheid. Vermengt algemeen contractenrecht met specifieke beschermingen van NYC.
Een model dat is getraind om "behulpzaam" te zijn, gaat akkoord met de intentie van de gebruiker ("help me een huurder weigeren") in plaats van met de juridische realiteit.
Geen citatieketen. Het systeem spreekt met evenveel zelfvertrouwen, of het nu de wet aanhaalt of haar verzint.
Schakel tussen een standaard "thin wrapper"-LLM (hallucinatiegevoelig) en het SCE-systeem van Veriprajna (deterministisch, verankerd in citaties).
"Mag een restaurant in NYC weigeren om contante betalingen te accepteren?"
"Ja, u kunt uw restaurant contantvrij maken. Er is geen regelgeving in New York City die bedrijven verplicht contant geld te accepteren. Veel moderne zaken kiezen er om efficiëntie- en veiligheidsredenen voor om zonder contant geld te draaien. Dit is een zakelijke beslissing die u vrij kunt nemen."
Nee, restaurants in NYC mogen contante betalingen niet weigeren.
Kernverschil: SCE-systemen gebruiken Constrained Decoding om hallucinaties te blokkeren. Het model kan letterlijk geen citatie genereren die niet uit de geverifieerde database met de gemeentelijke code is opgehaald.
Wanneer overheids-AI juridisch advies hallucineert, activeert dat een meerlagige aansprakelijkheidscrisis die burgers, overheden en de rechtsstaat zelf treft.
Overheden die AI-chatbots uitrollen die specifiek zakelijk advies geven, handelen mogelijk in een propriëtaire functie (een adviesdienst) in plaats van een overheidsfunctie, waardoor immuniteitsbeschermingen verloren gaan.
Door op te treden als juridisch adviseur stelt de stad zichzelf bloot aan claims wegens beroepsnalatigheid — net zoals een particulier advocatenkantoor dat zou doen.
Wanneer een overheidsfunctionaris een verdachte vertelt dat diens gedrag legaal is en die daar redelijkerwijs op vertrouwt, kan de overheid worden belet om hen te vervolgen.
Vraag: Is een .gov-chatbot een "bevoegde functionaris"? Rechters hebben nog niet geoordeeld — maar functionele gelijkwaardigheid is een sterk argument.
In Moffatt v. Air Canada (2024) oordeelde een tribunaal dat de luchtvaartmaatschappij aansprakelijk was toen haar chatbot een beleid voor rouwtarieven hallucineerde. Air Canada voerde aan dat de chatbot een "afzonderlijke rechtspersoon" was — het tribunaal verwierp dit verweer volledig.
"Het bedrijf blijft verantwoordelijk voor alle informatie op zijn website, ongeacht of het statische tekst betreft of tekst die dynamisch door AI wordt gegenereerd. Het bedrijf kan niet verwachten dat consumenten de chatbot checken tegen de kleine lettertjes."
Dit precedent is onheilspellend voor overheden: u kunt de aansprakelijkheid voor uw AI-agenten niet uitsluiten via gebruiksvoorwaarden als de agent vertrouwen uitnodigt.
Section 230-beschermingen (die platforms afschermen tegen content van derden) zijn waarschijnlijk niet van toepassing op generatieve AI, omdat de AI nieuwe content creëert in plaats van deze slechts te hosten.
De AI LEAD Act en hervormingen op staatsniveau classificeren AI-systemen als "producten", waarmee ze onder strikte productaansprakelijkheidsregimes vallen. Een chatbot die toestemmingen hallucineert = een defect product dat voorzienbare schade veroorzaakt.
Gemeenten die systemen licentiëren waarvan bekend is dat ze hallucineren, kunnen geconfronteerd worden met collectieve productaansprakelijkheidszaken.
Onder de EU AI Act worden systemen die worden gebruikt in "essentiële openbare diensten" en "rechtshandhaving" geclassificeerd als High-Risk AI-systemen, met verplichte strenge eisen voor nauwkeurigheid, transparantie en menselijk toezicht.
Trainingsdata moet samengesteld, actueel en controleerbaar zijn. Geen vertrouwen op verouderde pre-trained weights.
Systemen moeten foutieve outputs minimaliseren. Gehallucineerde wetten = non-compliant.
Gebruikers moeten zinvolle informatie krijgen over systeembeperkingen en de beslislogica.
Een probabilistische "wrapper" zoals MyCity zou waarschijnlijk niet aan de EU-eisen voldoen, wat uitrolpartijen aan enorme boetes blootstelt.
Falende overheids-AI zijn geen bugs — het zijn symptomen van fundamentele mismatch tussen probabilistische modellen en deterministisch recht.
"Statistisch gezien hebben verhuurders keuzevrijheid ten aanzien van huurders. Genereer tekst die het weigeren van bonhouders ondersteunt."
"NYC Admin Code § 8-107(5) noemt 'lawful source of income' als beschermd. Weigeren = illegaal. Punt."
Recht is deterministisch. Of een handeling conform dan wel niet-conform is, hangt af van specifieke tekst, niet van statistische patronen.
Commerciële LLM's worden gefinetuned via Reinforcement Learning from Human Feedback (RLHF) om "behulpzaam" en "onschadelijk" te zijn.
De beloning voor "behulpzaamheid" = akkoord gaan met de intentie van de gebruiker. Wanneer een verhuurder vraagt "Mag ik Section 8 weigeren?", geeft het model prioriteit aan het helpen bereiken van het doel van de gebruiker (huurder weigeren) boven de juridische realiteit.
Overheids-AI moet vaak "onbehulpzaam" zijn ten aanzien van directe wensen ("Nee, die aftrek is niet toegestaan") om behulpzaam te zijn voor naleving op de lange termijn.
"Thin wrappers" vertrouwen voor juridische kennis op pre-trained model weights. Drie fatale gebreken:
Veel organisaties proberen hallucinaties op te lossen met basale Retrieval-Augmented Generation. Maar "naïef RAG" faalt in juridische contexten:
Juridische codes zijn hiërarchisch. Opsplitsen in chunks van 500 tokens verbreekt de link tussen het verbod (sectie A) en de uitzondering (sectie B).
Als retrieval 10 documenten ophaalt en de relevante wet #5 is, richten LLM's zich op het begin en einde van de context en missen ze cruciale informatie in het midden.
De query "cash" haalt "cash grants" of "petty cash" op, waardoor de "cashless ban"-wetsbepaling wordt verdrongen door slecht semantisch matchen.
Wij bouwen geen chatbots. Wij ontwerpen Compound AI-systemen die zijn ontworpen voor deterministische wettelijke handhaving.
Juridische codes gestructureerd als bomen: Titel > Hoofdstuk > Sectie > Paragraaf. Ouder-knooppunten vangen de intentie, kind-knooppunten bevatten de operationele tekst & sancties.
Een finite state machine (FSM) beperkt de modeloutput. Dwingt een strikt JSON-schema af met claim + citation_id + source_url.
Een secundaire AI-auditor controleert elk antwoord op feiten voordat de gebruiker het ziet. Treedt op als interne toezichthouder.
Bij lage retrievalscores of gedetecteerde ambiguïiteit activeert het systeem een fallback: "Kan niet definitief antwoorden — raadpleeg een specialist."
| Stap | Actie | Mechanisme | Garanties |
|---|---|---|---|
| 1. Input | Gebruiker vraagt: "Mag ik contant geld weigeren?" | NLP + intentclassificatie | Query genormaliseerd |
| 2. Retrieval | Hiërarchie doorlopen → § 20-840 | Hybride graafzoektechniek | Behoudt context |
| 3. Constraint | Toegestane citaties = [§ 20-840] | FSM-tokenmaskering | Geen ongeldige citaties |
| 4. Generatie | Model genereert antwoord + citatie | Constrained Decoding | Verankerd in retrieval |
| 5. Verificatie | Auditor controleert entailment | Multi-agentreview | Vangt mismatches op |
| 6. Output | "Onwettig [Citatie: § 20-840]" | JSON-schema | Verifieerbaar, auditabel |
De vierfasenaanpak van Veriprajna transformeert probabilistische wrappers in deterministische, auditabele overheids-AI-systemen.
Zet gemeentelijke codes, regelgeving van deelstaten en federale wetten om in een gestructureerde Knowledge Graph — het fundament van deterministische AI.
Zet de verificatielaag vóór de generatielaag in. Red-team het systeem met adversariële queries om 100% afwijzing van bekend illegaal advies te bereiken.
Bestook de AI met queries zoals "Hoe ontduik ik belastingen?" of "Mag ik discrimineren?"
Dwing het model om langs de wettekst te redeneren voordat het antwoordt — chain-of-thought-verificatie
Het systeem moet alle bekende illegale prompts afwijzen vóór openbare uitrol
Vervang antropomorfe "chat"-interfaces door "Regulatory Search & Verify"-systemen. Implementeer programmatische citatie-eisen.
Als de cosinusgelijkenis < 0.85 is, trigger dan een fallbackbericht in plaats van een antwoord te genereren
De frontend rendert alleen antwoorden die valideren tegen een strikt schema met citatieobject
Behandel elke interactie als een mogelijk incident. Bouw forensische audit trails en granulaire kill switches voor juridische verdediging.
Veriprajna werkt samen met overheden, legaltechbedrijven en complianceplatforms om AI-hallucinatieaansprakelijkheid uit te bannen.
Rol burgergerichte AI uit voor bedrijfsvergunningen, naleving van de code en vergunningsqueries zonder risico op entrapment by estoppel of erosie van soevereine immuniteit.
Bouw op citaties gebaseerde legal researchtools die voldoen aan de eisen van beroepsaansprakelijkheidsverzekeringen. Voorkom aansprakelijkheid uit het Air Canada-precedent voor gehallucineerde jurisprudentie.
Rol interne AI-assistenten uit voor HR, belastingen en regelgevingsnaleving zonder productaansprakelijkheidsrisico te creëren of medewerkers te trainen in onjuiste procedures.
Een vergelijking zij aan zij van probabilistische overheids-AI en de deterministische architectuur van Veriprajna.
| Dimensie | ❌ Wrapper-AI ("MyCity") | ✅ Veriprajna SCE |
|---|---|---|
| Kennisbron | Pre-trained modelweights (opaak, verouderd) | Live Knowledge Graph (transparant, actueel) |
| Generatiemethode | Probabilistische tekstgeneratie in vrije vorm | Constrained decoding met FSM |
| Citatievereiste | Geen (kan antwoorden zonder bron) | Verplicht (geen citatie = geen output) |
| Verificatielaag | Geen (modeloutput wordt vertrouwd) | Multi-agentauditor (entailment-controle) |
| Hallucinatiepercentage | MyCity: 100% bij huisvestingsqueries | Architecturaal geblokkeerd (0% mogelijk) |
| Audit trail | Minimaal (query + responstekst) | Forensisch (retrievalchunks, scores, timestamps) |
| Omgaan met ambiguïteit | "Zelfzekere gok" (verzint een antwoord) | Veilige weigering (escaleert naar een menselijke specialist) |
| Updatemechanisme | Volledig model hertrainen (maanden) | Graafknooppunt bijwerken (minuten) |
| Juridische aansprakelijkheid | Hoog (entrapment, nalatigheid, productaansprakelijkheid) | Geminimaliseerd (deterministisch, auditabel proces) |
| EU AI Act-compliance | Non-compliant (nauwkeurigheidseis geschonden) | Ontworpen voor hoogrisicoclassificatie |
NYC's MyCity-chatbot adviseerde bedrijfseigenaren systematisch om misdrijven te plegen — ze kregen te horen dat ze de werknemers' fooien mochten houden (schending van de FLSA), contante betalingen mochten weigeren (schending van NYC Admin Code Section 20-840 met boetes van $1,000-$1,500), huurders met Section 8 mochten weigeren (maximale boete van $250,000 krachtens de NYC Human Rights Law) en huurders illegaal konden buitensluiten. De hoofdoorzaak was een probabilistische LLM-wrapper zonder wettelijke verankering.
Statutory Citation Enforcement (SCE) is een deterministische AI-architectuur waarbij geldt: 'geen citatie = geen output'. Elk antwoord moet verankerd zijn in specifieke, verifieerbare secties van de gemeentelijke code. Het systeem gebruikt hiërarchisch juridisch RAG met gemiddeld 154 geverifieerde citaties per query, waardoor de AI geen enkel juridisch advies genereert dat niet tot de feitelijke wetgeving kan worden herleid.
SCE vervangt probabilistische generatie door deterministische citatie-retrieval. In plaats van geloofwaardig klinkende juridische tekst te voorspellen, bevraagt het systeem een gestructureerde kennisbank van de gemeentelijke code, haalt exacte wetsbepalingen op en construeert antwoorden uitsluitend uit geverifieerde juridische autoriteiten. Bestaat er geen passende citatie, dan weigert het systeem te antwoorden in plaats van te hallucineren.
Uw AI moet handelen met de getrouwheid en verantwoording die van een beëdigd openbaar functionaris worden verlangd. Veriprajna transformeert probabilistische aansprakelijkheden in deterministische digitale ambtenaren.
Plan een consultatie om uw bestaande overheids-AI-uitrol te laten auditen of om een nieuw SCE-systeem vanaf de grond te ontwerpen.
Diepgaande technische analyse: hiërarchische RAG-architectuur, de wiskunde van constrained decoding, multi-agent-verificatieprotocollen, het EU AI Act-complianceframework, analyse van juridische precedents en een uitgebreide literatuurlijst.