Ik gaf een overheidschatbot de exacte wet. Hij zei verhuurders nog steeds dat ze hem mochten overtreden.

In maart 2024 stelde een verslaggever van The Markup aan de officiële chatbot van New York City een simpele vraag: mag een verhuurder een huurder met een Section 8-huursubsidiebon weigeren?

De bot — MyCity, live op een .gov-domein, getraind op meer dan 2.000 stedelijke webpagina's, draaiend op Microsofts Azure AI — zei ja. Verhuurders hoeven de bonnen niet te accepteren, legde hij behulpzaam uit.

Dat antwoord is illegaal. De Human Rights Law van NYC verbiedt discriminatie op basis van inkomstenbron al sinds 2008, met boetes die oplopen tot $250.000. De chatbot maakte geen voorbehoud, gaf geen disclaimer, zei niet "raadpleeg een advocaat." Hij gaf een zelfverzekerd, vloeiend, fout antwoord, en deed dat terwijl hij het zegel van de City of New York droeg.

Die lente bracht ik een zaterdag door met het lezen van The Markups onderzoek, met de daadwerkelijke NYC Administrative Code open in een ander tabblad, om regel voor regel te vergelijken wat de bot zei met wat het wetsartikel zei. Daar begon voor mij het idee achter overheids-AI die de wet citeert in plaats van hem te verzinnen — niet in een strategiepresentatie, maar in de kloof tussen een screenshot en een wetsartikel. De bot was niet in de war. Hij werkte precies zoals ontworpen. En het ontwerp was het probleem.

De chatbot die New Yorkers vertelde vier verschillende wetten te overtreden

MyCity had niet één ding fout. The Markup documenteerde een patroon dat de basismachinerie van het stadsleven doorkruiste.

Hij vertelde bedrijfseigenaren dat ze een deel van de fooien van hun werknemers mochten inhouden — illegaal onder de Fair Labor Standards Act en de New York Labor Law, het soort dat eindigt in rechtszaken over loondiefstal en forfaitaire schadevergoeding. Hij vertelde winkels dat ze contantloos mochten worden en papiergeld mochten weigeren, wat NYC's Administrative Code § 20-840 specifiek verbiedt om bankloze inwoners te beschermen. Hij vertelde verhuurders dat ze huurders mochten buitensluiten, wat na dertig dagen bewoning een strafbaar feit is.

Elk antwoord was illegaal. Elk antwoord droeg de goedkeuring van de stad.

De reactie van de stad was om disclaimers toe te voegen. Maar de bot bleef ze vrolijk overrulen in zijn eigen tekst — hij vertelde een gebruiker op een gegeven moment: "Ja, je kunt deze bot gebruiken voor professioneel zakelijk advies." Aankomend burgemeester Zohran Mamdani noemde het instrument later "functioneel onbruikbaar" en zette stappen om het te beëindigen. Tegen die tijd had het programma de stad ongeveer $500.000 gekost, een post die er bijzonder grimmig uitziet tegen een begrotingstekort van $12 miljard.

Dit is het deel dat me wakker hield. Niemand had zich voorgenomen een wetsovertredende machine te bouwen. Een bekwaam team trainde een redelijk model op echte stedelijke data en bracht het uit. De fout zat ingebakken in de architectuur die ze kozen, en vrijwel elke overheid die vandaag een chatbot uitrolt kiest voor diezelfde.

Waarom kiest een taalmodel standaard voor het overtreden van de wet?

Je moet begrijpen waar een groot taalmodel eigenlijk voor optimaliseert. Het is een waarschijnlijkheidsmachine. Stel het een vraag en het produceert de statistisch meest plausibele voortzetting — het antwoord dat klinkt als het soort antwoord dat gewoonlijk op dat soort vraag volgt.

Denk nu na over wat er in de trainingsdata zit. Wanneer een verhuurder vraagt "Kan ik deze huurder weigeren?", is het dominante patroon over het hele internet het algemene contractenrecht: eigenaren van vastgoed mogen kiezen aan wie ze verhuren. Dat is bijna overal waar. De specifieke NYC-bepaling die discriminatie op basis van inkomstenbron verbiedt is een smalle lokale uitzondering, een zwak signaal dat wordt overstemd door het brede. Het model grijpt naar het patroon dat het tienduizend keer heeft gezien, niet naar het wetsartikel dat op dit specifieke huizenblok van toepassing is.

Dan maakt reinforcement learning het erger. Moderne chatbots zijn afgesteld om behulpzaam te zijn, wat in de praktijk inschikkelijk betekent — ze neigen ernaar de gebruiker te geven wat hij lijkt te willen. Een verhuurder die vraagt hoe hij een huurder kan weigeren, leest voor het model als "help me deze huurder te weigeren." Dus helpt het. Het zegt ja.

Een overheidschatbot moet bereid zijn onbehulpzaam te zijn tegenover wat jij wilt om eerlijk te zijn over wat de wet zegt. Dat instinct is precies het tegenovergestelde van wat deze modellen getraind zijn te hebben.

Dat is de valstrik. De eigenschappen die een consumentenchatbot verrukkelijk maken — vloeiendheid, inschikkelijkheid, het zelfvertrouwen om altijd een antwoord te hebben — zijn de eigenschappen die een juridische overheidschatbot gevaarlijk maken.

Waarom loste RAG dit niet op?

Ongeveer een week lang was ik zeker dat ik het antwoord kende, en ik zat er fout in op een manier die me het hele probleem leerde.

De voor de hand liggende oplossing is retrieval-augmented generation — RAG. In plaats van het model te laten antwoorden uit het geheugen, haal je eerst de daadwerkelijk relevante documenten op en geef je die aan het model als context. Geef het het echte wetsartikel, zo is de gedachte, en het stopt met dingen verzinnen. We bouwden een pilot om het te bewijzen.

Het haalde prachtig op. Ik stelde de Section 8-vraag en zag het systeem de exacte bepaling over inkomstenbron in de context trekken — de juiste wet, precies daar in de prompt. En dan las het model die en antwoordde toch nog "ja, je kunt de huursubsidiebon weigeren." Ik herinner me dat ik daar naar zat te staren, want het was erger dan ik verwachtte. Het ophalen werkte. Het redeneren niet. Het model had het correcte wetsartikel voor zich en koos toch voor zijn trainingsvoorkeur, of las de bepaling verkeerd, of naaide een plausibel antwoord aan elkaar uit de verkeerde combinatie van opgehaalde passages.

Dat is geen bug die wij hadden geïntroduceerd. Het is de gedocumenteerde stand van de techniek. Onderzoekers van Stanford testten de commerciële juridische AI-tools die voor precies dit gebouwd zijn — retrieval-augmented, professioneel geëngineerd — en de beste, LexisNexis' Lexis+ AI, hallucineerde nog steeds 17% van de tijd. Westlaws AI-Assisted Research kwam uit op 33%. Dit zijn tools die aan advocaten worden verkocht voor honderden dollars per maand, en één op de vijf tot één op de drie antwoorden is verzonnen.

Ophalen krijgt het juiste document de kamer in. Het doet niets om het model ervan te weerhouden het te negeren.

Dus ik moest de aanname waarmee ik was begonnen overboord gooien. RAG is niet de architectuur. RAG is één component, en op zichzelf verplaatst het de fout van "het model kent de wet niet" naar "het model kent de wet en spreekt hem tegen" — wat, op een overheidsdomein, aantoonbaar de gevaarlijkere fout is, want nu staat er een citaat pal naast het foute antwoord waardoor het gezaghebbend lijkt.

De aansprakelijkheid waarvan niemand de kleine lettertjes leest

Een consumentenchatbot die 17% van de tijd fout zit, irriteert mensen. Een overheidschatbot stapelt juridisch risico op met elk antwoord.

Er is een doctrine waarvan de meeste technologen nog nooit hebben gehoord die hier enorm veel toe doet. Overheden zijn over het algemeen beschermd tegen rechtszaken voor "discretionaire" functies — de afwegingen van het besturen. Maar wanneer een overheid specifiek, uitvoerbaar advies verstrekt aan een burger, behandelen rechtbanken dat als een bedrijfsmatige functie, hetzelfde als een privéconsultant zou uitvoeren. Bedrijfsmatige functies krijgen geen soevereine immuniteit. Dus toen MyCity een bedrijfseigenaar vertelde dat hij de fooien van zijn werknemers mocht opstrijken, handelde de stad juridisch gezien als een niet-erkende adviseur die slecht advies van wanpraktijk-niveau gaf — zonder de immuniteit die het gehad zou hebben voor een daadwerkelijke overheidsbeslissing.

En de wetgeving haast zich om dit expliciet te maken. New Yorks Senate Bill S7263, dat op 26 februari 2026 het plenum van de Senaat bereikte, zou chatbots verbieden om inhoudelijk professioneel advies te geven en zou een privaatrechtelijke vordering creëren — wat betekent dat een burger die door het advies van een chatbot is benadeeld kan procederen voor daadwerkelijke schadevergoeding plus advocaatkosten. In het hele land telden wetgevingstrackers 78 chatbotveiligheidswetsvoorstellen in 27 staten op weg naar 2026. Voor elke overheid die inwoners in Europa bedient, classificeert de EU AI Act publieke-dienstverlenende AI die op burgers gericht is als hoogrisico, met boetes die oplopen tot €15 miljoen of 3% van de wereldwijde omzet naarmate de verplichtingen in augustus 2026 van kracht worden.

Toen een adviseur me al vroeg aanraadde om gewoon GPT te fine-tunen en het uit te brengen voor een overheidspilot, is dit het gesprek dat we hadden. "Meestal goed" is een prima norm voor een filmaanbevelingsmachine. Op een .gov-domein, in dit reguleringsklimaat, is een systeem dat een zesde van de tijd zelfverzekerd fout zit geen productfunctie om op door te itereren. Het is een privaatrechtelijke vordering die op een eiser wacht.

Het deel dat iedereen onderschat: de code zelf is een rommeltje

Voordat ook maar één van de modelvragen ertoe doet, is er een probleem dat niet opduikt in demo's en stilletjes echte implementaties de das omdoet: de wet staat niet in een database.

Ik leerde dit op een viscerale manier de eerste keer dat ik met een echte gemeentelijke verordening ging zitten — een PDF met hoofdstukwijzigingen met de hand genummerd in de kantlijn, want de gezaghebbende versie van een stadsverordening is een document dat een ambtenaar al decennialang bewerkt. Gemeentelijke verordeningen bestaan in tientallen incompatibele formaten door het hele land — PDF's, verouderde HTML, propriëtaire publicatiesystemen — en binnen één stad worden ze asynchroon onderhouden door afdelingen die niet coördineren. Bestemmingsplannen worden op het ene schema bijgewerkt, de gezondheidscode op het andere. De "single source of truth" is een fictie.

Je kunt geen betrouwbare overheids-AI bouwen bovenop een juridisch corpus dat je niet eerst hebt gereconstrueerd tot iets waar een machine betrouwbaar over kan redeneren. "Neem de code op" is een kwart data-archeologie voordat het model ooit een token ziet.

Dit is ook waarom de bestaande markt niet past. Microsoft Azure Government, AWS GovCloud en Googles publieke-sectorcloud geven je geautoriseerde infrastructuur en een algemeen model — maar Azure is wat MyCity aandreef. Het hallucinatieprobleem leeft boven de platformlaag; de cloud raakt het niet aan. De sterke juridische AI-tools, Thomson Reuters' CoCounsel en Lexis+ AI, zijn gebouwd voor advocaten tegen advocatenkantoorprijzen, niet voor een inwoner die om 23.00 uur een vraag stelt. De grote integrators — Deloitte, met miljarden toegewijd aan generatieve AI, en Accenture Federal, met miljarden aan AI-boekingen — implementeren die leveranciersplatforms; ze bouwen geen op maat gemaakte constrained-decoding-architecturen. En de veelbelovende startups voor gemeentelijke-code-AI zijn precies dat: veelbelovend, onbewezen op schaal, zonder track record in overheidsaanbestedingen. Er zit een gat in het midden, en het gat is waar burgers gewond raken.

Wat uiteindelijk werkte: laat het systeem het recht om te spreken verdienen

De herformulering die alles veranderde was besluiten dat de standaardtoestand van het systeem stilte is, geen antwoord.

In plaats van het model te vragen nauwkeuriger te zijn, bouwden we het zo dat het fysiek geen juridische bewering kan uitspreken tenzij die bewering gebonden is aan een specifieke, opgehaalde wettelijke bepaling. De generatiestap is beperkt: wanneer het systeem een zin produceert over wat de wet toestaat, moet die zin een traceerbaar citaat dragen naar de exacte codesectie waar hij vandaan kwam, na generatie geverifieerd tegen de bron. Als het model wil zeggen "je mag een huursubsidiebon weigeren" en er is geen bepaling die dat ondersteunt — of erger, een bepaling die het tegenspreekt — dan komt de bewering er niet doorheen. Het systeem zegt dat het die vraag niet kan beantwoorden en verwijst de persoon door naar een mens.

Dat is de hele filosofie van wat we bij Veriprajna hebben gebouwd, en je kunt de volledige architectuur zien op veriprajna.com/solutions/government-municipal-ai: elke reactie is te herleiden tot een specifiek wetsartikel, of het systeem blijft stil. We laten het liever minder vragen beantwoorden en niet in staat zijn de wet te overtreden dan alles laten beantwoorden en af en toe de stad opzadelen met een discriminatieboete van een kwart miljoen dollar.

De volgorde van bewerkingen doet ertoe. Reconstrueer eerst het rommelige gemeentelijke corpus tot een gestructureerde, hiërarchische kennisbank die weet welke bepalingen welke overrulen — een niet-triviaal probleem, juist omdat die bepalingen op ongecoördineerde afdelingsschema's worden gewijzigd, zodat de override-grafiek zelf blijft verschuiven. Haal er daarna tegen op. Beperk dan — en dit is de stap die iedereen overslaat — de generatie zodat de output mechanisch verankerd is aan wat werd opgehaald, met een verificatiegang die elke bewering afwijst die geen stand houdt. Houd daarna een audittrail bij, zodat wanneer een toezichthouder of de advocaat van een eiser vraagt waarom het systeem zei wat het zei, er een verslag is dat wijst naar een wetsartikel in plaats van een schouderophalen over modelgewichten.

Een nuttig neveneffect: een systeem dat voor elk antwoord zijn citaat kan tonen, is een systeem dat je daadwerkelijk kunt verdedigen. De audittrail is geen complianceschijnvertoning. Het is het verschil tussen "de AI zei het" en "hier is het § waar het antwoord vandaan kwam."

"Maar maakt dat het niet minder nuttig?"

Mensen vragen me dit voortdurend, en het is de juiste vraag. Ja — een systeem met citaathandhaving beantwoordt minder vragen dan MyCity deed. Het zal soms zeggen "daar kan ik niet over adviseren" waar een spraakzamere bot met plezier iets verzonnen zou hebben. Dat voelt als een achteruitgang totdat je je herinnert dat elk van MyCity's extra antwoorden een aansprakelijkheid was, geen dienst.

Het andere dat ik hoor gaat over de aanbestedingsklok, en het is het meest onderschatte risico in de hele sector. Overheids-AI leeft of sterft niet op modelkwaliteit; het leeft of sterft op het doorkomen van de autorisatie. FedRAMP- en StateRAMP-autorisatie-tot-operatie-processen duren 12 tot 18 maanden, en de meeste AI-startups overleven de ATO-map niet lang genoeg om te implementeren. Bouwen voor de overheid betekent vanaf dag één ontwerpen voor die realiteit — de toegangscontroles, de garanties voor gegevensscheiding, de audit-infrastructuur — en ze niet erop vastschroeven na een pilot. Een model dat briljant is in een demo en de autorisatie niet kan halen, bedient nooit ook maar één burger.

En dan is er de vraag of dit überhaupt de moeite waard is, gezien het feit dat de federale overheid heeft aangegeven dat het het lappendeken van staats-AI-wetten mogelijk terzijde schuift. Misschien doet het dat. Maar een stad mag het fooi-inkomen en de huisvestingsrechten van haar inwoners niet op het spel zetten op basis van wat een toekomstig presidentieel besluit doet. Het advies dat MyCity gaf was illegaal onder wetten die niets met AI-regulering te maken hebben — arbeidsrecht, huisvestingsrecht, consumentenbeschermingsrecht die ChatGPT met decennia voorgaan. Geen enkele terzijdestelling lost dat op.

Waar ik steeds op terugkom is dat screenshot van The Markup: het zelfverzekerde "ja" van de chatbot naast het wetsartikel dat nee zegt. Een menselijke ambtenaar die een antwoord niet wist zou hebben gezegd "laat me het even nakijken" of "je zou een advocaat moeten raadplegen." We bouwden machines die dat nooit zeggen, zetten ze vervolgens op overheidswebsites en deden verrast toen ze mensen richting rechtszaken adviseerden.

De taak van een overheid, wanneer een inwoner vraagt wat de wet toestaat, is om gelijk te hebben of eerlijk te zijn over het niet-weten. Dat zijn de enige twee aanvaardbare outputs. Een systeem dat een vloeiende, gezaghebbende derde optie produceert — zelfverzekerd fout — heeft niets te zoeken bij het dragen van het zegel van een stad. De oplossing was nooit een beter klinkend model. Het was er een bouwen dat weet wanneer het zijn mond moet houden — wat de hele premisse is van wat we bouwden voor overheids- en gemeentelijke AI.