De governancelaag boven de overheids-chatbot
Een fout antwoord op het .gov-domein van een stad draagt het officiële stempel van die stad. CivicCite geeft een burgerantwoord alleen vrij wanneer het een wetsbepaling draagt die bestaat, van kracht is, volgt uit de geciteerde tekst, en conflictvrij is. Anders onthoudt het zich, escaleert het naar de juiste afdeling, en legt het een dossier aan. De agents adviseren; de poort beslist.
0 / 12
Antwoorden vrijgegeven zonder een geverifieerde, van kracht zijnde wettelijke grondslag
Streefwaarde op de vaste gouden set van 12 vragen
100%
Dekking van het Wettelijk Beslissingsdossier
Eén indienbaar dossier per vraag, vrijgeven of weigeren
4
Poortvoorwaarden, alle vereist om vrij te geven
Bestaat, van kracht, volgt uit, conflictvrij
Dit is een uitvoerbare demo op een synthetisch-maar-getrouw corpus van 12 bepalingen uit de gemeentelijke code. Inname van de gemeentelijke code en de 311-escalatieconnector zijn gesimuleerd; de deterministische poort en het dossier draaien precies zoals getoond. Geen juridisch advies.
De faalmodus die CivicCite is gebouwd om te dichten.
Overheids-chatbots geven burgers zelfverzekerde juridische antwoorden die fout zijn, en elk fout antwoord draagt het officiële stempel van de stad. De MyCity-bot van NYC, gelanceerd in oktober 2023, is door The Markup (maart 2024) gedocumenteerd als bot die verhuurders vertelde dat ze Section 8-vouchers mochten weigeren, bedrijven dat ze contantloos mochten gaan, en werkgevers dat ze fooien van werknemers mochten houden. Elk van die antwoorden was illegaal.
Retrieval toevoegen lost het niet op. Onderzoekers van Stanford en JELS (Magesh et al., 2025) maten Lexis+ AI op 17 procent en Westlaw AI-Assisted Research op 33 procent hallucinatie. Retrieval haalt de wetsbepaling op; generatie leest die nog steeds verkeerd of overschrijft die. Het gevaarlijke geval is geen verzonnen citaat. Het is de juiste wetsbepaling geciteerd met de verkeerde conclusie gesteld, of een ingetrokken bepaling geciteerd alsof die nog van kracht is.
De blootstelling is reëel en groeit. Er zijn 78 wetsvoorstellen over chatbots in 27 staten in 2026, New Yorks S7263 bereikte de Senaatsvloer op 26 februari 2026, en de hoog-risicoverplichtingen van bijlage III van de EU AI Act worden afdwingbaar op 2 augustus 2026 met boetes tot 15 miljoen euro of 3 procent van de omzet. Juridisch advies van de overheid valt in de zone van de eigen overheidsfunctie, dus er is geen soevereine-immuniteitsschild. De duurzame eis is geen beter model. Het is bewijs, tegenover een toezichthouder, dat elk vrijgegeven antwoord te herleiden is tot geldend recht.
LLM-agents adviseren. Deterministische code buiten het agentframework beslist wat wordt vrijgegeven. Een LLM kan zichzelf niet voorbij de poort stemmen.
Elke burgervraag loopt van links naar rechts: Decompose, daarna Retrieve, daarna Draft, daarna Verify, daarna de poort, daarna het dossier. Decompose (LLM, adviserend) splitst de vraag in atomaire juridische subvragen. Retrieve (deterministisch, geen LLM) doorloopt een samengestelde kennisgraaf van de gemeentelijke code met lexicale zoekopdrachten en hiërarchische traversie van kruisverwijzingen, en elke kandidaat draagt zijn citaat-id, tekst, ingangsdatum, intrekkingsdatum, sanctie en instantie. Draft (LLM, begrensd) stelt een bewering plus een citaat voor, uitsluitend uit de opgehaalde set, afgedwongen door een allowlist-validator en één herhaalde vraag.
Verify voert drie controles uit per opgestelde bewering, en de poort combineert die met een citaat-bestaat-voorwaarde. Het geeft een subantwoord alleen vrij wanneer alle vier gelden.
De geciteerde citaat-id lost op tot een echte bepaling in de graaf van de gemeentelijke code. Een opgesteld antwoord kan geen sectienummer verzinnen dat niet in de opgehaalde set zit.
Deterministisch: de bepaling heeft geen intrekkingsdatum en een ingangsdatum op of vóór de peildatum. Een ingetrokken of nog-niet-ingetreden bepaling kan nooit een vrijgegeven antwoord onderbouwen.
Adviserende LLM-controle: ondersteunt de geciteerde tekst de bewering daadwerkelijk, met als resultaat volgt uit, tegengesproken of neutraal? Dit vangt de juiste wetsbepaling geciteerd met de verkeerde conclusie gesteld.
Deterministisch: het leest conflicts-with-randen in de graaf, onafhankelijk van het volgt-uit-oordeel, zodat twee bepalingen die elkaar tegenspreken niet stilzwijgend een vrijgegeven antwoord opleveren.
De Wettelijke Beslissingspoort is deterministische Python die buiten het agentframework leeft. Het geeft een subantwoord alleen vrij als het citaat bestaat en de bepaling van kracht is en de geciteerde tekst volgt uit en er geen conflict is. Anders houdt het het subantwoord vast, markeert het als buiten geverifieerde dekking, en leidt het naar de juiste afdeling. Per vraag aggregeert het tot een van drie beschikkingen: VRIJGEGEVEN, GEDEELTELIJK, of GEWEIGERD EN GEËSCALEERD.
Voor elke vraag, vrijgeven of weigeren, schrijft een deterministische writer een Wettelijk Beslissingsdossier: de subvragen, de vier controles en hun oordelen, het citaat, de beschikking, en het escalatiedoel wanneer iets is vastgehouden. Dat is het artefact waarop een juridische dienst en een toezichthouder kunnen handelen, en daarom is de duurzame metriek aantoonbare niet-vrijgave, geen hallucinatiegraad.
Actualiteit peildatum 2026-06-17. Elk beeld hieronder is een screenshot van de draaiende app.
Een verhuurder vraagt of hij een huurder mag weigeren die de huur zou betalen met een Section 8-voucher. De standaardassistent geeft het zelfverzekerde, illegale "ja" vrij. CivicCite stelt ook een "ja" op, maar de volgt-uit-controle leest het als tegengesproken door NYC Admin. Code section 8-107(5), die discriminatie op grond van inkomstenbron onrechtmatig maakt (NYC Commission on Human Rights, civiele boetes tot 250.000 dollar voor opzettelijke overtredingen). De poort blokkeert het opgestelde antwoord en geeft in plaats daarvan het juiste, door een citaat onderbouwde "Nee" vrij, gemarkeerd als geverifieerd, volgt uit, en van kracht. Het linkerpaneel is een gewone retrieval-chatbot zonder verificatiepoort; het rechterpaneel is CivicCite die de volledige pijplijn draait.
Elke fase is klikbaar voor de ruwe invoer en uitvoer. De Verify-fase toont de opgestelde bewering en de citaat-id die binnenkomen, en het volgt-uit-oordeel dat eruit komt: volgt uit, met de reden die de exacte bepalingstaal citeert over weigeren te verhuren vanwege een wettige inkomstenbron die Section 8-huisvestingsvouchers omvat. Dit is de controle die de juiste wetsbepaling geciteerd met de juiste conclusie scheidt van de juiste wetsbepaling geciteerd met de verkeerde.
Een foodtruck-exploitant vraagt naar de hele dag parkeren bij een parkeerautomaat onder de algemene regel voor verkopersparkeren. De enige bepaling die het zou behandelen is ingetrokken, en geen bepaling die momenteel van kracht is, beheerst de vraag. De actualiteitscontrole faalt, dus CivicCite synthetiseert geen antwoord. Het houdt in, leidt de vraag naar NYC 311 algemene intake met de gedeeltelijke bevindingen bijgevoegd, en geeft de beschikking GEWEIGERD EN GEËSCALEERD terug. Eerlijke onthouding wint van een zelfverzekerd fout antwoord.
Elke vraag, vrijgeven of weigeren, produceert een Wettelijk Beslissingsdossier. Het legt de subvraag vast, het domein, de opgestelde bewering en het citaat, de vier controles met hun booleaanse oordelen, de beslissing, het volgt-uit-label, en elke vasthoudreden of escalatiedoel. Het noemt ook de standaarden waaraan het is gekoppeld, NIST AI RMF-governance en -meetlogging en FedRAMP- en StateRAMP-continue monitoring, als een uitlijningsrichting, geen certificering.
Het corpus is 12 bepalingen over 7 titels, actualiteit peildatum 2026-06-17. Van-kracht-knooppunten zijn groen, het ene opzettelijk ingetrokken knooppunt is rood en gestippeld, en kruisverwijzingsranden worden getoond zodat retrieval-traversie zichtbaar is. Draaiend over de vaste gouden set van 12 vragen (de vier gedocumenteerde MyCity-falen, een foodtruck-geval over meerdere domeinen, een valkuil met alleen-ingetrokken, en een valkuil zonder dekking), rapporteert de app 0 van 12 antwoorden vrijgegeven zonder een geverifieerde, van kracht zijnde wettelijke grondslag, 100 procent auditdossiertekking, en 100 procent overeenstemming van de beschikking met de gelabelde grondwaarheid. Wij schrijven die cijfers toe aan deze gelabelde gouden set, nooit als een open-wereldgarantie.
Hetzelfde gesplitste scherm waarmee de demo vergelijkt, naast elkaar.
| Dimensie | Standaard-chatbot (de MyCity-architectuur) | CivicCite Wettelijke Beslissingspoort |
|---|---|---|
| Wie beslist wat wordt vrijgegeven | De LLM geeft vrij wat hij heeft opgesteld | Deterministische Python-poort buiten de agents |
| Juiste wetsbepaling, verkeerde conclusie | Wordt intact vrijgegeven | Opgevangen door de volgt-uit-controle |
| Ingetrokken bepaling geciteerd | Wordt intact vrijgegeven | Opgevangen door de actualiteitscontrole |
| Geen wetsbepaling dekt de vraag | Synthetiseert toch een antwoord | Onthoudt zich en escaleert naar de afdeling |
| Auditspoor | Geen | Een Wettelijk Beslissingsdossier per vraag |
| Aantoonbare niet-vrijgave | Niet gemeten | 0 van 12 op de gelabelde gouden set |
Nee. CivicCite is geen chatbot en geen zoekmachine voor de gemeentelijke code. Het is een governancelaag die boven het chatbotplatform zit, het stuk dat de cloud-AI-diensten en GovTech-leveranciers niet hebben. Een deterministische Python-poort buiten het agentframework geeft een burgerantwoord alleen vrij wanneer het citaat bestaat, van kracht is, volgt uit de geciteerde tekst, en conflictvrij is. De chatbot in de demo is een synthetisch rekwisiet; de poort is het product.
De LLM adviseert alleen. Hij ontleedt de vraag en stelt een bewering op met een citaat dat uitsluitend uit de opgehaalde set komt. Daarna controleert deterministische code of de geciteerde wetsbepaling bestaat, van kracht is per de peildatum, volgt uit de geciteerde tekst, en geen conflict draagt, en de poort geeft alleen vrij als alle vier gelden. Bij de echte MyCity Section 8-vouchervraag wordt het opgestelde "ja" door de volgt-uit-controle opgevangen als tegengesproken door NYC Admin. Code section 8-107(5), en de poort geeft in plaats daarvan het juiste, door een citaat onderbouwde "Nee" vrij.
Retrieval verbetert het opgestelde antwoord, maar het kan niet bewijzen dat het antwoord veilig is om vrij te geven. Onderzoekers van Stanford en JELS (Magesh et al., 2025) maten retrieval-ondersteunde juridische AI die nog steeds hallucineert, op 17 procent voor Lexis+ AI en 33 procent voor Westlaw AI-Assisted Research. Zelfs met een perfect model moet een overheid een toezichthouder bewijzen dat elk vrijgegeven antwoord te herleiden is tot geldend recht. Dat bewijs is een eigenschap van een deterministische poort en een indienbaar dossier, niet van een sterkere schrijver.
Elke vraag produceert een Wettelijk Beslissingsdossier, vrijgeven of weigeren, dus de auditdekking op de gouden set is 100 procent. Elk dossier legt de subvragen vast, de vier controles met hun oordelen, het citaat, de beschikking, en waar een onbeantwoord deel is geëscaleerd. Het kernpunt waarop een toezichthouder kan handelen is geen hallucinatiepercentage. Het is dat antwoorden vrijgegeven zonder een geverifieerde, van kracht zijnde wettelijke grondslag aantoonbaar nul kunnen zijn, onderbouwd door een dossier voor elke interactie.
Het is niet gecertificeerd, en wij claimen dat ook niet. De regelgevende framing is uitlijning en richting, geen certificering. Het Wettelijk Beslissingsdossier is ontworpen om aan te sluiten op NIST AI RMF-documentatie en op FedRAMP- en StateRAMP-logging voor continue monitoring, zodat het artefact dat een complianceteam nodig heeft standaard wordt geproduceerd. De FedRAMP- of StateRAMP-autorisatiegrens wordt geërfd van de hostingomgeving en valt buiten het bereik van een lokale demo.
Het is een uitvoerbare demo die het mechanisme bewijst, geen implementatie, en het is geen juridisch advies. Het corpus is een synthetisch-maar-getrouwe demograaf van 12 bepalingen: de werkende tekst is geparafraseerd uit echte aangehaalde bepalingen van de NYC Administrative Code, NY Labor Law en NYC Health Code, met realistische labels, instanties, sancties en data. Inname van de gemeentelijke code en de 311-escalatieconnector zijn gesimuleerd; de deterministische controles, de poort en het dossier draaien precies zoals getoond.
Het onderzoek achter deze demo — de architectuur, het verificatieontwerp en de enterprise-blauwdruk.
Volledige oplossing
Verken de oplossing Overheids-AI die de wet citeert →Het bewijs dat elk antwoord te herleiden is tot geldend recht is het moeilijke deel. Wij bouwen het.
Als uw instantie afweegt hoe ze burgers AI-antwoorden kan geven zonder een fout antwoord onder de naam van de stad vrij te geven, horen we oprecht graag hoe u en uw juridische dienst erover denken. Het probleem verspreidt zich over staten, en de antwoorden zullen dat ook.