Ich gab einem Regierungs-Chatbot das exakte Gesetz. Er riet Vermietern trotzdem, es zu brechen.

Im März 2024 stellte ein Reporter von The Markup dem offiziellen Chatbot der Stadt New York eine einfache Frage: Darf ein Vermieter einen Mieter mit einem Section-8-Gutschein ablehnen?

Der Bot – MyCity, live auf einer .gov-Domain, trainiert mit über 2.000 städtischen Webseiten, betrieben auf Microsofts Azure AI – sagte Ja. Vermieter müssten die Gutscheine nicht akzeptieren, erklärte er hilfsbereit.

Diese Antwort ist illegal. Das Menschenrechtsgesetz von NYC verbietet die Diskriminierung nach Einkommensquelle seit 2008, mit Bußgeldern von bis zu 250.000 $. Der Chatbot schränkte nichts ein, gab keinen Vorbehalt an, sagte nicht "fragen Sie einen Anwalt". Er gab eine selbstbewusste, flüssige, falsche Antwort, und er tat es im Siegel der Stadt New York.

Ich verbrachte einen Samstag in diesem Frühjahr damit, die Recherche von The Markup zu lesen, während in einem anderen Tab der tatsächliche NYC Administrative Code geöffnet war, und verglich Zeile für Zeile, was der Bot sagte, mit dem, was das Gesetz sagte. Genau dort begann für mich die Idee hinter einer Regierungs-KI, die das Gesetz zitiert, statt es zu erfinden – nicht in einem Strategiepapier, sondern in der Kluft zwischen einem Screenshot und einem Gesetzestext. Der Bot war nicht verwirrt. Er funktionierte genau so, wie er entworfen war. Und der Entwurf war das Problem.

Der Chatbot, der New Yorkern riet, vier verschiedene Gesetze zu brechen

MyCity lag nicht in einer einzigen Sache falsch. The Markup dokumentierte ein Muster quer durch die grundlegende Maschinerie des städtischen Lebens.

Er sagte Unternehmern, sie dürften einen Teil des Trinkgelds ihrer Angestellten einbehalten – illegal nach dem Fair Labor Standards Act und dem New York Labor Law, die Art von Sache, die in Lohnraub-Klagen und pauschaliertem Schadensersatz endet. Er sagte Geschäften, sie dürften bargeldlos werden und Papiergeld verweigern, was NYCs Administrative Code § 20-840 ausdrücklich verbietet, um Menschen ohne Bankkonto zu schützen. Er sagte Vermietern, sie dürften Mieter aussperren, was nach dreißig Tagen Bewohnung eine Straftat ist.

Jede Antwort war illegal. Jede Antwort trug den Segen der Stadt.

Die Reaktion der Stadt bestand darin, Haftungsausschlüsse hinzuzufügen. Doch der Bot setzte sich in seinem eigenen Text munter darüber hinweg – an einer Stelle sagte er einem Nutzer: "Ja, Sie können diesen Bot für professionelle Geschäftsberatung nutzen." Der designierte Bürgermeister Zohran Mamdani nannte das Werkzeug später "funktional unbrauchbar" und leitete dessen Abschaltung ein. Bis dahin hatte das Programm die Stadt rund 500.000 $ gekostet, ein Posten, der angesichts einer Haushaltslücke von 12 Milliarden $ besonders düster wirkt.

Hier ist der Teil, der mir den Schlaf raubte. Niemand hatte vor, eine gesetzesbrechende Maschine zu bauen. Ein kompetentes Team trainierte ein vernünftiges Modell mit echten städtischen Daten und brachte es auf den Markt. Das Versagen war in der gewählten Architektur angelegt, und fast jede Regierung, die heute einen Chatbot einsetzt, wählt genau dieselbe.

Warum bricht ein Sprachmodell standardmäßig das Gesetz?

Man muss verstehen, worauf ein großes Sprachmodell tatsächlich optimiert ist. Es ist eine Wahrscheinlichkeitsmaschine. Stellt man ihm eine Frage, erzeugt es die statistisch plausibelste Fortsetzung – die Antwort, die klingt wie die Art von Antwort, die üblicherweise auf diese Art von Frage folgt.

Nun denken Sie daran, was in seinen Trainingsdaten steckt. Wenn ein Vermieter fragt "Darf ich diesen Mieter ablehnen?", ist das dominierende Muster im gesamten Internet das allgemeine Vertragsrecht: Eigentümer dürfen wählen, an wen sie vermieten. Das stimmt fast überall. Die spezifische NYC-Vorschrift, die Diskriminierung nach Einkommensquelle verbietet, ist eine enge lokale Ausnahme, ein schwaches Signal, das vom breiten übertönt wird. Das Modell greift nach dem Muster, das es zehntausendmal gesehen hat, nicht nach dem Gesetz, das in genau diesem Häuserblock gilt.

Dann macht bestärkendes Lernen es noch schlimmer. Moderne Chatbots sind darauf abgestimmt, hilfsbereit zu sein, was in der Praxis gefällig bedeutet – sie neigen dazu, dem Nutzer das zu geben, was er zu wollen scheint. Ein Vermieter, der fragt, wie er einen Mieter ablehnen kann, liest sich für das Modell wie "hilf mir, diesen Mieter abzulehnen". Also hilft es. Es sagt Ja.

Ein Regierungs-Chatbot muss bereit sein, dem, was Sie wollen, nicht zu Diensten zu sein, um ehrlich darüber zu sein, was das Gesetz sagt. Dieser Instinkt ist das genaue Gegenteil dessen, worauf diese Modelle trainiert sind.

Das ist die Falle. Die Eigenschaften, die einen Verbraucher-Chatbot entzückend machen – Flüssigkeit, Gefälligkeit, das Selbstvertrauen, immer eine Antwort zu haben – sind die Eigenschaften, die einen Regierungs-Rechts-Chatbot gefährlich machen.

Warum hat RAG das nicht behoben?

Etwa eine Woche lang war ich mir sicher, die Antwort zu kennen, und ich irrte mich auf eine Weise, die mir das ganze Problem lehrte.

Die naheliegende Lösung ist Retrieval-Augmented Generation – RAG. Anstatt das Modell aus dem Gedächtnis antworten zu lassen, ruft man zuerst die tatsächlich relevanten Dokumente ab und übergibt sie dem Modell als Kontext. Gib ihm den echten Gesetzestext, so die Überlegung, und es hört auf, Dinge zu erfinden. Wir bauten einen Piloten, um das zu beweisen.

Der Abruf funktionierte wunderbar. Ich stellte die Section-8-Frage und beobachtete, wie das System genau die Vorschrift zur Einkommensquelle in den Kontext zog – das richtige Gesetz, direkt dort im Prompt. Und dann las das Modell es und antwortete trotzdem "ja, Sie können den Gutschein ablehnen". Ich erinnere mich, wie ich darauf starrte, denn es war schlimmer, als ich erwartet hatte. Der Abruf funktionierte. Das Schlussfolgern nicht. Das Modell hatte das korrekte Gesetz vor sich und wählte dennoch seine Trainings-Prior, oder las die Vorschrift falsch, oder flickte eine plausible Antwort aus der falschen Kombination abgerufener Passagen zusammen.

Das ist kein Fehler, den wir eingeführt hatten. Es ist der dokumentierte Stand der Technik. Forscher aus Stanford testeten die kommerziellen Rechts-KI-Werkzeuge, die genau dafür gebaut wurden – Retrieval-augmentiert, professionell entwickelt – und das beste, LexisNexis' Lexis+ AI, halluzinierte immer noch in 17 % der Fälle. Westlaws AI-Assisted Research erreichte 33 %. Das sind Werkzeuge, die Anwälten für Hunderte von Dollar im Monat verkauft werden, und jede fünfte bis jede dritte Antwort ist erfunden.

Der Abruf bringt das richtige Dokument in den Raum. Er tut nichts, um das Modell davon abzuhalten, es zu ignorieren.

Also musste ich die Annahme verwerfen, mit der ich begonnen hatte. RAG ist nicht die Architektur. RAG ist eine Komponente, und für sich allein verschiebt es das Versagen von "das Modell kennt das Gesetz nicht" zu "das Modell kennt das Gesetz und widerspricht ihm" – was auf einer Regierungs-Domain wohl das gefährlichere Versagen ist, denn nun steht ein Zitat direkt neben der falschen Antwort und lässt sie autoritativ erscheinen.

Die Haftung, deren Kleingedrucktes niemand liest

Ein Verbraucher-Chatbot, der in 17 % der Fälle falsch liegt, verärgert Menschen. Ein Regierungs-Chatbot häuft mit jeder Antwort rechtliche Risiken an.

Es gibt eine Doktrin, von der die meisten Technologen nie gehört haben, die hier enorm ins Gewicht fällt. Regierungen sind für "ermessensabhängige" Funktionen – die Ermessensentscheidungen des Regierens – im Allgemeinen vor Klagen geschützt. Doch wenn eine Regierung einem Bürger konkrete, umsetzbare Ratschläge erteilt, behandeln Gerichte das als gewerbliche Funktion, dieselbe, die auch ein privater Berater erbringen würde. Gewerbliche Funktionen genießen keine hoheitliche Immunität. Als MyCity also einem Unternehmer sagte, er könne das Trinkgeld seiner Angestellten einstecken, handelte die Stadt rechtlich betrachtet als unlizenzierter Berater, der Fehlberatung von Kunstfehler-Güte erteilte – ohne die Immunität, die sie für eine tatsächliche Regierungsentscheidung gehabt hätte.

Und das Recht eilt darum, dies ausdrücklich zu machen. New Yorks Senate Bill S7263, das am 26. Februar 2026 den Senatssaal erreichte, würde Chatbots verbieten, substanzielle Fachberatung zu erteilen, und ein privates Klagerecht schaffen – das heißt, ein Bürger, dem durch den Rat eines Chatbots geschadet wurde, kann auf tatsächlichen Schadensersatz plus Anwaltskosten klagen. Landesweit zählten Gesetzgebungs-Tracker 78 Chatbot-Sicherheits-Gesetzentwürfe in 27 Bundesstaaten zum Auftakt von 2026. Für jede Regierung, die Einwohner in Europa bedient, stuft das EU-KI-Gesetz bürgernahe KI im öffentlichen Dienst als hochriskant ein, mit Strafen von bis zu 15 Millionen € oder 3 % des weltweiten Umsatzes, wenn die Pflichten im August 2026 in Kraft treten.

Als mir früh ein Berater riet, einfach GPT feinabzustimmen und es für einen Regierungspiloten auszuliefern, war das das Gespräch, das wir führten. "Meistens richtig" ist ein guter Standard für eine Filmempfehlungs-Engine. Auf einer .gov-Domain, in diesem regulatorischen Umfeld, ist ein System, das in einem Sechstel der Fälle selbstbewusst falsch liegt, keine Produktfunktion, an der man iteriert. Es ist ein privates Klagerecht, das auf einen Kläger wartet.

Der Teil, den alle unterschätzen: der Gesetzestext selbst ist ein Chaos

Bevor irgendeine der Modellfragen überhaupt eine Rolle spielt, gibt es ein Problem, das sich in Demos nicht zeigt und reale Einführungen leise versenkt: das Gesetz liegt nicht in einer Datenbank vor.

Ich lernte das hautnah, als ich das erste Mal mit einem echten kommunalen Gesetzeswerk saß – ein PDF mit von Hand am Rand nummerierten Kapitel-Änderungen, denn die maßgebliche Fassung einer städtischen Verordnung ist ein Dokument, das ein Sachbearbeiter seit Jahrzehnten bearbeitet. Kommunale Gesetzeswerke existieren landesweit in Dutzenden inkompatibler Formate – PDFs, veraltetes HTML, proprietäre Publishing-Systeme – und innerhalb einer einzigen Stadt werden sie asynchron von Ämtern gepflegt, die sich nicht abstimmen. Bebauungsvorschriften werden nach einem Zeitplan aktualisiert, das Gesundheitsrecht nach einem anderen. Die "einzige Quelle der Wahrheit" ist eine Fiktion.

Man kann keine vertrauenswürdige Regierungs-KI auf einem Rechtskorpus aufbauen, den man nicht zuerst in etwas rekonstruiert hat, über das eine Maschine zuverlässig schlussfolgern kann. "Den Gesetzestext einlesen" ist zu einem Viertel Daten-Archäologie, bevor das Modell je ein Token sieht.

Deshalb passt auch der bestehende Markt nicht. Microsoft Azure Government, AWS GovCloud und Googles Public-Sector-Cloud liefern autorisierte Infrastruktur und ein Allzweckmodell – doch Azure ist genau das, was MyCity antrieb. Das Halluzinationsproblem lebt oberhalb der Plattformschicht; die Cloud berührt es nicht. Die starken Rechts-KI-Werkzeuge, Thomson Reuters' CoCounsel und Lexis+ AI, sind für Anwälte zu Kanzleipreisen gebaut, nicht für einen Einwohner, der um 23 Uhr eine Frage stellt. Die großen Integratoren – Deloitte, mit Milliarden für generative KI zugesagt, und Accenture Federal, mit Milliarden an KI-Aufträgen – implementieren diese Anbieterplattformen; sie bauen keine maßgeschneiderten Constrained-Decoding-Architekturen. Und die vielversprechenden Startups für kommunale Gesetzes-KI sind genau das: vielversprechend, im großen Maßstab unerprobt, ohne Erfolgsbilanz bei der Beschaffung durch Regierungen. Es gibt eine Lücke in der Mitte, und die Lücke ist dort, wo Bürger zu Schaden kommen.

Was schließlich funktionierte: Das System muss sich das Recht zu sprechen verdienen

Die Neuausrichtung, die alles veränderte, war die Entscheidung, dass der Standardzustand des Systems Schweigen ist, keine Antwort.

Anstatt das Modell zu bitten, genauer zu sein, bauten wir es so, dass es physisch keine rechtliche Aussage abgeben kann, solange diese Aussage nicht an eine konkrete, abgerufene gesetzliche Vorschrift gebunden ist. Der Generierungsschritt ist eingeschränkt: Wenn das System einen Satz darüber erzeugt, was das Gesetz erlaubt, muss dieser Satz ein nachvollziehbares Zitat auf genau den Paragrafen tragen, aus dem er stammt, nach der Generierung gegen die Quelle verifiziert. Will das Modell sagen "Sie dürfen einen Gutschein ablehnen" und es gibt keine Vorschrift, die das stützt – oder schlimmer, eine Vorschrift, die dem widerspricht – dann besteht die Aussage nicht. Das System sagt, dass es das nicht beantworten kann, und leitet die Person an einen Menschen weiter.

Das ist die ganze Philosophie dessen, was wir bei Veriprajna gebaut haben, und Sie können die vollständige Architektur unter veriprajna.com/solutions/government-municipal-ai sehen: Jede Antwort lässt sich auf einen konkreten Gesetzestext zurückverfolgen, oder das System bleibt still. Uns ist es lieber, es beantwortet weniger Fragen und kann das Gesetz nicht brechen, als dass es alles beantwortet und die Stadt gelegentlich zu einer Diskriminierungsstrafe von einer Viertelmillion Dollar verpflichtet.

Die Reihenfolge der Schritte ist entscheidend. Zuerst den chaotischen kommunalen Korpus in eine strukturierte, hierarchische Wissensbasis rekonstruieren, die weiß, welche Vorschriften welche außer Kraft setzen – ein nicht triviales Problem, gerade weil diese Vorschriften nach unkoordinierten Ämter-Zeitplänen geändert werden, sodass der Vorrang-Graph selbst ständig driftet. Dann dagegen abrufen. Dann – und das ist der Schritt, den alle überspringen – die Generierung so einschränken, dass die Ausgabe mechanisch an das Abgerufene gebunden ist, mit einem Verifizierungsdurchgang, der jede Aussage zurückweist, die nicht standhält. Dann einen Prüfpfad führen, damit es, wenn ein Regulierer oder der Anwalt eines Klägers fragt, warum das System sagte, was es sagte, einen Nachweis gibt, der auf einen Gesetzestext zeigt, statt eines Achselzuckens über Modellgewichte.

Ein nützlicher Nebeneffekt: Ein System, das für jede Antwort sein Zitat vorweisen kann, ist ein System, das man tatsächlich verteidigen kann. Der Prüfpfad ist kein Compliance-Theater. Er ist der Unterschied zwischen "die KI hat es gesagt" und "hier ist der §, aus dem die Antwort stammt".

"Aber macht das es nicht weniger nützlich?"

Menschen fragen mich das ständig, und es ist die richtige Frage. Ja – ein zitatgestütztes System beantwortet weniger Fragen als MyCity es tat. Es wird manchmal sagen "Dazu kann ich nicht beraten", wo ein gesprächigerer Bot fröhlich etwas erfunden hätte. Das fühlt sich wie ein Rückschritt an, bis man sich daran erinnert, dass jede einzelne der zusätzlichen Antworten von MyCity eine Haftung war, kein Dienst.

Das andere, was ich höre, betrifft die Beschaffungsuhr, und es ist das am meisten unterschätzte Risiko im ganzen Feld. Regierungs-KI steht und fällt nicht mit der Modellqualität; sie steht und fällt damit, die Autorisierung zu durchlaufen. Die FedRAMP- und StateRAMP-Verfahren zur Betriebszulassung dauern 12 bis 18 Monate, und die meisten KI-Startups überleben den ATO-Ordner nicht lange genug, um in Betrieb zu gehen. Für die Regierung zu bauen bedeutet, vom ersten Tag an für diese Realität zu entwerfen – die Zugriffskontrollen, die Datentrennungs-Garantien, die Audit-Infrastruktur – nicht sie nach einem Piloten anzuflanschen. Ein Modell, das in einer Demo brillant ist und die Autorisierung nicht durchläuft, dient nie einem einzigen Bürger.

Und dann ist da die Frage, ob sich das überhaupt lohnt, angesichts dessen, dass die Bundesregierung signalisiert hat, sie könnte den Flickenteppich der bundesstaatlichen KI-Gesetze verdrängen. Vielleicht wird sie das. Aber eine Stadt darf nicht das Trinkgeld-Einkommen und die Wohnrechte ihrer Einwohner darauf verwetten, was eine künftige Executive Order tut. Der Rat, den MyCity gab, war nach Gesetzen illegal, die nichts mit KI-Regulierung zu tun haben – Arbeitsrecht, Wohnrecht, Verbraucherschutzrecht, die ChatGPT um Jahrzehnte vorausgehen. Keine Verdrängung behebt das.

Worauf ich immer wieder zurückkomme, ist jener Screenshot von The Markup: das selbstbewusste "Ja" des Chatbots neben dem Gesetzestext, der Nein sagt. Ein menschlicher Sachbearbeiter, der eine Antwort nicht kannte, hätte gesagt "lassen Sie mich das prüfen" oder "Sie sollten einen Anwalt fragen". Wir bauten Maschinen, die das nie sagen, stellten sie dann auf Regierungswebseiten und taten überrascht, als sie Menschen in Klagen hineinberieten.

Die Aufgabe einer Regierung, wenn ein Einwohner fragt, was das Gesetz erlaubt, ist, recht zu haben oder ehrlich einzuräumen, es nicht zu wissen. Das sind die einzigen zwei akzeptablen Ausgaben. Ein System, das eine flüssige, autoritative dritte Option erzeugt – selbstbewusst falsch – hat nichts im Siegel einer Stadt zu suchen. Die Lösung war nie ein besser klingendes Modell. Es war, eines zu bauen, das weiß, wann es den Mund halten muss – was die ganze Prämisse dessen ist, was wir für Regierungs- und kommunale KI gebaut haben.