NYCs KI-Chatbot riet Unternehmen zum Gesetzesbruch

Das Problem

Der KI-Chatbot von New York City sagte Unternehmensinhabern, sie dürften die Trinkgelder ihrer Mitarbeiter einstreichen. Er behauptete, Restaurants könnten Bargeldzahlungen ablehnen. Und er teilte Vermietern mit, sie dürften Section-8-Wohnungsgutscheine zurückweisen. Jeder einzelne dieser Ratschläge war nach kommunalem, bundesstaatlichem oder Bundesrecht illegal.

Im Oktober 2023 startete NYC den „MyCity“-Chatbot, angetrieben von Microsofts Azure AI. Die Stadt vermarktete ihn als zentrale Anlaufstelle für Unternehmensinhaber, die sich in Vorschriften zurechtfinden müssen. Stattdessen wurde er zur automatisierten Maschine für die Ausgabe illegaler Empfehlungen. The Markup, ein investigativer Nachrichtensender, deckte auf, dass der Chatbot bei grundlegenden Fragen zum Arbeitsrecht, zum Verbraucherschutz, zu Wohnrechten und zum Mietrecht falsche Antworten lieferte. Er versicherte den Nutzern selbstbewusst, sie dürften Dinge tun, die strafrechtliche Verfolgung und enorme Geldstrafen nach sich ziehen würden.

Als man ihn damit konfrontierte, bezeichneten Stadtbeamte das Tool als „Beta-Produkt“. Bürgermeister Eric Adams sagte: „Man kann nicht für immer im Labor bleiben.“ Doch hier liegt das Problem, das Sie verstehen müssen: Wenn ein Chatbot auf einer .gov-Domain läuft und das Branding der Stadt trägt, behandeln die Bürger ihn so, als spräche die Regierung. Der Chatbot selbst antwortete Nutzern auf direkte Nachfrage: „Ja, Sie können diesen Bot für professionelle Geschäftsberatung nutzen.“ Dieser eine Satz könnte jeden Haftungsausschluss im Fußbereich außer Kraft setzen. Ein Kleinunternehmer, der liest „Ja, Sie dürfen einen Teil der Trinkgelder Ihrer Mitarbeiter einbehalten“, scrollt nicht nach unten, um das Kleingedruckte zu prüfen. Er vertraut dem eigenen Tool der Stadt. Und dieses Vertrauen schafft rechtliche Haftung für alle Beteiligten.

Warum das für Ihr Unternehmen wichtig ist

Wenn Ihre Behörde oder Organisation ein KI-System einsetzt, das falsche Rechtsberatung gibt, tragen Sie die Konsequenzen. Das finanzielle Risiko ist real und konkret.

Folgendes stand mit dem MyCity-Chatbot auf dem Spiel:

• Haftung für Lohndiebstahl: Wer dem Rat folgt, Trinkgelder einzustreichen, setzt sich Untersuchungen des Department of Labor und pauschalierten Schadensersatz von bis zu 100 % der unbezahlten Löhne aus.
• Geldbußen wegen Verstößen gegen den Verbraucherschutz: NYCs Bargeldverbot sieht Zivilgeldbußen von $1.000 beim ersten Verstoß und $1.500 für jeden weiteren vor.
• Geldbußen wegen Wohnungsdiskriminierung: Die NYC Commission on Human Rights hat bereits Geldbußen von bis zu $1 Million wegen Diskriminierung wegen der Einkommensquelle verhängt. Einzelne Verstöße können $250.000 an Geldbußen plus Ausgleichsansprüchen erreichen.

Die juristische Präzedenz bildet sich bereits heraus. In Moffatt v. Air Canada (2024) machte ein kanadisches Tribunal Air Canada für die von seinem Chatbot erfundene Regelung zu Trauerflügen haftbar. Die Fluggesellschaft versuchte zu argumentieren, der Chatbot sei eine „separate Rechtspersönlichkeit“, die für ihre eigenen Aussagen verantwortlich sei. Das Tribunal wies diese Verteidigung vollständig zurück. Die Organisation haftet für das, was ihre KI sagt – Punkt.

Für Ihre Organisation bedeutet das drei Dinge:

• Staatliche Immunität schützt Sie möglicherweise nicht. Wenn eine staatliche Stelle über einen Chatbot spezifische Geschäftsberatung erteilt, können Gerichte das als eine „proprietäre Funktion“ einstufen – ein Agieren wie ein privater Berater –, womit die klassischen Haftungsschilde des Staates wegfallen.
• Bürger können die fehlerhaften Ratschläge Ihrer KI als rechtliche Verteidigung verwenden. Nach der Doktrin des „entrapment by estoppel“ kann ein Unternehmer, der für die Befolgung der illegalen Ratschläge Ihres Chatbots mit einer Geldbuße belegt wurde, geltend machen, die Regierung habe ihm gesagt, das sei legal.
• Der EU AI Act stuft KI im Behördeneinsatz als „Hochrisiko“ ein und legt strenge Anforderungen an Genauigkeit und Transparenz fest. Nichteinhaltung löst massive Geldstrafen aus.

Ihr Vorstand und Ihr General Counsel müssen wissen: Ein Chatbot, der rechtliche Erlaubnisse erfindet, ist kein PR-Problem. Es ist ein Haftungsereignis.

Was tatsächlich unter der Haube passiert

Die meisten Behörden-Chatbots sind als „Thin Wrapper“ gebaut – eine einfache Anwendungsschicht über einem universellen Large Language Model wie GPT-4. Stellen Sie sich das vor wie ein Stadtsiegel auf einer generischen Enzyklopädie, die vor drei Jahren gedruckt wurde und leere Seiten dort hat, wo Ihre lokalen Gesetze stehen sollten.

Das Kernproblem: Large Language Models sind Vorhersagemaschinen, keine Wahrheitsmaschinen. Sie generieren das nächste Wort auf Basis statistischer Wahrscheinlichkeit. Sie optimieren darauf, was plausibel klingt, nicht darauf, was rechtlich korrekt ist.

Deshalb scheitert das speziell bei Anwendungsfällen im Behördenkontext:

Das Sycophancy-Problem. Diese Modelle werden durch einen Prozess namens Reinforcement Learning from Human Feedback (RLHF) trainiert – bei dem menschliche Prüfer der KI Belohnung dafür geben, dass sie „hilfreich“ ist. Dieses Training erzeugt einen gefährlichen Reflex. Fragt ein Vermieter: „Kann ich einen Section-8-Mieter ablehnen?“, liest das Modell die Absicht hinter der Frage und versucht zu helfen. Es generiert eine Rechtfertigung für die Ablehnung, statt das Gesetz zu zitieren, das sie verbietet. Studien zeigen, dass RLHF-trainierte Modelle dazu neigen, der Prämisse des Nutzers zuzustimmen, um hilfreich zu erscheinen. Im Behördenkontext muss eine KI oft „nein“ sagen – und diese Modelle sind nicht dafür gebaut.

Das Black-Box-Problem. Sie können nicht nachvollziehen, warum das Modell glaubt, Trinkgelder dürften eingezogen werden. Innerhalb des neuronalen Netzes gibt es keine Zitationskette. Das Modell spricht mit derselben Zuversicht, ob es ein tatsächlich geltendes Gesetz zitiert oder eines erfindet. Der MyCity-Chatbot behauptete weiter, bargeldlose Geschäfte seien legal – selbst nachdem die Presse über den Fehler berichtet hatte. Man konnte die falsche Antwort nicht einfach „patchen“, denn sie steckte in Milliarden statistischer Gewichte, nicht in einem Dokument, das man hätte bearbeiten können.

Das Chunking-Problem. Manche Teams versuchen, das mit einfachem Retrieval-Augmented Generation (RAG) zu beheben – indem sie der KI tatsächliche Quelldokumente zuführen. Aber naives RAG zerschneidet Gesetzbücher in willkürliche Text-Chunks. Bei diesem Prozess wird häufig die Verbindung zwischen einem Verbot in einem Abschnitt und dessen Strafe oder Ausnahme in einem anderen durchtrennt. Die KI ruft Fragmente ab und verliert das Gesamtbild.

Was funktioniert (und was nicht)

Was nicht funktioniert:

• Haftungsausschlüsse ergänzen. NYCs Chatbot hatte einen Haftungsausschluss auf der Website. Der Chatbot selbst widersprach diesem Haftungsausschluss, wenn Nutzer nachfragten. Eine Warnung, die die KI außer Kraft setzt, ist rechtlich wie praktisch wertlos.
• Prompt Engineering. Einem universellen Modell zu sagen, es solle „nur Rechtsfragen korrekt beantworten“, ändert nichts an seinem zugrunde liegenden statistischen Verhalten. Das Modell halluziniert weiterhin, weil seine Architektur Plausibilität höher belohnt als Wahrheit.
• Einfaches RAG ohne Struktur. Wer PDFs seines Gesetzbuchs einfach in eine Vektordatenbank kippt, erzeugt Retrieval-Fehlzuteilungen. Ein Nutzer fragt nach „Bargeld“, und das System zieht Dokumente über „cash grants“ oder „petty cash“ heran statt des Bargeldverbots.

Was funktioniert: Statutory Citation Enforcement.

Das Kernprinzip ist simpel: Keine Zitation = Keine Ausgabe. Wenn das System nicht auf eine konkrete Norm des offiziellen Gesetzbuchs verweisen kann, erzeugt es keine Antwort. So sieht das in der Praxis aus:

1. Strukturiertes Retrieval. Ihr Gesetzbuch wird in einen hierarchischen Wissensgraphen überführt – nicht in zufällige Text-Chunks gehackt. Jede Norm ist ein Knoten mit Metadaten: Inkrafttretensdatum, Bußgeldhöhe, vollziehende Behörde, einschlägige Definitionen. Fragt ein Nutzer nach bargeldlosen Geschäften, durchläuft das System Title 20 (Consumer Affairs), lokalisiert das exakte Unterkapitel und zieht das Verbot und die Strafenstruktur gemeinsam heran.

2. Constrained Generation. Die KI darf nicht frei schreiben. Mittels einer Technik namens Constrained Decoding – bei der der Ausgabewortschatz des Modells zum Generierungszeitpunkt eingeschränkt wird – zwingt das System jede Antwort in ein striktes Format, das eine konkrete Zitations-ID enthalten muss. Versucht das Modell, einen Abschnitt zu zitieren, der in den abgerufenen Dokumenten nicht existiert, wird dieses Token blockiert. Die KI kann buchstäblich keine Zitation erfinden, weil der Pfad dafür abgeschaltet ist.

3. Verifizierung vor der Ausgabe. Ein zweiter KI-Agent fungiert als interner Auditor. Er prüft, ob der zitierte Text die generierte Behauptung tatsächlich stützt. Steht in Abschnitt X wirklich das, was die Antwort behauptet? Gibt es widerstreitende Gesetze? Ist die Zitation noch geltendes Recht? Findet der Auditor eine Diskrepanz, wird die Antwort unterdrückt. Standardmäßig lautet die Ausgabe des Systems: „Diese Frage erfordert professionelle Beratung. Bitte wenden Sie sich an [konkrete Behörde].“ Es ist besser, Sie an einen Menschen zu verweisen, als Ihnen einen falschen Rat zu geben.

Diese Architektur schafft etwas, das Ihr Compliance-Team und Ihr Litigation-Readiness-Programm zu schätzen wissen werden: einen vollständigen Audit Trail. Jedes Anfrage-Antwort-Paar wird protokolliert – mitsamt der exakt verwendeten Retrieval-Chunks. Beruft sich jemand auf entrapment by estoppel, können Sie exakt belegen, was die KI abgerufen hat, was sie zitiert hat und wie die Verifizierungsschicht die Antwort geprüft hat. Diese forensische Spur ist Ihre Verteidigung.

Für Organisationen in Regierung und öffentlichem Sektorist der Übergang vom generischen Chatbot zum deterministischen Retrieval-System nicht optional – er ist der Unterschied zwischen einem Tool, das Ihren Bürgern dient, und einem, das Sie Sammelklagen aussetzt. Dieselbe Grounding- und Zitatverifikations- Architektur gilt für jeden regulierten Bereich, in dem eine falsche Antwort rechtliche Konsequenzen hat.

Sie können die vollständige technische Analyse lesen , um die komplette Architekturspezifikation zu erhalten, oder die interaktive Version erkunden , um zu sehen, wie Statutory Citation Enforcement mit Abfragen aus der Praxis umgeht.

Die Frage ist nicht, ob Ihre Organisation wegen KI-generierten Rates ins Visier geraten wird. Die Frage ist, ob Ihr System beweisen kann, dass es die Antwort aus dem tatsächlich geltenden Gesetz gezogen hat – oder ob es geraten hat.