Veriprajna Whitepaper: Der Übergang von der Zivilhaftung zum Beamten – Architektur gesetzlicher Zitatdurchsetzung für deterministische Regierungs-KI

Zusammenfassung

Die Integration künstlicher Intelligenz in den öffentlichen Sektor markiert einen entscheidenden Moment in der Geschichte der Verwaltungssteuerung. Zum ersten Mal besteht das Potenzial, den Zugang zu den labyrinthischen Strukturen kommunaler Kodizes, landesrechtlicher Vorschriften und bundesgesetzlicher Normen zu demokratisieren und die bürokratische Erfahrung von Intransparenz und Reibung in eine von Klarheit und Effizienz zu verwandeln. Der jüngste Einsatz und das anschließende Scheitern des New Yorker „MyCity“-Chatbots hat jedoch einen kritischen Bruch im gegenwärtigen Paradigma der Einführung von Regierungs-KI offengelegt. Indem er Geschäftsinhaber dazu riet, städtische Gesetze zu Bargeldlosigkeit, Trinkgeldpooling und Wohnungsdiskriminierung zu verletzen, zeigte der MyCity-Vorfall, dass ein probabilistisches KI-System ohne rigorose architektonische Constraints nicht als gewissenhafter Beamter, sondern als massive Zivilhaftung fungiert. ¹

Dieses Whitepaper, erstellt von Veriprajna, argumentiert, dass der vorherrschende Ansatz des „dünnen Wrappers“ für Regierungs-KI — bei dem ein generisches Large Language Model (LLM) oberflächlich dazu gepromptet wird, Rechtsfragen zu beantworten — grundlegend fehlerhaft und rechtlich gefährlich ist. ³ Solche Systeme, angetrieben durch Reinforcement Learning from Human Feedback (RLHF), das „Hilfsbereitschaft“ über faktische Bindung stellt, neigen zu Sycophancy und Halluzination und erfinden Vorschriften, um Nutzeranfragen zu befriedigen, statt die Herrschaft des Rechts aufrechtzuerhalten. ⁵ Wenn eine staatliche Stelle ein System einsetzt, das rechtliche Erlaubnisse halluziniert, riskiert sie, die Doktrin der Staatenimmunität zu untergraben, indem sie während der Wahrnehmung fiskalischer Funktionen fahrlässige Falschdarstellung begeht, wie die entstehende Rechtsprechung etwa Moffatt v. Air Canada zeigt. ⁷

Veriprajna schlägt einen notwendigen Paradigmenwechsel hin zur gesetzlichen Zitatdurchsetzung (SCE) vor. Dieses Architekturframework behandelt Regierungs-KI nicht als kreativen Gesprächspartner, sondern als deterministische Retrieval-Engine. Unter SCE operiert die KI unter einer strikten „Kein Zitat = Keine Ausgabe“-Constraint. Sie nutzt Compound-AI-Systeme mit hierarchischer Retrieval-Augmented Generation (RAG) und Constrained Decoding, um sicherzustellen, dass jede Behauptung in einer spezifischen, verlinkten Bestimmung des vektorisierten kommunalen Kodex verankert ist. ⁸

Dieser Bericht liefert eine erschöpfende Analyse der rechtlichen Risiken, die den gegenwärtigen Implementierungen innewohnen, der technischen Ursachen „rechtlicher Halluzinationen“ in probabilistischen Modellen und der umfassenden Veriprajna-Architektur, die Vertrauen wiederherstellen soll. Wir legen dar, wie der Übergang von opaken „Black-Box“-Wrappern zu transparenten, verifizierbaren Systemen gelingt, die mit der Treue und Rechenschaftspflicht eines vereidigten öffentlichen Amtsträgers handeln. Die Ära des „Beta“- Regierungs-Chatbots ist vorbei; die Ära des deterministischen digitalen Beamten muss beginnen.

1. Die Krise probabilistischer Governance: Die NYC- „MyCity“-Fallstudie

Der Übergang von menschlicher Bürokratie zu algorithmischer Governance ist mit Gefahren behaftet, wenn die zugrunde liegende Technologie missverstanden oder falsch angewendet wird. Der Start und das anschließende Scheitern des MyCity-Chatbots von New York City dient als definitive Fallstudie zu den systemischen Risiken, probabilistische Modelle zur Auslegung gesetzlicher Normen ohne ausreichende deterministische Guardrails einzusetzen. Dieser Vorfall verdeutlicht die gefährliche Kluft zwischen den Fähigkeiten generativer KI und den starren Anforderungen rechtlicher Compliance.

1.1 Das „MyCity“-Debakel: Automatisierung der Illegalität

Im Oktober 2023 startete New York City den MyCity-Chatbot, betrieben von Microsofts Azure AI Services, und positionierte ihn als „One-Stop-Shop“ für Geschäftsinhaber, um das komplexe regulatorische Umfeld der größten Metropole der Nation zu navigieren. ¹⁰ Die strategische Absicht war edel: die Eintrittsschwelle für Unternehmer zu senken, indem sofortige, autoritative Antworten auf Fragen zu Compliance, Genehmigungen und Arbeitsrecht bereitgestellt werden. In einer Stadt, die für ihre dichte Bürokratie bekannt ist, versprach ein solches Werkzeug, ein wirtschaftlicher Beschleuniger zu sein.

Eine Untersuchung von The Markup und nachfolgende unabhängige Audits offenbarten jedoch, dass das System systematisch gefährlich ungenaue Rechtsauskünfte verbreitete. Anders als bei einem menschlichen Beamten, dessen Fehler individueller Fahrlässigkeit, Ermüdung oder Inkompetenz zugeschrieben werden könnten, waren die Fehler der KI systemische Halluzinationen — selbstsichere Behauptungen nicht existierender Gesetze, abgeleitet aus statistischen Mustern statt gesetzlichem Fakt. Der Bot scheiterte nicht lediglich daran, Antworten zu finden; er fabrizierte aktiv rechtliche Erlaubnisse, die, befolgt, die Geschäftsinhaber strafrechtlichen Anklagen und schweren zivilrechtlichen Sanktionen ausgesetzt hätten.

Der Umfang des Versagens beschränkte sich nicht auf obskure Bebauungsvarianzen oder archaische Satzungen. Der Chatbot scheiterte an fundamentalen Pfeilern des NYC-Handels- und Bürgerrechts. Er beriet zu Lohndiebstahl, Verbraucherschutzverstößen und Wohnungsdiskriminierung und stellte diese illegalen Handlungen als konforme Geschäftspraktiken dar.

Tabelle 1: Analyse fehlerhafter Auskünfte des MyCity-Chatbots

Rechtsgebiet	Nutzeranfrage / Szenario	KI-Antwort (Halluzination )	Tatsächliche rechtliche Realität (Gesetz)	Folge der Befolgung der KI-Auskunft
Arbeitsrecht / Löhne	Darf ein Arbeitgeber einen Teil der Trinkgelder einbehalten?	„Ja, Sie können einen Anteil der Trinkgelder Ihrer Beschäftigten einbehalten.“11	Illegal. Arbeitgebern ist untersagt, irgendeinen Anteil der Arbeitnehmertrinkgelder nach Bundes- und Landesrecht (FLSA, NY Labor Law) einzubehalten.12	Lohndiebstahl- klagen, Untersuchungen des Department of Labor, pauschalierter Schadensersatz bis zu 100% der unbezahlten Löhne. 13
Verbraucher- schutz	Darf ein Geschäft die Annahme von Bargeld verweigern?	„Ja, Sie können Ihr Restaurant bargeldlos machen. Es gibt keine Vorschriften … die Unternehmen verpflichten, Bargeld anzunehmen.“ 11	Illegal. NYC Admin Code § 20-840 verbietet Lebensmittel- und Einzelhandels- geschäften, Bargeld zu verweigern, um unbanked Bürger zu schützen.14	Zivilrechtliche Bußgelder von $1,000 für den ersten Verstoß und $1,500 für nachfolgende Verstöße.14
Wohnungs- rechte	Müssen Vermieter Section-8- Gutscheine akzeptieren?	Nein, Vermieter müssen diese Mieter nicht akzeptieren.11	Illegal. NYC Human Rights Law verbietet Diskriminierung aufgrund der „rechtmäßigen Einkommens- quelle“.15	Bußgelder bis zu $250,000, Schadensersatz und zwingende Richtlinien- änderungen.17
Mietrecht	Darf ein Vermieter einen Mieter aussperren?	Es ist legal, einen Mieter auszusperren.11	Illegal. Rechtswidrige Räumung ist eine Straftat. Mieter dürfen nicht ausgesperrt werden, wenn sie haben bewohnt die	Strafrechtliche Anklagen, dreifacher Schadensersatz für rechtswidrige Räumung und sofortige Wiederherstellung des

Col1	Col2	Col3	Wohnung 30 Tage. 11	Besitzes.
Preis- transparenz	Darf ein Bestattungs- unternehmen seine Preise verbergen?	Ja, Sie können Preise verschleiern. 11	Illegal. Die Federal Trade Commission (FTC) Funeral Rule schreibt klare Preis- offenlegungen vor.	Bundesrechtliche Vollzugs- maßnahmen und erhebliche Bußgelder je Verstoß.

1.2 Die gesellschaftliche Wirkung algorithmischer Fehlinformation

Die Implikationen dieser Fehler reichen weit über die Unannehmlichkeit eines „buggy“ Software- Starts hinaus. Sie berühren den Kern des Gesellschaftsvertrags zwischen Regierung und Bürgern. Die Gesetze, zu deren Bruch der Chatbot riet — etwa das Verbot bargeldloser Geschäfte und das Verbot der Diskriminierung nach Einkommensquelle — sind nicht bloß administrative Hürden; sie sind bürgerrechtliche Schutzvorschriften, die Gleichheit sichern sollen.

Als der Chatbot riet, Geschäfte könnten Bargeld verweigern, riet er faktisch Unternehmen, die unbanked Bevölkerung zu diskriminieren, zu der unverhältnismäßig oft einkommensschwache Personen, ältere Menschen und undokumentierte Einwanderer gehören. ¹⁴ Der New Yorker City Council verabschiedete das Bargeldlosigkeitsverbot eigens, um diese Form wirtschaftlicher Ausgrenzung zu verhindern. Indem er das Gegenteil behauptete, wurde die „Beamten“-KI zum Agenten der Ausgrenzung und untergrub die gesetzgeberische Absicht genau jener Regierung, die sie eingesetzt hatte.

Ebenso trifft die Auskunft zu Section-8-Gutscheinen das Herz der städtischen Antwort auf die Wohnungskrise. Diskriminierung nach Einkommensquelle ist eine zentrale Barriere, die obdachlose Familien mit Gutscheinen daran hindert, dauerhaften Wohnraum zu finden. Wenn das eigene Werkzeug der Stadt Vermietern sagt, sie dürften diese Gutscheine ablehnen, verschärft es Obdachlosigkeit und setzt Vermieter massiver Haftung durch die NYC Commission on Human Rights aus, die Bußgelder von bis zu $1 Million für solche Verstöße verhängt hat. ¹⁷ Der Schaden ist zweifach: die unmittelbare rechtliche Gefährdung des Vermieters, der dem Rat folgt, und der nachgelagerte gesellschaftliche Schaden für den potenziellen Mieter, dem illegal Wohnraum verweigert wird.

1.3 Das Scheitern der „Beta“-Verteidigung und der Disclaimer

Nach der öffentlichen Aufdeckung dieser Fehler versuchten Stadtbeamte und Technologieanbieter, sich hinter der Einstufung des Werkzeugs als „Beta-Produkt“ und Disclaimer zu verschanzen, wonach der Bot nicht als Rechtsberatung zu nutzen sei. ¹⁹ Bürgermeister Eric Adams verteidigte den Einsatz mit den Worten: „You can't stay in a lab forever“ und dass Technologie in der „realen Umgebung“ getestet werden müsse, um die Schwachstellen auszubügeln. ²⁰

Diese Verteidigung offenbart jedoch ein fundamentales Missverständnis der Natur staatlicher Autorität und der Psychologie des Nutzervertrauens. Wenn ein Werkzeug auf einer .gov- Domain gehostet, als Compliance-Ressource vermarktet und als „MyCity“ gebrandet wird, trägt es das Imprimatur des Staates. Nutzer sehen den Chatbot nicht als Suchmaschine oder generische Tech- Demo, sondern als Erweiterung des Regulators selbst.

Kritiker merkten an, dass die Website zwar einen Disclaimer enthielt, der Chatbot selbst — direkt gefragt — jedoch bekräftigte: „Yes, you can use this bot for professional business advice“. ¹⁹ Dieser Widerspruch beleuchtet ein kritisches Alignment-Versagen, bekannt als das „Wrapper-Problem“: die Sicherheitswarnungen lagen in der Nutzeroberfläche (dem Wrapper), das Modell (die kognitive Engine) blieb jedoch selbstsicher falsch und seiner eigenen Grenzen unbewusst. Ein Disclaimer, der durch die aktive Auskunft des Agenten widersprochen wird, ist rechtlich und praktisch wirkungslos. In den Augen eines Kleinunternehmers überschreibt die spezifische, gesprächsförmige Antwort („Ja, Sie können Trinkgelder einbehalten“) die generische Fußzeilenwarnung im Kleingedruckten („Do not rely on this“).

Darüber hinaus deutet das Fortbestehen dieser Fehler selbst nach öffentlicher Berichterstattung auf eine fundamentale Unfähigkeit hin, die Wissensbasis eines probabilistischen Modells wirksam zu „patchen“ mittels Standard-Prompt-Engineering oder Fine-Tuning-Techniken. ¹⁰ Der Bot riet weiterhin, bargeldlose Geschäfte seien legal, selbst nachdem das konkrete Problem in der Presse hervorgehoben wurde — was die Resilienz von Halluzinationen in Large Language Models und die Unzulänglichkeit des „Patchens“ eines Black-Box-Modells belegt.

2. Vom Beamten zur Zivilhaftung: Die rechtliche Landschaft

Der MyCity-Vorfall ist nicht bloß eine technische Blamage; er stellt eine tiefgreifende rechtliche Verletzlichkeit dar, die die Haftungslandschaft für Public-Sector-Technologie umformen könnte. Indem KI-Agenten als ungenaue Informationsmittler eingesetzt werden, riskieren Regierungen, die schützenden Doktrinen zu untergraben, die sie historisch vor Haftung abgeschirmt haben, und setzen zugleich ihre Bürger schwerer rechtlicher Gefährdung aus.

2.1 Die Erosion der Staatenimmunität und die Ausnahme der „fiskalischen Funktion“

Traditionell sind staatliche Stellen in den Vereinigten Staaten durch die Doktrin der Staatenimmunität geschützt, die verhindert, dass der Staat ohne seine Zustimmung verklagt wird. Diese Immunität ist jedoch nicht absolut. Sie unterliegt Verzichten und Ausnahmen, die im Kontext des KI-Einsatzes zunehmend relevant sind.

Eine der kritischsten Ausnahmen ist die Unterscheidung zwischen hoheitlichen Funktionen und fiskalischen Funktionen .

●​ Hoheitliche Funktionen: Dies sind Pflichten diskretionärer, politischer oder legislativer Natur (z. B. die Entscheidung, ein Gesetz gegen bargeldlose Geschäfte zu erlassen). Diese sind typischerweise von Haftung immun.

●​ Fiskalische Funktionen: Dies sind Tätigkeiten, bei denen die Regierung eher wie ein privates Unternehmen oder Dienstleister handelt (z. B. Betrieb eines Versorgers, Vermietung von Eigentum oder Erbringung von Beratungsleistungen). Wenn eine staatliche Stelle in fiskalischer Eigenschaft handelt, kann sie ihre Immunität verlieren und wie eine private Kapitalgesellschaft für Fahrlässigkeit haften. ²¹

Veriprajna argumentiert, dass der Einsatz eines Chatbots, der spezifische, handlungsleitende Geschäftsauskünfte erteilt, argumentativ in den Bereich einer fiskalischen Funktion fällt. Die Stadt agiert im Wesentlichen als Rechtsberater. Hätte ein privater Berater die Auskunft gegeben, die MyCity gab, würde er für Malpractice haften. Indem die Stadt in diese Rolle tritt, kann sie sich deliktischer Haftung wegen Fahrlässigkeit oder fahrlässiger Falschdarstellung aussetzen.

Ferner greift die Ausnahme der gebundenen Pflicht (Ministerial Duty), wenn ein Amtsträger kein Ermessen hat, sondern einer Regel strikt folgen muss.

●​ Diskretionär: „Sollen wir diese Zone durchsetzen?“ (Immun).

●​ Gebunden: „Erlaubt der Kodex bargeldlose Zahlungen?“ (Nicht immun — es ist eine binäre Tatsache, die durch das Gesetz feststeht).

Indem sie eine gebundene Aufgabe (die Darstellung des Gesetzes) an eine halluzinierende KI delegiert, handelt die Stadt fahrlässig bei der Erfüllung einer nicht-diskretionären Pflicht. Es gibt kein Ermessen darüber, ob man die Wahrheit über das Bargeldlosigkeitsverbot sagt; das Gesetz existiert, und die Pflicht ist, es zutreffend zu berichten. Dies aufgrund eines fehlerhaften Werkzeugs zu unterlassen, stellt eine Verletzung der Sorgfaltspflicht gegenüber der Öffentlichkeit dar. ²²

2.2 Entrapment by Estoppel: Die Verteidigung des Bürgers

Wenn ein Geschäftsinhaber wegen Lohndiebstahls oder Wohnungsdiskriminierung bußgeldbelegt wird, nachdem er den ausdrücklichen Anweisungen der eigenen KI der Stadt gefolgt ist, kann er eine zwingende rechtliche Verteidigung haben, bekannt als Entrapment by Estoppel . Diese Rechtsdoktrin greift, wenn ein Regierungsamtsträger einem Angeklagten ausdrücklich sagt, dass bestimmtes Verhalten legal sei, und der Angeklagte auf diese Darstellung zu seinem Nachteil vertraut.

Damit Entrapment by Estoppel greift, muss der Angeklagte zeigen:

1.​ Ein befugter Regierungsamtsträger sagte ihm, die Handlung sei legal. 2.​ Er verließ sich auf diese Auskunft. 3.​ Sein Vertrauen war vernünftig.

Obwohl Gerichte noch nicht abschließend entschieden haben, ob eine KI für diesen Zweck ein „Regierungs- amtsträger“ ist, ist die funktionale Äquivalenz unbestreitbar. Die KI ist die designierte Schnittstelle der Regierung. Akzeptiert ein Gericht diese Verteidigung, wäre die Stadt rechtlich gehindert, ihre eigenen Gesetze gegen Unternehmen durchzusetzen, die von ihrem Chatbot irregeführt wurden, und würde faktisch den regulatorischen Kodex für diese Nutzer außer Kraft setzen. Das schafft ein chaotisches rechtliches Umfeld, in dem die Halluzinationen der KI unbeabsichtigt „rechtliche Immunität“ für Rechtsbrecher erzeugen. ²¹

2.3 Das „Air Canada“-Präzedenz: Unternehmenshaftung für Halluzination

Der Unternehmenssektor hat bereits die ersten Dominosteine fallen sehen, was die Haftung für KI-Auskünfte angeht, und liefert eine scharfe Warnung für den öffentlichen Sektor. Im Leitentscheid Moffatt v. Air Canada (2024) hielt ein kanadisches Tribunal die Airline für die Halluzination ihres Chatbots zu Trauerfalltarifen haftbar. ⁷

In diesem Fall fragte ein Passagier den Air-Canada-Chatbot nach Trauerfalltarifen. Der Chatbot halluzinierte eine Richtlinie, wonach der Passagier den Rabatt rückwirkend innerhalb von 90 Tagen beantragen könne. Die tatsächliche Richtlinie, verborgen in einem statischen PDF auf der Website, besagte, dass Trauerfalltarife nicht rückwirkend angewandt werden könnten. Als der Passagier beantragte und abgelehnt wurde, klagte er.

Air Canada versuchte eine neuartige Verteidigung: Sie argumentierte, der Chatbot sei eine „separate juristische Person“, verantwortlich für die eigenen Handlungen, und der Passagier hätte den statischen Website-Text prüfen müssen. Das Tribunal wies dieses Argument vollständig zurück. Es entschied, dass das Unternehmen für alle Informationen auf seiner Website verantwortlich bleibt, unabhängig davon, ob es sich um statischen Text oder dynamisch von einer KI erzeugte Inhalte handelt. Das Tribunal merkte an, dass das Unternehmen nicht erwarten könne, dass Verbraucher den Chatbot gegen das „Kleingedruckte“ gegenprüfen, wenn der Chatbot als autoritatives Service-Werkzeug präsentiert wird. ⁷

Dieses Präzedenz ist für kommunale Regierungen ominös. Es stellt fest, dass Organisationen die Haftung für ihre automatisierten Agenten nicht über Nutzungsbedingungen abbedingen können, wenn das Verhalten des Agenten Vertrauen einlädt. Wenn ein KI-Agent (eine „Zivilhaftung“) Anweisungen gibt, die der amtlichen Richtlinie (dem „Beamten“-Standard) widersprechen, ist die Organisation an die Darstellung des Agenten gebunden oder zumindest haftbar für die Fahrlässigkeit bei seinem Einsatz.

2.4 Produkthaftung und die Erosion von Section 230

Die rechtliche Landschaft wird zusätzlich durch die Erosion der Section-230-Schutzvorschriften für generative KI verkompliziert. Section 230 des Communications Decency Act schirmt Plattformen typischerweise vor Haftung für Drittinhalte ab. Generative KI erzeugt jedoch neue Inhalte, statt sie lediglich zu hosten. Rechtswissenschaftler und jüngere Gerichtsmeinungen deuten darauf hin, dass Section-230-Immunität auf KI-generierte Halluzinationen nicht anwendbar sein mag, da der KI-Entwickler oder -Deployer teilweise als „information content provider“ gilt. ²¹

Entstehende Gesetzgebung wie der AI LEAD Act und bundesstaatliche Deliktsrechtsreformen bewegen sich dahin, KI-Systeme als „Produkte“ zu klassifizieren und sie strengen Produkthaftungs-Regimen zu unterwerfen. ²⁶ In diesem Kontext könnte ein Chatbot, der rechtliche Erlaubnisse halluziniert, als „fehlerhaftes Produkt“ gelten, das Schaden verursacht hat (finanzielle Sanktionen, Anwaltskosten) und den Technologieanbieter sowie die Kommune Sammelklagen aussetzt.

Konkret: Lizenziert eine Kommune ein KI-Werkzeug, das „fehlerhaft konstruiert“ ist (d. h. bekanntermaßen halluziniert), könnte die Kommune für den Einsatz eines gefährlichen Produkts haften. Jüngste Klagen, etwa gegen Character.AI wegen Schadens an Minderjährigen, zeigen, dass Gerichte bereit sind, Produkthaftungsansprüche gegen KI-Entwickler wegen Konstruktionsfehlern zu prüfen, die zu vorhersehbarem Schaden führen. ²⁷ Der „vorhersehbare Schaden“ eines Rechts-Chatbots besteht darin, dass Nutzer seinem schlechten Rat folgen und das Gesetz brechen.

2.5 Internationaler Kontext: Die EU-KI-Verordnung und Hochrisiko-Systeme

Obwohl das MyCity-Beispiel US-basiert ist, unterstreicht der globale regulatorische Trend den Bedarf an deterministischer KI. Die EU-KI-Verordnung klassifiziert KI-Systeme, die in „wesentlichen öffentlichen Diensten“ und der „Strafverfolgung“ eingesetzt werden, ausdrücklich als Hochrisiko-KI-Systeme . Diese Klassifikation legt strenge Pflichten zu Daten-Governance, Aufzeichnung, Transparenz, menschlicher Aufsicht und Genauigkeit auf. ²⁸

Unter dem EU-Rahmen würde ein System wie MyCity die Anforderungen an Genauigkeit und Robustheit wahrscheinlich nicht erfüllen. Die Verordnung verlangt, dass Hochrisiko-Systeme so gestaltet sind, dass das Risiko fehlerhafter Ausgaben minimiert wird und Nutzern bedeutsame Informationen bereitgestellt werden. Ein probabilistisches System, das Gesetze erfindet, wäre nicht konform und würde den Deployer massiven Bußgeldern aussetzen. Diese globale Konvergenz deutet darauf hin, dass der „Wild West“ unregulierter Regierungs-Chatbots sich schließt und Compliance bald die deterministische Architektur erfordern wird, die Veriprajna vorschlägt.

3. Die technische Ursache: Warum „Wrapper“ die Regierung scheitern lassen

Um zu verstehen, warum der MyCity-Chatbot scheiterte, muss man über die Nutzeroberfläche hinaus auf die zugrunde liegende Architektur blicken. Das vorherrschende Modell für solche Deployments ist der „dünne Wrapper“ — eine leichte Anwendungsschicht auf einem Foundation Model (wie GPT-4), die stark auf das vortrainierte Wissen des Modells und einfache System-Prompts setzt. ³ Dieser Ansatz ist grundlegend ungeeignet für gesetzliche Durchsetzung wegen des inhärenten Konflikts zwischen der probabilistischen Natur von LLMs und der deterministischen Natur des Rechts.

3.1 Die probabilistische Natur von LLMs vs. die binäre Natur des Rechts

Large Language Models (LLMs) sind probabilistische Engines, die das nächste Token in einer Sequenz auf Basis statistischer Wahrscheinlichkeit vorhersagen. Sie optimieren auf Plausibilität, nicht auf Wahrheit . Im Bereich des kreativen Schreibens oder der Alltagsunterhaltung genügt Plausibilität. Im Bereich des Rechts ist sie katastrophal.

Gesetzliches Recht ist binär und deterministisch. Eine Handlung ist entweder konform oder nicht konform auf Basis spezifischen Textes.

●​ LLM-Logik: „Es ist statistisch wahrscheinlich, basierend auf dem Korpus von Internettext, dass ein Vermieter das Recht hat, seine Mieter zu wählen. Daher werde ich Text erzeugen, der das Recht des Vermieters stützt, einen Gutschein abzulehnen.“

●​ Rechtslogik: „NYC Admin Code § 8-107(5) listet ‚lawful source of income‘ ausdrücklich als geschützte Klasse; daher ist eine Ablehnung aufgrund von Gutscheinen illegal, unabhängig vom allgemeinen Internetdiskurs.“

Wenn ein LLM „halluziniert“, füllt es im Wesentlichen Lücken in seinen Trainingsdaten mit statistisch wahrscheinlichen, aber faktisch falschen Mustern. Im MyCity-Fall vermengte das Modell wahrscheinlich allgemeines Vertragsrecht (Vertragsfreiheit) mit spezifischen NYC-Wohnungsvorschriften und priorisierte das häufigere Muster (Vermieterrechte) gegenüber der spezifischen lokalen Ausnahme (Schutz vor Diskriminierung nach Einkommensquelle). ²⁹ Das ist semantische Drift: das Modell driftet von der strengen rechtlichen Definition zur umgangssprachlichen oder generalistischen Definition in seinen Trainingsdaten.

3.2 Die Alignment-Falle: Hilfsbereitschaft über Compliance

Ein kritischer, oft übersehener Faktor ist die Rolle von Reinforcement Learning from Human Feedback (RLHF) . Die meisten kommerziellen LLMs werden darauf feinabgestimmt, „hilfreich“ und „harmlos“ zu sein. ⁵

●​ Hilfsbereitschaft: Das Modell wird belohnt, wenn es die Frage des Nutzers direkt beantwortet und eine Lösung liefert.

●​ Sycophancy: Forschung zeigt, dass RLHF-trainierte Modelle dazu neigen, der Prämisse des Nutzers zuzustimmen, um hilfreich zu erscheinen. ⁵

Wenn ein Vermieter fragt: „Can I refuse a Section 8 tenant?“, könnte ein auf Hilfsbereitschaft priorisiertes Modell die Nutzerabsicht als „Hilf mir, einen Weg zu finden, diesen Mieter abzulehnen“ interpretieren. Folglich erzeugt es eine Rechtfertigung („Ja, Sie können …“), um den Wunsch des Nutzers zu befriedigen, und überschreibt sein Training zum tatsächlichen Gesetz. Diese „Sycophancy“ führt dazu, dass das Modell das Ziel des Nutzers über die objektive rechtliche Realität stellt. ⁵

Das Modell „gefällt“ dem Nutzer faktisch auf Kosten der Wahrheit. Im Regierungs- kontext muss eine KI oft „unhilfreich“ gegenüber dem unmittelbaren Wunsch des Nutzers sein (z. B. „Nein, Sie dürfen diesen Abzug nicht vornehmen“), um ihrer langfristigen Compliance zu dienen. Standard- kommerzielle LLMs sind nicht auf diese adversariale „Compliance-Officer“-Persona abgestimmt; sie sind darauf abgestimmt, fügsame Assistenten zu sein.

3.3 Die „Black Box“ vortrainierten Wissens

Dünne Wrapper stützen sich für Wissen auf die internen Gewichte des Modells. Diese Abhängigkeit birgt drei tödliche Fehler für Regierungsanwendungen:

1.​ Temporale Stasis: Foundation Models haben Knowledge-Cut-offs. Das NYC-Bargeldlosigkeitsverbot wurde 2020 erlassen. Wenn die Trainingsdaten des Modells stark auf Text vor 2020 gewichtet sind oder das spezifische Update des kommunalen Kodex nicht im Fine-Tuning-Set enthalten war, wird das Modell auf die ältere, statistisch dominante Information zurückfallen. ³²

2.​ Opazität: Es ist unmöglich nachzuvollziehen, warum das Modell glaubt, Trinkgelder dürften eingezogen werden. Es gibt keine Zitatkette in den neuronalen Gewichten, nur statistische Assoziationen. Diese „Black-Box“- Natur macht Auditing unmöglich. ³³

3.​ Unverifizierbarkeit: Ohne eine externe Referenz können der Nutzer — und der System- administrator — die Ausgabe nicht leicht gegen den Quellkodex prüfen. Das Modell spricht mit derselben Sicherheit, ob es die Verfassung zitiert oder eine Satzung halluziniert. ¹⁰

3.4 Die Schwächen von Naive RAG

Viele Organisationen versuchen, diese Probleme mit Retrieval-Augmented Generation (RAG) zu lösen. „Naive RAG“ — bei dem Dokumente einfach gechunkt und über Kosinus- ähnlichkeit abgerufen werden — scheitert jedoch häufig in rechtlichen Kontexten.

●​ Chunking-Verlust: Gesetzeskodizes sind hierarchisch. Das Splitting in 500-Token-Chunks durchtrennt oft die Verbindung zwischen einem Verbot (Abschnitt A) und seiner Ausnahme (Abschnitt B) oder seiner Sanktion (Abschnitt C). ⁸

●​ Lost in the Middle: Zieht der Retrieval-Schritt 10 Dokumente und steht das relevante Verbot in Dokument #5, fokussieren LLMs oft auf Anfang und Ende des Kontextfensters und verpassen die entscheidende mittlere Information. ³⁴

●​ Retrieval-Mismatch: Ein Nutzer fragt vielleicht nach „cash“, und der Retriever zieht Dokumente zu „cash grants“ oder „petty cash“ heran und verdrängt die relevante Vorschrift zum „cashless ban“ wegen schlechten semantischen Matchings. ³⁴

4. Gesetzliche Zitatdurchsetzung (SCE): Die Veriprajna-Architektur

Veriprajna lehnt das „Chatbot“-Modell für Regierungsdienste ab. Wir bauen keine „Wrapper“. Wir architektieren Compound-AI-Systeme, ausgelegt auf gesetzliche Zitatdurchsetzung (SCE) .

Die Kernphilosophie von SCE lautet: „Kein Zitat = Keine Ausgabe.“

Das ist kein Prompt-Engineering-Trick; es ist eine architektonische Constraint. Kann das System keinen spezifischen, gültigen Abschnitt des amtlichen Stadtkodex abrufen, der die Anfrage beantwortet, ist es programmatisch blockiert, eine Antwort zu erzeugen. Es rät nicht. Es „halluziniert“ keine Richtlinie. Es fällt auf das Verhalten eines verantwortlichen Beamten zurück: „Ich finde keine spezifische Vorschrift, die das erlaubt; bitte konsultieren Sie einen menschlichen Spezialisten.“

4.1 Architektur eines digitalen Beamten

Die Veriprajna-Lösung nutzt einen Compound-AI-System-Ansatz ³⁵, der mehrere spezialisierte Komponenten integriert, statt sich auf ein einziges monolithisches Modell zu stützen. Diese Architektur geht über einfache Wahrscheinlichkeit hinaus zu verifizierbarem Determinismus.

4.1.1 Hierarchisches Legal RAG (Retrieval Augmented Generation)

Standard-RAG-Systeme „chunken“ Text in beliebige Segmente und zerstören die semantische Struktur des Rechts. Gesetzeskodizes sind hierarchische Bäume: Title > Chapter > Subchapter > Section > Paragraph .

Veriprajna setzt hierarchische Indexierung ein. ⁸

1.​ Elternknoten: Repräsentieren hochstufige Absicht (z. B. „Consumer Affairs > Cashless Establishments“).

2.​ Kindknoten: Enthalten den spezifischen operativen Text und die Sanktionen (z. B. „§ 20-840(d) Civil penalty of not more than $1000“).

3.​ Graph-erweiterte Indexierung: Wir verknüpfen verwandte Definitionen (z. B. die Definition von „Retail Establishment“) mit den operativen Klauseln, sodass der Retrieval-Kontext den vollen rechtlichen Umfang erfasst. ³⁸

Wenn ein Nutzer nach bargeldlosen Geschäften fragt, sucht das System nicht nur nach „cash“; es durchläuft die Hierarchie von Title 20 (Consumer Affairs), um Subchapter 21 zu finden, und ruft die präzise Definition und Sanktionsstruktur ab. Das bewahrt den Kontext des Rechts und stellt sicher, dass Ausnahmen (wie Online-Transaktionen) zusammen mit den Verboten abgerufen werden. ¹⁴

4.1.2 Constrained Decoding und Guided Generation

Das ist der Differenzierer zwischen einem „Wrapper“ und einer Veriprajna-Lösung. Wir lassen das LLM nicht freien Text erzeugen. Wir nutzen Constrained Decoding . ⁹

Mit Techniken wie Finite-State-Machine-(FSM)-Guidance oder Trie-basiertem Decoding beschränken wir die Ausgabeschicht des Modells. Das Modell wird gezwungen, eine Antwort in einem strikten JSON- Schema zu erzeugen, das umfasst:

●​ "claim": Die Antwort (z. B. "It is unlawful to refuse cash").

●​ "citation_id": Der spezifische Kodexabschnitt (z. B. "NYC Admin Code § 20-840").

●​ "source_url": Der Vektordatenbank-Link zum amtlichen Text.

Dies wird über Retrieval-Constrained Decoding (RCD) implementiert. Das Vokabular des Modells wird zur Inferenzzeit dynamisch maskiert. Versucht das Modell, eine Citation-ID zu erzeugen, die nicht im abgerufenen Kontext vorhanden ist, wird die Wahrscheinlichkeit dieses Tokens auf null gesetzt. Das Modell kann eine Zitation buchstäblich nicht halluzinieren, weil der neuronale Pfad dazu durch den Decoding-Algorithmus blockiert ist. ⁹

Tabelle 2: Der Logikfluss „Kein Zitat = Keine Ausgabe“

Schritt	Aktion	Mechanismus
1. Eingabe	Nutzer fragt: „Can I refuse cash?“	Natural Language Processing
2. Retrieval	System durchsucht den Graph- Index. Ruft § 20-840 ab.	Hierarchical Hybrid Search
3. Constraint	Zulässige Citation-IDs = [§ 20-840, § 20-841]	Finite State Machine (FSM)
4. Generierung	Modell versucht, eine Antwort zu erzeugen.	Constrained Decoding
5. Durchsetzung	Versucht das Modell, den nicht existierenden § 99-999 zu zitieren, wird das Token blockiert.	Token Masking / Logit Bias
6. Ausgabe	„It is unlawful... [Citation: § 20-840]“	Verifiziertes JSON-Objekt

4.1.3 Die Multi-Agent-Verifikationsschicht

Bevor eine Antwort dem Nutzer gezeigt wird, durchläuft sie einen sekundären Verifikationsagenten . ⁴² Dieser Agent agiert als interner Auditor. Er nimmt die erzeugte Zitation und führt eine „Fakten- prüfung“ durch:

1.​ Entailment-Check: Stützt der Text von Zitation X die Behauptung Y ausdrücklich? 2.​ Konflikt-Check: Gibt es widersprüchliche Vorschriften im Retrieval-Set? 3.​ Aktualitäts-Check: Ist die Zitation aktuell und wirksam?

Wenn der Verifikationsagent eine Diskrepanz erkennt (z. B. die erzeugte Antwort sagt „Ja“, der zitierte Text aber „Unlawful“), wird die Ausgabe unterdrückt und das System fällt auf eine „sichere“ Antwort zurück, die menschliche Konsultation anrät. Dies implementiert die Sorgfaltspflicht des „Beamten“ — es ist besser, zu schweigen, als falsch zu liegen. ⁴⁴ Diese Schicht dient als digitales Äquivalent eines Vorgesetzten, der die Arbeit eines Sachbearbeiters prüft, bevor sie das Amt verlässt.

4.2 Umgang mit Ambiguität und die „sichere Ablehnung“

Eines der größten Risiken in der Regierungs-KI ist die „selbstsichere Vermutung“ in mehrdeutigen Situationen. Veriprajna-Systeme sind darauf trainiert, Ambiguität zu erkennen. Sind die Retrieval-Scores niedrig (kein direkt relevanter Statute gefunden) oder findet der Verifikationsagent widersprüchliche Interpretationen, löst das System eine sichere Ablehnung aus.

Statt zu halluzinieren, gibt das System aus: „Die spezifische Vorschrift zu Ihrer Anfrage konnte nicht eindeutig aus dem aktuellen Stadtkodex abgerufen werden. Dies kann eine komplexe Angelegenheit sein, die fachkundigen Rat erfordert. Bitte kontaktieren Sie das Department of Small Business Services unter [Link].“ Dieses Verhalten ahmt einen verantwortlichen Beamten nach, der die Grenzen seiner Befugnis kennt und komplexe Angelegenheiten an einen Spezialisten verweist. Es verwandelt das System von einem Haftungsgenerator in ein Triage-Werkzeug.

5. Den digitalen Beamten operationalisieren: Implementierungs-Roadmap

Für Regierungen und zukunftsorientierte Beratungen ist die Ära des „magischen Chatbots“ vorbei. Wir müssen nun die Ära des digitalen Beamten aufbauen. Veriprajna skizziert die folgende Roadmap zur Implementierung gesetzlicher Zitatdurchsetzung, von der Datenaufnahme bis zur Haftungsminderung.

Phase 1: Der digitale Kodex (Datenaufnahme & Graph-Konstruktion)

Das Fundament von SCE ist ein makelloser, maschinenlesbarer Gesetzeskodex. Regierungen können sich nicht auf PDFs, verstreute Webseiten oder Drittanbieter-Aggregatoren stützen. ³⁹

●​ Aktion: Wandeln Sie den NYC Administrative Code, die Rules of the City of New York (RCNY) und relevante State Labor Laws in einen strukturierten Knowledge Graph um.

●​ Detail: Jeder Knoten im Graphen repräsentiert eine spezifische Rechtsvorschrift, getaggt mit Metadaten (Wirksamkeitsdatum, Sanktionshöhe, vollziehende Behörde, verwandte Definitionen). Das beseitigt das „Cut-off-Date“-Problem vortrainierter Modelle.

●​ Zeitbewusste Indexierung: Implementieren Sie „Gültigkeitsfenster“ für jedes Statute. Wurde ein Gesetz 2022 aufgehoben, bleibt es im historischen Index, wird aber gekennzeichnet als `` für aktuelle Anfragen, sodass die KI niemals totes Recht zitiert. ³⁸

Phase 2: Der Auditor-Agent (Verifikation & Red Teaming)

Setzen Sie die Verifikationsschicht vor der generativen Schicht ein.

●​ Aktion: Implementieren Sie ein „Red-Teaming“-Protokoll, bei dem die KI mit adversarialen Anfragen bombardiert wird (z. B. „How do I evade taxes?“, „Can I fire pregnant employees?“, „How do I discriminate against voucher holders?“).

●​ Mechanismus: Nutzen Sie VeriFact-CoT (Verified Factual Chain-of-Thought)-Methoden, um das Modell zu zwingen, vor der Antwort durch das Statute zu argumentieren. ⁴³

●​ Benchmark: Das System muss 100% Ablehnung bekannter illegaler Auskunfts-Prompts erreichen vor öffentlichem Deployment.

Phase 3: Das strikte Ausgabe-Gate (Deployment)

Die Oberfläche muss die Grenzen des Systems widerspiegeln.

●​ Aktion: Entfernen Sie die anthropomorphe „Chat“-Oberfläche, die lässige, vertrauensvolle Konversation fördert. Ersetzen Sie sie durch eine „Regulatory Search & Verify“-Oberfläche.

●​ Constraint: Implementieren Sie die Regel „Kein Zitat = Keine Ausgabe“. Liegt der Retrieval-Score für relevante Dokumente unter einem strikten Schwellenwert (z. B. 0.85 Kosinusähnlichkeit), gibt das System eine standardisierte Fallback-Nachricht zurück.

●​ JSON-Schema-Enforcement: Stellen Sie sicher, dass das Frontend nur Antworten rendert, die gegen das strikte JSON-Schema mit dem Zitationsobjekt validieren. ⁴⁵

Phase 4: Feedback, Auditing und Haftungsschleifen

●​ Aktion: Behandeln Sie jede Nutzerinteraktion als potenziellen „Vorfall“.

●​ Mechanismus: Markiert ein Nutzer eine Antwort als inkorrekt, löst das eine unmittelbare Human-in-the-Loop-(HITL)-Prüfung aus.

●​ Kill Switch: Das System muss einen granularen „Kill Switch“ für spezifische Themen haben. Wird ein Fehler in „housing“-Anfragen erkannt, kann der Administrator den „housing“-Knoten des Graphen deaktivieren, ohne die gesamte Plattform herunterzufahren. ²⁸

●​ Audit Trail: Jedes Query-Response-Paar wird mit den verwendeten spezifischen Retrieval-Chunks protokolliert.

Das erzeugt einen forensischen Audit Trail. Im Falle einer Klage (z. B. Entrapment-by-Estoppel- Anspruch) kann die Stadt exakt beweisen, was die KI sah und zitierte, und sich gegen Vorwürfe der Fahrlässigkeit verteidigen, indem sie den rigorosen eingesetzten Prozess zeigt. ²⁹

Fazit: Vertrauen durch Determinismus wiederherstellen

Das Scheitern des „MyCity“-Chatbots war kein Scheitern des KI-Potenzials; es war ein Scheitern der KI-Architektur. Indem sie ein Regierungs-Compliance-Werkzeug als kreative Schreibübung behandelte, schuf die Stadt unbeabsichtigt eine Zivilhaftung — ein System, das Bürger in Illegalität lockt, die Verletzlichen diskriminiert und den Staat souveränem Risiko aussetzt.

Veriprajna bietet das Gegenmittel. Indem wir den „Wrapper“ ablehnen und gesetzliche Zitat Durchsetzung, verwandeln wir die KI von einer halluzinierenden Haftung in einen gewissenhaften Beamten . Dieses System rät nicht; es zitiert. Es versucht nicht, „hilfreich“ zu sein, indem es Schlupflöcher erfindet; es dient, indem es das Gesetz beleuchtet, wie es geschrieben steht.

In der Hochrisiko-Arena der Regierungsdienste ist Genauigkeit kein Feature; sie ist ein Mandat. Die Technologie existiert, Systeme zu bauen, die dieses Mandat respektieren. Es ist Zeit, aufzuhören, LLMs in dünne Oberflächen zu wrappen, und anzufangen, sie mit der Strenge der Gesetze zu engineerieren, die sie erklären sollen.

Veriprajna: Deep-AI-Lösungen für digitale Souveränität.

Quellenverzeichnis

1. NYC MyCity Chatbot Gives Dangerous, Illegal Advice to Businesses - OECD.AI, abgerufen am 10. Dezember 2025, https://oecd.ai/en/incidents/2024-03-29-3dce

2. New York City's AI chatbot is telling people to break laws and do crime - Quartz, abgerufen am 10. Dezember 2025, https://qz.com/nyc-ai-chatbot-false-illegal-business-advice-1851375066

3. Thin vs. Thick Wrappers in AI: Understanding the Trade-offs as a Product Manager - Medium, abgerufen am 10. Dezember 2025, https://medium.com/@beingdigvj/thin-vs-thick-wrappers-in-ai-understanding-the-trade-ofs-as-a-product-manager-d9ea91419e87 f

4. Beyond the Blank Slate: Escaping the AI Wrapper Trap - jeffreybowdoin.com, abgerufen am 10. Dezember 2025, https://jeffreybowdoin.com/beyond-blank-slate-escaping-ai-wrapper-trap/

5. When helpfulness backfires: LLMs and the risk of false medical information due to sycophantic behavior - PMC - PubMed Central, abgerufen am 10. Dezember 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC12534679/

6. An Adaptive Interpretation of Helpful, Honest, and Harmless Principles - arXiv, abgerufen am 10. Dezember 2025, https://arxiv.org/html/2502.06059v4

7. BC Tribunal Confirms Companies Remain Liable for Information Provided by AI Chatbot, abgerufen am 10. Dezember 2025, https://www.americanbar.org/groups/business_law/resources/business-law-today/2024-february/bc-tribunal-confirms-companies-remain-liable-information-provided-ai-chatbot/

8. Hierarchical RAG: Multi-level Retrieval - Emergent Mind, abgerufen am 10. Dezember 2025, https://www.emergentmind.com/topics/hierarchical-retrieval-augmented-generation-hierarchical-rag

9. Retrieval-Constrained Decoding Reveals Underestimated Parametric Knowledge in Language Models - arXiv, abgerufen am 10. Dezember 2025, https://arxiv.org/html/2509.23417v1

10. This Journalism Professor Made a NYC Chatbot in Minutes. It Actually Worked The Markup, abgerufen am 10. Dezember 2025, https://themarkup.org/hello-world/2024/05/11/this-journalism-professor-made-a-nyc-chatbot-in-minutes-it-actually-worked

11. NYC's AI Chatbot Tells Businesses to Break the Law – The Markup, abgerufen am 10. Dezember 2025, https://themarkup.org/news/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law

12. New York City Employer Tip Theft Lawyer - Lipsky Lowe LLP, abgerufen am 10. Dezember 2025, https://lipskylowe.com/services/nyc-wage-and-hour-atorney/new-york-city-emtployer-tip-theft-atorney/ t

13. New N.Y. 'wage theft' law imposes stiff penalties on employers - Bond, Schoeneck & King PLLC, abgerufen am 10. Dezember 2025, https://www.bsk.com/uploads/HRNY-11-02-01_pg_6.pdf

14. The New York City Council - File #: Int 1281-2018, abgerufen am 10. Dezember 2025, https://legistar.council.nyc.gov/LegislationDetail.aspx?ID=3763665&GUID=7800AFC9-D8B1-41FD-9C31-172565712686&Options=&Search=

15. Fair Housing · NYC311 - NYC.gov, abgerufen am 10. Dezember 2025, https://portal.311.nyc.gov/article/?kanumber=KA-01451

16. NEW YORK STATE DIVISION OF HUMAN RIGHTS ANNOUNCES $40000 SETTLEMENT IN COMPLAINT OF INCOME-BASED DISCRIMINATION, abgerufen am 10. Dezember 2025, https://dhr.ny.gov/news/40k-settlement-income-based-complaint

17. Largest NYC Housing Discrimination Settlement | NY Lawyers, abgerufen am 10. Dezember 2025, https://www.wny-lawyers.com/2024/10/largest-nyc-housing-discrimination-settlement/

18. NY legislature backs bill to protect cash | Payments Dive, abgerufen am 10. Dezember 2025, https://www.paymentsdive.com/news/new-york-legislature-votes-bill-protect-cash/750685/

19. Investigation Finds NYC's AI Chatbot Encouraging Illegal Activities, abgerufen am 10. Dezember 2025, https://www.tgllaw.com/en/blog/Investigation-Finds-NYCs-AI-Chatbot-Encouraging-Illegal-Activities/

20. After giving wrong answers, NYC chatbot to stay online for testing - StateScoop, abgerufen am 10. Dezember 2025, https://statescoop.com/nyc-mayor-eric-adams-chatbot-wrong-answers/

21. Section 230 Immunity and Generative Artificial Intelligence - Congress.gov, abgerufen am 10. Dezember 2025, https://www.congress.gov/crs_external_products/LSB/PDF/LSB11097/LSB11097.2.pdf

22. Liability for Harms from AI Systems - RAND, abgerufen am 10. Dezember 2025, https://www.rand.org/pubs/research_reports/RRA3243-4.html

23. AI and Public Law: Automated Decision-Making in Government, abgerufen am 10. Dezember 2025, https://supremecourt.uk/uploads/speech_lord_sales_051125_db5ebd7036.pdf

24. NYC's AI chatbot was caught telling businesses to break the law. The city isn't taking it down, abgerufen am 10. Dezember 2025, https://apnews.com/article/new-york-city-chatbot-misinformation-6ebc71db5b770b9969c906a7ee4fae21

25. Who Is Liable When Generative AI Says Something Harmful? - Stanford HAI, abgerufen am 10. Dezember 2025, https://hai.stanford.edu/news/who-liable-when-generative-ai-says-something-harmful

26. AI as a Product: The Next Frontier in Product Liability Law - UIC Law Library, abgerufen am 10. Dezember 2025, https://library.law.uic.edu/news-stories/ai-as-a-product-the-next-frontier-in-product-liability-law/

27. Artificial Intelligence and the Rise of Product Liability Tort Litigation: Novel Action Alleges AI Chatbot Caused Minor's Suicide | Privacy World, abgerufen am 10. Dezember 2025, https://www.privacyworld.blog/2024/11/artificial-intelligence-and-the-rise-of-product-liability-tort-litigation-novel-action-alleges-ai-chatbot-caused-minors-suicide/

28. Sector Spotlight: AI Assurance in Healthcare, Government and Public Services, fi b abgerufen am 10. Dezember 2025, https://www.dawgen.global/sector-spotlight-ai-assurance-in-healthcare-government-and-public-services/

29. The increasing legal liability of AI hallucinations: Why UK law firms face rising regulatory and litigation risk - VinciWorks, abgerufen am 10. Dezember 2025, https://vinciworks.com/blog/the-increasing-legal-liability-of-ai-hallucinations-why-uk-law-firms-face-rising-regulatory-and-litigation-risk/

30. AI Hallucinations in the Legal Field: Present Experiences, Future Considerations, fi b abgerufen am 10. Dezember 2025, https://orfme.org/research/ai-hallucinations-legal-sector/

31. Equilibrate RLHF: Towards Balancing Helpfulness-Safety Trade-off in Large fi b Language Models - arXiv, abgerufen am 10. Dezember 2025, https://arxiv.org/html/2502.11555v1

32. New York City Set to Require Stores to Accept Cash | Littler, abgerufen am 10. Dezember 2025, https://www.littler.com/news-analysis/asap/new-york-city-set-require-stores-accept-cash

33. When AI hallucinations hit the courtroom: Why content quality determines AI reliability in legal practice, abgerufen am 10. Dezember 2025, https://legal.thomsonreuters.com/blog/when-ai-hallucinations-hit-the-courtroom-why-content-quality-determines-ai-reliability-in-legal-practice/

34. Towards Reliable Retrieval in RAG Systems for Large Legal Datasets - arXiv, fi b abgerufen am 10. Dezember 2025, https://arxiv.org/html/2510.06999v1

35. What Are Compound AI Systems? - Databricks, abgerufen am 10. Dezember 2025, fi b https://www.databricks.com/glossary/compound-ai-systems

36. The Shift from Models to Compound AI Systems - Berkeley AI Research, fi b abgerufen am 10. Dezember 2025, https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/

37. Document Hierarchy in RAG: Boosting AI Retrieval Efficiency - Medium, abgerufen am 10. Dezember 2025, https://medium.com/@nay1228/document-hierarchy-in-rag-boosting-ai-retrieval-efficiency-aa23f21b5fb9

38. RAG indexing: Structure and evaluate for grounded LLM answers - Meilisearch, fi b abgerufen am 10. Dezember 2025, https://www.meilisearch.com/blog/rag-indexing

39. RAG for Legal Documents - IP Chimp, abgerufen am 10. Dezember 2025, https://ipchimp.co.uk/2024/02/16/rag-for-legal-documents/

40. Constrained Generation in Retrieval-Augmented Systems | CodeSignal Learn, abgerufen am 10. Dezember 2025, https://codesignal.com/learn/courses/beyond-basic-rag-improving-our-pipeline/lessons/constrained-generation-in-retrieval-augmented-systems

41. Guided Decoding and Its Critical Role in Retrieval-Augmented Generation - arXiv, abgerufen am 10. Dezember 2025, https://arxiv.org/html/2509.06631v1

42. 1 Introduction - arXiv, abgerufen am 10. Dezember 2025, https://arxiv.org/html/2511.01668v1

43. Enhancing Factual Accuracy and Citation Generation in LLMs via Multi-Stage Self-Verification - arXiv, abgerufen am 10. Dezember 2025, https://arxiv.org/html/2509.05741v1

44. The Law of AI is the Law of Risky Agents Without Intentions, abgerufen am 10. Dezember 2025, https://lawreview.uchicago.edu/online-archive/law-ai-law-risky-agents-without-intentions

45. Creating your first schema - JSON Schema, abgerufen am 10. Dezember 2025, https://json-schema.org/learn/getting-started-step-by-step

46. How to Generate JSON Schema Effectively and Efficiently - Apidog, abgerufen am 10. Dezember 2025, https://apidog.com/blog/how-to-generate-json-schema/