Die Fälle waren echt. Ich konnte die KI trotzdem nicht für sie bürgen lassen.

Als ich zum ersten Mal zusah, wie mein eigenes Werkzeug sich weigerte, drei echte Supreme-Court-Fälle abzusegnen, war ich sicher, dass es kaputt war.

Ich ließ einen Beispielschriftsatz laufen, den ich mit „Falsch angewandter Präzedenzfall“ gekennzeichnet hatte. Er zitierte Erie Railroad v. Tompkins, 304 U.S. 64, für die Existenz eines einheitlichen Bestands an federal common law, was dem Gegenteil dessen nahekommt, was Erie tatsächlich entschieden hat. Er stützte sich auf Celotex Corp. v. Catrett, 477 U.S. 317, und Baker v. Carr, 369 U.S. 186, für Thesen, für die die Urteile nicht stehen. Jeder dieser Fälle ist echt. Ich erwartete, dass meine Stützungsprüfung sie rot markieren, als Nicht gestützt stempeln und die Sache abschließen würde. Stattdessen kamen alle drei mit einem leiseren Urteil zurück: Prüfung erforderlich. Mein erster Impuls war, dass das Sprachmodell am einfachen Teil gescheitert war.

Es brauchte einen peinlich langen Abend, bis ich verstand, dass der Impuls der Fehler war – und er lag bei mir, nicht im System.

Ein selbstsicheres „Nicht gestützt“, gestempelt auf eine subtile Fehldeutung von Erie, wäre ein Bluff gewesen. Das Urteil ist lang, der Missbrauch ist eine Frage rechtlicher Beurteilung, und das Modell kann die Negation aus einem Ausschnitt nicht mit der Sicherheit begründen, die ein rotes Urteil impliziert. Der ehrliche Zug – den ich versehentlich gebaut und dann fast aus Frustration herausprogrammiert hätte – war, ihn an einen Menschen zu leiten, mit dem widersprechenden Kontext angehängt. Enthaltung war nicht das Scheitern. Enthaltung war der ganze Punkt. Wenn Sie selbst zusehen wollen, wie es entscheidet, lebt es hier: veriprajna.com/de/demos/zitatverifizierung-und-governance-fur-legal-ki.

Dies ist ein Essay über die Annahme, mit der ich anfing – die fast jeder teilt, der gerade juristische KI baut – und die langsame, konkrete Weise, wie der Bau der Demo sie auseinandernahm. Die Annahme lautet, dass das Halluzinationsproblem durch ein besseres Modell gelöst wird. Ich glaube das nicht mehr, und nicht, weil ich daran zweifle, dass die Modelle besser werden.

Die Woche, in der ich versuchte, ein Modell ein anderes überwachen zu lassen

Ich verbrachte etwa eine Woche damit, ein Sprachmodell zum vertrauenswürdigen Richter über ein anderes Sprachmodell zu machen, und ich will ehrlich sagen, dass es nicht funktioniert hat.

Das Setup sah vernünftig aus. Ein Modell entwirft einen Schriftsatz – von Harvey oder Lexis Protégé oder einem Open-Source-Modell, egal welches. Dann liest ein zweites Modell jedes Zitat gegen den Fall, auf den es zeigt, und entscheidet, ob das Urteil die Behauptung stützt. Zwei Modelle, eine ordentliche Prüfung, die Art Architektur, die ein Design Review übersteht. Ich erwartete wirklich, dass der Entscheidungsschritt der einfache Teil wäre. Es war der Teil, der nicht stillhielt.

Das Scheitern war nicht laut – und genau das machte es gefährlich. Ich ließ denselben Schriftsatz dreimal durch die Stützungsprüfung laufen und bekam zweimal „Prüfung erforderlich“ und einmal selbstsicher Klarheit, ohne Änderung am Input. Beim Zitat Bell Atlantic Corp. v. Twombly, 550 U.S. 544, einem echten Fall, entschied das Modell manchmal, das Urteil begründe die zitierte These klar, und manchmal, es tue es nicht ganz. Beide Lesarten waren vertretbar. Genau das war das Problem. Eine Entscheidung, die Sie nicht reproduzieren können, ist keine Entscheidung. Sie ist eine zweite Meinung in Robe.

Ich bat ein probabilistisches System, das deterministische Gate für ein anderes probabilistisches System zu sein, und nannte das Ergebnis Verifizierung.

Das ist keine Verifizierung. Das ist, wenn zwei Modelle übereinstimmen – etwas Schwächeres und deutlich Unbeständigeres. Wenn der Grund für eine Prüfung ist, dass die Ausgabe des ersten Modells nicht zum Nennwert vertrauenswürdig ist, kann die Ausgabe des zweiten Modells nicht das sein, dem Sie die Prüfung anvertrauen. Ich hatte ein Spiegelkabinett gebaut und war dabei, einen Compliance-Aufkleber darauf zu kleben. Das Gericht am anderen Ende kümmert sich nicht darum, wie selbstsicher eines der Modelle war. Es kümmert sich darum, ob der Fall existiert und ob er sagt, was Sie behauptet haben. Das sind zwei Fragen, und ich hatte sie als eine behandelt.

Was ist gefährlicher: ein erfundener Fall oder ein echter, der falsch verwendet wird?

Was mich beim Bau überraschte, war die Einsicht, dass die beiden Fehler völlig unterschiedliche Maschinen brauchen – und die Branche meist nur eine davon ausliefert.

Ein erfundenes Zitat ist, seltsam genug, der freundliche Fehler. Halstead v. Ferngate Holdings, 823 U.S. 1199, erscheint in einem der Beispielschriftsätze, völlig flüssig zitiert für die These, dass Strafschadensersatz kategorisch ausgeschlossen sei. Es existiert nicht. Die United States Reports haben keinen Band 823. Das können Sie mit Sicherheit beweisen – nicht, indem Sie ein Modell fragen, was es denkt, sondern indem Sie echte Rechtsprechung abfragen und eine Nulltreffer-Suche zurückbekommen. Das ist Arithmetik gegen eine Autorität, keine Beurteilung. Es ist die Art von Sache, die Code entscheiden sollte – und jedes Mal auf dieselbe Weise.

Der gefährliche Fehler ist der echte Fall, zitiert für die falsche Sache. Erie ist ein echtes, berühmtes, korrekt formatiertes Zitat. Jeder Fabrikationsfilter der Welt lässt es durch – genau weil es nicht erfunden ist. Der Band existiert, die Seite existiert, das Urteil existiert. Was falsch ist, ist die Beziehung zwischen dem zitierten Fall und dem Satz davor, und diese Beziehung ist eine Frage rechtlicher Lektüre, nicht der Existenz. Eine Quellabgleich-Prüfung behandelt „dieser Fall ist echt“ und „dieser Fall stützt meine Behauptung“ als dieselbe Tatsache. Sie sind nicht einmal annähernd dasselbe.

Also beginnen die Zahlen, die Leute über juristische KI zitieren, Sinn zu ergeben. Selbst zweckgebaute Tools halluzinieren in Raten, die einen kalt erwischen sollten: Westlaw Precision bei 33 Prozent und Lexis+ bei 17 Prozent in der Stanford-RegLab-Studie, veröffentlicht im Journal of Empirical Legal Studies, 2025. Bis Anfang 2026 gab es 1.222 dokumentierte Gerichtsverfahren mit KI-halluzinierten Zitaten, und Gerichte haben begonnen zu sanktionieren – einschließlich einer Strafe von 30.000 Dollar vom Sixth Circuit im März 2026. Die Erfindungen sind die Fehler, die man sich zumindest vorstellen kann zu fangen. Das echte, aber falsch angewandte Zitat ist das, das wie Sorgfalt aussieht, bis ein Richter das Urteil liest, das Sie zitiert haben, und feststellt, dass es das Gegenteil sagt.

Ein erfundener Fall ist eine Lüge, die Sie widerlegen können. Ein echter Fall, zitiert für die falsche tragende Entscheidung, ist eine Lüge, die jeden Test besteht, der gebaut wurde, um die erste Art zu fangen.

Warum ich die Engine in zwei Teile gespalten habe

Ich hörte auf zu versuchen, ein System beide Jobs machen zu lassen, an dem Abend, an dem ich akzeptierte, dass es unterschiedliche Jobs waren.

Die Existenzprüfung und der Fabrikationsfang wurden zu deterministischem Python gegen echte Rechtsprechung. Kein Prompt, keine Temperatur, kein „als KI-Sprachmodell“. Das Zitat nehmen, in einer unabhängigen Autorität nachschlagen, und wenn der Fall wirklich fehlt, ist er erfunden – beweisbar –, und er kann das Gate nie passieren. Dieser letzte Satz ist die eine Garantie, die ich unverblümt auszusprechen bereit bin, weil sie eine unit-getestete Invariante ist und keine Hoffnung: null erfundene Zitate können das Policy-Gate passieren. Es gibt einen Test, der genau danach benannt ist, und er ist Teil der 8 von 8, die in der gebauten Demo bestehen.

Die Stützungsprüfung blieb ein einzelner Sprachmodell-Schritt, weil zu beurteilen, ob ein echtes Urteil eine These stützt, wirklich eine Leseaufgabe ist – und das Modell ein guter Leser ist. Aber ich gab ihm ausdrückliche Erlaubnis zur Enthaltung und hörte auf, Enthaltung als Bug zu behandeln. Wenn es die Behauptung nicht im Urteilstext verankern kann, leitet es an einen Menschen weiter, statt zu raten. Das Modell berät. Das deterministische Gate und der Anwalt entscheiden. Beim Bau sagte ich ständig zwei Dinge. Eins ist Agenten beraten, Code entscheidet. Das andere ist, dass ich kein LLM zum endgültigen Richter über ein LLM machen werde.

Ich will präzise über die Spaltung sein, weil die Versuchung groß ist, sie zu einem größeren Versprechen zu verwischen, als sie ist. Die deterministischen Teile – Existenz, Fabrikation, außerhalb der Abdeckung und das Gate – sind exakt und reproduzierbar. Die Stützungsprüfung ist es nicht. Sie ist nicht deterministisch, und bewusst gibt sie ein Zitat nur dann grün frei, wenn der Urteilstext die tragende Entscheidung klar begründet, so wie Miranda v. Arizona, 384 U.S. 436, bei Warnungen vor Vernehmungen in Gewahrsam, und schickt das Zitat sonst zur Prüfung. Welche konkreten echten Zitate grün freigeben versus an einen Menschen geleitet werden, kann von Lauf zu Lauf variieren. Das ist keine raue Kante, die ich verstecke. Es ist die ehrliche Form des Problems, und so zu tun, als wäre es anders, ist genau der Zug, gegen den ich baue.

Was „8 von 8“ tatsächlich bedeuten darf

Ich halte mich an eine Regel über Zahlen, weil das Unternehmen, das ich baue, Veriprajna heißt – was wahre Weisheit bedeutet –, und ein Name wie dieser ist eine stehende Herausforderung, zu viel zu behaupten.

Es gibt Beweiszahlen in der Demo, und sie bedeuten enge Dinge. 8 von 8 Offline-Unit-Tests bestehen, einschließlich des einen, der beweist, dass kein erfundenes Zitat das Gate freigeben kann, und des einen, der beweist, dass eine unerreichbare Autorität als unbewiesen statt als erfunden behandelt wird. Es gibt 20 echte Fälle, gecacht von CourtListener als lokale Ground Truth. Die beschreiben den Umfang der gebauten Demo. Sie sind kein Anspruch über Ihren Schriftsatz oder die offene Welt. Die Fabrikationsgarantie ist maßgeblich, weil sie Live-Rechtsprechung abfragt und ein fehlender Fall eine Tatsache ist. Die Stützungsprüfungs-Entscheidung ist im kleinen Maßstab an echten Fällen demonstriert, und ich werde sie nicht zu einer universellen Genauigkeitszahl aufblasen, weil sie keine ist.

Hier ist die Linie, die ich mich weigere zu verkürzen, auch wenn eine kürzere Version besser verkaufen würde. Ein Schriftsatz ohne erfundene Zitate ist nicht automatisch sicher zum Einreichen. Wenn auch nur ein echtes Zitat noch einen Menschen braucht, um zu bestätigen, dass es korrekt verwendet wird, hält das Gate die Einreichung bei Nicht einreichungsbereit, und das ist richtig so. Ich habe zugesehen, wie Leute das Gegenteil wollen – wollen, dass ein sauber aussehender Schriftsatz von selbst Grünlicht verdient. Das ist genau der Impuls, der einen Anwalt sanktionieren lässt.

Dieses Zertifikat bedeutet mir mehr als jede Genauigkeitsprozentzahl, und deshalb müssen die deterministischen und nicht-deterministischen Teile getrennt bleiben. Reproduzierbarkeit macht eine Entscheidung zertifizierbar. Ich kann Ihnen die Quittung geben. Dieses Zitat wurde gegen CourtListener geprüft, der Band existiert nicht, Urteil erfunden, Gate hält. Sie können es erneut laufen lassen und das identische Ergebnis bekommen. Ein LLM-Richter – auch ein guter – kann Ihnen das nicht versprechen, und ich habe den Abend mit drei Läufen und drei verschiedenen Antworten erlebt. Ich baue keinen Compliance-Nachweis auf einem Münzwurf.

Ich sage auch klar, weil der Standard, den ich halte, es verlangt: Dies ist eine Verifizierungsschicht und kein Recherche-Tool. Es entwirft keine Schriftsätze und findet keine Fälle. Es konkurriert nicht mit Harvey oder Westlaw oder Lexis. Es sitzt um das herum, was sie produzieren, und sagt dem Anwalt, was sicher zum Einreichen ist und genau was einen Menschen braucht. Die Volltext-Verankerung jenseits des öffentlichen Urteilsausschnitts braucht einen kostenlosen CourtListener-Token, der Dokumentenmanagement-Konnektor in der Demo ist ein Mock, und ein paar Features wie ein PDF-Zertifikat sind zurückgestellt. Was real ist, ist der Mechanismus: die Prüfungen, die Enthaltung, das deterministische Gate und die Audit-Spur – alles gegen echte Rechtsprechung.

Ist Enthaltung nicht nur das Modell, das der harten Entscheidung ausweicht?

Ich bekomme irgendeine Version dieser Frage in fast jedem Gespräch, meist von einem Ingenieur, und meine Antwort ist mit der Zeit kürzer und sicherer geworden.

Nein. Enthaltung ist die harte Entscheidung, ehrlich getroffen – und sie zu verweigern ist der eigentliche Ausweichzug. Die verführerische Alternative ist ein System, das bei jedem Zitat immer ein knackiges Urteil zurückgibt, grün oder rot. Es demonstriert sich wunderbar. Es lügt auch, weil manche Zitate aus dem verfügbaren Text echt nicht mit Sicherheit beurteilt werden können, und ein System, das das nie sagt, fabriziert Gewissheit, die es nicht hat. Das Wertvollste, was eine KI mit hohen Einsätzen tun kann, ist Ihnen zu sagen, wo ihr eigenes Urteil endet. In einem Bereich, in dem selbstsicher falsch zu liegen Ihren Mandanten sanktionieren lässt, ist ein kalibriertes „Ich bin mir nicht sicher, ein Mensch muss sich das ansehen“ mehr wert als eine flüssige Vermutung.

Deshalb denke ich, dass die Arbeit die aktuelle Modellgeneration überdauert. Die Branche verspricht das Halluzinationsproblem immer wieder mit dem nächsten Modell weg. Räumen Sie all das ein: größeren Kontext, saubereres Training, eine niedrigere Fabrikationsrate. Ein perfektes Modell, das nie einen Fall erfindet, wird trotzdem fröhlich einen echten für eine These zitieren, die er nicht stützt – weil dieser Satz von innen im Entwurf als wahr und genau das liest, worum Sie gebeten haben. Die Lücke zwischen „dieser Fall existiert“ und „dieser Fall stützt meine Behauptung“ ist keine Lücke, die Skalierung schließt. Es ist eine Governance-Frage, und Governance ist eine Eigenschaft des Systems, das Sie um das Modell herum bauen – keine Fähigkeit, auf die Sie warten, bis das Modell sie entwickelt.

Ein Gericht kümmert sich nicht darum, wie selbstsicher Ihr Modell war. Es kümmert sich darum, ob das Zitat existiert und sagt, was Sie behauptet haben. Das ist kein Problem des größeren Modells. Es ist ein Problem der richtigen Schicht.

Die Regulierer sehen es bereits so – und darauf lohnt es sich, sich einzulassen. ABA Formal Opinion 512 und mehr als 300 gerichtliche Standing Orders verlangen jetzt, dass Anwälte KI-Ausgaben vor der Einreichung verifizieren, und weniger als 20 Prozent der Kanzleien haben überhaupt eine KI-Nutzungsrichtlinie. Die Pflicht lautet nicht „nutzen Sie ein schlaueres Tool“. Die Pflicht lautet „beweisen Sie, dass Sie geprüft haben“. Beweis, Provenienz und ehrliche Enthaltung sind nichts, was ein besserer Verfasser Ihnen gibt. Es sind Dinge, die eine Verifizierungsschicht Ihnen gibt, und sie halten bei jeder Modellqualität – genau deshalb denke ich, dass sie der dauerhafte Teil sind.

Die Frage, die ich mir stelle, bevor ich einreiche

Ich merkte, dass das, was dieser Aufbau in mir verändert hat, kleiner war als die These – und länger gehalten hat.

Ich hörte auf zu fragen, ob eine KI-geschriebene Behauptung wahr ist, weil ich das oft beantworten kann und es sich als nicht genug herausstellt. Das Erie-Zitat zeigte, in einem engen Sinne, auf einen echten Fall. Die schwierigere Frage – die ich jetzt stelle, bevor irgendetwas KI-Entworfenes meine Hände verlässt – ist, ob ich jetzt beweisen kann, dass genau diese Quelle genau diese Behauptung stützt, und ob dieser Beweis jemanden überleben würde, der wollte, dass er vor einem Richter scheitert.

Das ist eine Governance-Frage, keine Modellfrage. Sie wird nicht leichter, wenn das Modell besser wird, weil das Gefragte nicht ist „kann das Modell einen besseren Satz schreiben“, sondern „können Sie hinter diesem stehen“. Und die nützlichste Antwort, die mir mein eigenes System je gibt, ist nicht der grüne Haken. Es ist der Moment, in dem es einen echten Fall bei Prüfung erforderlich hält und mich – einen Menschen – zwingt, das Urteil zu lesen. Wenn Sie sehen wollen, wo ich gelandet bin, ist es hier noch einmal: veriprajna.com/de/demos/zitatverifizierung-und-governance-fur-legal-ki.

Und wenn Sie lieber zuschauen, als mich es beschreiben zu hören: Hier läuft das Ganze von Ende zu Ende, in meiner Stimme.

Die Frage, die ich Ihnen mitgeben würde, ist die, die den ganzen Aufbau neu organisiert hat. Wenn die KI Ihnen etwas Selbstsicheres und Sauberes reicht – haben Sie eine Schicht, die bereit ist zu sagen „Ich bin mir nicht sicher, ein Mensch muss hinsehen“? Denn Selbstsicherheit ist billig, und in der Arbeit, die wirklich Risiko trägt, ist beweisbare Enthaltung das Produkt.