Meine Newsroom-KI erfand ein Zitat, das die Bürgermeisterin nie gesagt hat. Es vor den Lesern zu fangen ist das ganze Produkt.

Als ich zum ersten Mal zusah, wie mein eigener Answerer einer Bürgermeisterin Worte in den Mund legte, spürte ich diese besondere Kälte, die kommt, wenn man begreift, dass man genau das gebaut hat, wovor man sich gefürchtet hat.

Ich hatte ihm eine schlichte Leserfrage gestellt: Was hat Bürgermeisterin Reyes den Bauträgern zum Ufergrundstück zugesagt? Das Archiv, das es las — ein synthetischer 13-Jahres-Lauf einer fiktiven Zeitung, die ich The Riverbend Ledger nenne, verzeichnet kein solches Versprechen. Ein Artikel hält sogar fest, das Grundstück „stand nicht auf der Tagesordnung.“ Nichts davon stoppte das Sprachmodell. Es lieferte einen flüssigen, selbstsicheren Satz mit Anführungszeichen darin: „Wir setzen uns dafür ein, das Ufergrundstück für die Bauträger voranzubringen.“ Bürgermeisterin Elena Reyes, eine Person, die nicht existiert, war gerade dazu gebracht worden, etwas zu versprechen, das sie nie gesagt hatte, in Prosa, die sauber genug war, um unter einem Zeitungskopf zu erscheinen. Ich will zusehen, entscheiden und zurückhalten, was scheitert, unter veriprajna.com/de/demos/konversations-ki-fur-verlage-the-standards-desk.

Dies ist ein Essay über die Annahme, mit der ich begonnen habe, die die meisten Menschen, die gerade KI für Newsrooms bauen, immer noch teilen, und über den langsamen Weg, auf dem der Bau dieser Demo sie zerlegte. Die Annahme lautet, das Fabrikationsproblem werde durch ein besseres Modell gelöst. Das glaube ich nicht mehr — und nicht, weil ich bezweifle, dass die Modelle weiter besser werden.

Ich hatte ein echtes Versagen vor Augen, bevor ich anfing, und es war nicht synthetisch. Ende 2025 lieferte die Washington Post-Anwendung „Ask The Post AI“ einen KI-generierten Podcast aus, der Zitate erfand, Quellen falsch zuordnete und Kommentare als redaktionelle Haltung der Zeitung einfügte. Es kam so heraus, wie diese Dinge herauskommen, als der Slack des Standards-Redakteurs durchsickerte (Semafor, 11. Dez. 2025). Der technische Fehler unter der Blamage war klein und spezifisch: ein fehlender Schritt zur Quellenverifikation. Ich wollte keinen schlaueren Podcast-Host bauen. Ich wollte den fehlenden Schritt bauen.

Die Woche, in der ich versuchte, das Modell vom Lügen abzubringen

Ich habe etwa eine Woche damit verbracht, den Answerer selbst vertrauenswürdig zu machen, und ich will ehrlich sagen, dass es die falsche Woche war.

Die Begründung wirkte damals luftdicht. Wenn das Modell ein Zitat fabriziert, ziehe das Modell enger. Bessere Grounding-Prompts, eine niedrigere Temperature, strengere Anweisungen, nur abgerufene Passagen zu verwenden, ein Self-Check-Durchlauf, in dem das Modell die eigene Antwort noch einmal liest und bewertet, ob jeder Satz gestützt ist. Ich habe all das gebaut. Es half am Rand und scheiterte im Kern, denn das Versagen, das mir wichtig war, war nicht, dass das Modell nachlässig war. Es war, dass das Modell selbstsicher und flüssig genau in dem Register falsch lag, dem eine Schlussredaktion vertraut. Das Reyes-Zitat las sich nicht wie eine Halluzination. Es las sich wie Berichterstattung.

Der Self-Check-Durchlauf war der Moment, in dem der Ansatz für mich starb. Ich bat dasselbe Modell, das das fabrizierte Zitat geschrieben hatte, mir zu sagen, ob das fabrizierte Zitat echt sei — und in einem relevanten Anteil der Fälle sagte es ja, das stimmt. Natürlich tat es das. Es hatte in diesem Moment keinen unabhängigen Zugang zum Archivtext. Es hatte nur seine eigene Sicherheit, und genau die kann man nicht nutzen, um sich selbst zu prüfen.

Ich bat ein probabilistisches System, die Ausgabe eines probabilistischen Systems zu beglaubigen, und nannte das Ergebnis Verifikation. Das ist keine Verifikation. Das sind zwei Mutmaßungen, die übereinstimmen.

Und der Einsatz ist nicht akademisch, denn ein Verlag bekommt die übliche Notluke des Internets nicht. Es gibt keinen Section-230-Schutzschild für Inhalte, die Ihr eigenes System aus Ihrem eigenen Archiv erzeugt. In dem Moment, in dem Sie unter Ihrem Namen eine Leserfrage beantworten, gehören Ihnen die Antwort, das Zitat und alles Weitere. Ein Kläger wegen Verleumdung wird nicht fragen, wie sicher sich Ihr Modell war. Er wird fragen, ob das Zitat echt war und ob das Archiv es tatsächlich so sagte. Das sind zwei Fragen, und ich hatte sie als ein Problem behandelt, das das Modell lösen sollte.

Der kommerzielle Grund, warum das alles zählt, ist, dass Verlage hineingedrängt werden, ob sie wollen oder nicht. AI Overviews erscheinen inzwischen bei 48 % der Google-Suchen (theStacc / Search Engine Land, März 2026). Der Suchtraffic der Verlage fiel bis November 2025 um 33 % im Jahresvergleich, mit einem weiteren Rückgang von rund 43 % bis 2029 erwartet (Reuters Institute Trends 2026). Als ein AI Overview über dem Link auftauchte, sah die Daily Mail den Desktop-Klickdurchsatz um 89 % einbrechen. Der Traffic, der früher davon kam, dass Leser Ihr Archiv fanden, verschwindet, also ist der Druck enorm, Leser Ihr Archiv direkt fragen zu lassen. Die Falle ist: Das Erste, was ehrlich passiert, wenn man das tut, ist das Reyes-Zitat.

Die Antwort, die ein schlichtes Widget nicht schreiben kann

Ich will der Ambition zuerst gerecht werden, denn der Grund, warum ein Newsroom das überhaupt will, ist real — und eine Suchbox kann das nicht.

Fragen Sie The Standards Desk die harte, längsschnittliche Version einer Leserfrage, Wie hat sich die Haltung von Bürgermeisterin Reyes zur Innenstadt-Dichteverordnung von 2014 bis 2025 verändert?, und ein Temporal-Planner zerlegt zuerst das Jahrzehnt in Fenster (2014–2017, 2018–2021, 2022–2025), ruft über jedes ab und baut eine chronologische Erzählung zusammen. Er geht von 2014, „Ich werde den Charakter von Riverbend nicht für Hochhäuser eintauschen,“ bis 2025, „Ich würde es wieder tun,“ mit einem Inline-[S#]-Marker an jedem Satzteil, der zur echten Archivpassage dahinter hovert. Das ist die Antwort, die ein gewöhnliches Vektor-RAG-Widget nicht liefern kann, denn es ist kein einzelner Lookup. Es ist eine geplante Synthese über die Zeit, Satz für Satz geerdet.

Dieses grüne Banner ist der verführerische Teil, und genau dort habe ich das zweite Mal beinahe den Faden verloren. Wenn die Pipeline funktioniert, funktioniert sie wunderschön, und eine schöne Demo lässt einen dem Motor vertrauen wollen, der sie erzeugt hat. Aber das grüne Banner ist nicht das Produkt. Das, was entscheidet, ob ein Banner grün sein darf, ist das Produkt. Die längsschnittliche Antwort wird freigegeben, weil jede Behauptung geerdet und jedes Zitat wörtlich geprüft wurde. Die Ufer-Antwort, Minuten zuvor vom selben Motor geschrieben, nicht. Der Unterschied zwischen beiden ist nicht Modellqualität. Es ist ein Gate.

Das Zitat, das Bürgermeisterin Reyes nie gegeben hat

Ich komme immer wieder auf die Ufer-Antwort zurück, weil genau sie mir beigebracht hat, was ich tatsächlich baute.

Hier ist, was das Gate damit macht — und nichts davon ist das Modell, das sich selbst benotet. Die Antwort wird in atomare Behauptungen zerlegt. Jede Behauptung wird gegen eine konkrete abgerufene Passage geerdet. Jede zitierte Zeichenkette wird Zeichen für Zeichen gegen den Quelltext geprüft, den sie anführt. Bei der Ufer-Antwort kam die Abdeckung mit 50 % zurück, eine von zwei Behauptungen gestützt, und die zitierte Spanne, jener Satz vom Vorantreiben des Grundstücks, fand sich in keiner angeführten Quelle wörtlich wieder. Ein deterministisches Policy-Gate las diese Fakten und leitete die gesamte Antwort an HELD FOR STANDARDS-DESK REVIEW. Sie wurde nie einem Leser gezeigt.

Die Banner-Sprache bedeutet mir mehr, als sie wahrscheinlich sollte. Sie sagt nicht „geringe Sicherheit“ oder „bitte prüfen.“ Sie sagt zurückgehalten und Lesern nicht gezeigt, und sie meint es ernst, denn das Leser-Widget erhält den zurückgehaltenen Entwurf buchstäblich nie. Das ist der ganze Unterschied zwischen der Reyes-Fabrikation und jener von Ask The Post AI. Die Engine der Post erzeugte ein falsches Zitat, und ein Leser hörte es. Meine erzeugte ein ebenso falsches Zitat, und ein Leser wird es nie hören, weil Fabrikation und Veröffentlichung zwei getrennte Ereignisse sind und ich eine Wand dazwischen gesetzt habe.

Der Answerer konfabulierte genau so, wie es ein ungeschütztes Widget tun würde. Das Einzige, was den Ausgang änderte, war eine Prüfung, die dem Answerer nicht vertraut.

Ich hörte etwa dann auf zu versuchen, das Modell am Konfabulieren zu hindern. Es kann, es hat, es wird. Der Wert lag nie in einem Modell, das nie lügt. Er lag darin, die Lüge zu fangen, bevor ein Leser sie sieht. Das ist ein kleinerer, ehrlicherer Anspruch als „unsere KI halluziniert nicht“, und es ist der einzige, hinter dem ich stehe, denn ich habe in derselben Sitzung zugesehen, wie das Modell scheiterte und wie das Gate hielt.

Warum Veröffentlichungssicherheit nicht im Modell leben kann

Ich habe früh eine architektonische Entscheidung getroffen, und sie ist die, die ich am härtesten verteidigen würde: Der Teil, der entscheidet, was sicher zu veröffentlichen ist, lebt vollständig außerhalb der Sprachmodelle.

In der Pipeline gibt es drei Agents, und sie sind echt nützlich. Ein Temporal-Planner, ein Answerer, ein Provenienz-Auditor, austauschbar nach Provider und standardmäßig auf claude-opus-4-8. Sie beraten. Aber die wörtliche Zitatregel — ein exakter String-Match jeder zitierten Spanne gegen ihre angeführte Quelle — und das Policy-Gate, das die Abdeckung liest und die Antwort routet, sind schlichtes Python. Kein Prompt, keine Temperature, kein Modell-Selbstbericht. Ich sage es mir beim Bauen ständig: Agents beraten, Code entscheidet. Wenn der Grund, warum Sie eine Prüfung brauchen, darin liegt, dass der Modellausgabe nicht zum Nennwert zu trauen ist, darf die Prüfung nicht eine weitere Sache sein, die das Modell über sich selbst sagt.

Deshalb ist die wörtliche Regel absichtlich deterministisch. „Ist diese exakt zitierte Zeichenkette in der Passage erschienen, die sie anführt?“ ist kein Ermessensspielraum. Es ist Arithmetik gegen den Quelltext, und sie liefert jedes Mal dasselbe Urteil. Diese Reproduzierbarkeit macht die Audit-Quittung überhaupt etwas wert. Ein Klick exportiert eine JSON-Quittung pro Antwort: die Anfrage, die zerlegten Teilfragen, die abgerufenen Quellen mit Daten und IDs, die veröffentlichte Antwort, ein Urteil pro Behauptung mit der Evidenzpassage, ein wörtliches Ergebnis pro Zitat, die Gate-Entscheidung und ihren Grund, die Engine und das Modell sowie einen UTC-Zeitstempel. Sie können es erneut ausführen und dieselbe Quittung erhalten. Ein modellbasierter Richter, so gut er auch sei, kann Ihnen das nicht versprechen — und ich habe die Version durchlebt, in der derselbe Input mir drei verschiedene Antworten gab.

Ich will präzise sein, was hier real ist und was gestellt, denn die Ehrlichkeit ist die Marke. Das Ganze läuft offline über einen deterministischen Stub oder eine schlüssellose lokale Claude-Bridge, sodass die Demo reproduzierbar ist. Einige harte Teile sind bewusst zurückgestellt, und ich werde nichts anderes vortäuschen: Die Produktions-Entity-Resolution ist eine vorab aufgelöste Fixture, der temporale Wissensgraph wird über Datums- und Entity-Tags plus den Planner demonstriert statt über ein Live-Neo4j, die CMS-Sync ist eine Arc-XP-Fixture, und der Kill-Switch hinterlegt ein lokales Flag. Was real ist, ist der Mechanismus: das Grounding, die wörtliche Prüfung, das deterministische Gate und die Quittung.

Was „10 von 10“ bedeuten darf

Ich halte mich bei Zahlen an eine Regel, denn ich habe die Firma Veriprajna genannt, wahre Weisheit, und ein Name wie dieser ist eine stehende Herausforderung zum Überversprechen.

Also hier ist genau, was der Benchmark sagt und genau, was er nicht sagt. Über ein gelabeltes Eval-Set mit 10 Anfragen landet jede Anfrage in ihrem erwarteten Gate-Bucket, 10 von 10. Sechs dieser zehn wurden ohne menschlichen Eingriff veröffentlicht: drei sauber auto-freigegeben, drei veröffentlicht, nachdem ein ungestützter Satz gekürzt und der Rest freigegeben wurde. Zwei wurden zur Standards-Desk-Prüfung geleitet — die beiden Zitatfallen, das Sicherheitsventil sichtbar in Aktion. Zwei waren ehrliche „außerhalb der Abdeckung“-Enthaltungen, bei denen der Abruf nichts über dem Score-Floor freigab und das System lieber ablehnte zu raten, als eine Zahl zu konfabulieren. Dreizehn Unit-Tests bestehen. Der Korpus umfasst 200 synthetische Artikel von 2014 bis 2025.

Das sind die Zahlen der gebauten Demo auf zehn echt schweren, gepflanzten Fällen über vier Buckets. Sie sind keine Open-World-Genauigkeitsgarantie, und ich werde sie nicht zu einer aufblasen. Der 60/20/20-Split ist das Ergebnis dieses Eval-Sets, kein Versprechen über Ihr Archiv. Der eine Anspruch, den ich klar ausspreche, ist der deterministische, denn er ist eine unit-getestete Invariante statt einer Hoffnung: keine Antwort mit einem unverifizierbaren Zitat oder einer ungestützten Behauptung wird jemals auto-freigegeben. Gegen eine ungeschützte Vanilla-Vektor-RAG-Baseline — die Art SaaS-Chat-Widget, die ein Verlag tatsächlich kaufen würde — gab es fünf Antworten, die sie mit einer fabrizierten Spanne oder einer ungestützten Behauptung veröffentlicht hätte und die dieses Gate zurückhielt. Fünf ist eine kleine Zahl. Fünf falsche Zitate unter Ihrem Zeitungskopf sind es nicht.

Eine selbstsichere Antwort ist billig. Eine beweisbare, mit einer Quittung, die Sie erneut ausführen und einem Anwalt übergeben können, ist das gesamte Ding, für das Sie tatsächlich zahlen.

Ist Zurückhalten nicht nur die Maschine, die der harten Entscheidung ausweicht?

Diese Frage bekomme ich in fast jedem Gespräch in irgendeiner Form, und meine Antwort ist kürzer und sicherer geworden.

Nein. Die Antwort zurückzuhalten ist die harte Entscheidung, ehrlich getroffen — und eine selbstsichere Mutmaßung auszuliefern ist das Ausweichen. Die verführerische Alternative ist ein Widget, das auf jede Leserfrage immer eine knackige, veröffentlichungsfähige Antwort liefert, weil das wunderschön demot und einem Standards-Redakteur nie den Tag schwerer macht. Es ist auch die Architektur von Ask The Post AI, und sie scheitert genau so, wie jene scheiterte. Ein System, das nicht sagen kann „Ich kann das nicht verifizieren, zurückhalten“ ist ein System, das Sicherheit fabriziert, die es nicht hat. Und ein Newsroom weiß von allen Institutionen am besten, dass die Bereitschaft, etwas nicht zu bringen, der gesamte Job eines Standards Desk ist.

Deshalb glaube ich, dass diese Arbeit die aktuelle Modellgeneration überlebt. Geben Sie den Optimisten alles, was sie versprechen: ein größeres Modell, saubereres Training, eine niedrigere Fabrikationsrate. Ein perfektes Modell, das nie ein Zitat erfindet, wird ein echtes trotzdem fröhlich der falschen Person oder dem falschen Jahr zuschreiben, denn von innen im Entwurf liest sich dieser Satz als wahr und genau als das, was gefragt war. „Sicher unter Ihrem Zeitungskopf zu veröffentlichen“ ist keine Fähigkeit, auf die Sie warten, bis das Modell hineinwächst. Es ist eine Governance-Eigenschaft des Systems, das Sie darum herum bauen, und es gibt keinen Section-230-Schutzschild, der Ihnen den Tag zurückgibt, an dem Sie das Reyes-Zitat veröffentlichen. Die unbequeme Folgerung, bei der ich immer lande, ist: Die wertvollste KI, die ein Newsroom betreiben kann, ist der Teil, der bereit ist zu sagen Ich kann das nicht verifizieren, für den Standards Desk zurückhalten. Wenn Sie zusehen wollen, wie sie entscheidet, die Fabrikation zurückhält und die Quittung exportiert, ist sie hier: veriprajna.com/de/demos/konversations-ki-fur-verlage-the-standards-desk.

Und wenn Sie lieber zusehen wollen, als mich es beschreiben zu hören, hier läuft das Ganze end-to-end.

Die Frage, die ich einem Verlag mitgeben würde, ist die, die meinen gesamten Build neu geordnet hat. Wenn Ihr Archiv unter Ihrem Namen einem Leser antwortet und die Antwort flüssig und sauber ist und jemanden zitiert — haben Sie eine Schicht, die bereit ist zu beweisen, dass das Zitat echt war, bevor der Leser es je sieht? Denn das Modell wird immer sicher klingen. Die Quittung ist das Einzige, das es ist.