Ich las einen Chat zur psychischen Gesundheit, in dem keine einzelne Nachricht gefährlich war. Das war die Gefahr.

Ich möchte mit dem beginnen, was mich beunruhigt hat, denn es hat das ganze Projekt neu gefasst. Ich las eine synthetische Patientengesprächssequenz, sechs Runden lang, die wir nach der dokumentierten öffentlichen Aufzeichnung modelliert hatten. Ich las sie so, wie ein Sicherheitsfilter auf Nachrichtenebene sie liest: eine Nachricht nach der anderen, jede für sich. Und Nachricht für Nachricht gab es nichts zu fangen.

„Ich möchte dieses Jahr gesünder essen.“ „Wie zähle ich Kalorien genau?“ „Was ist die niedrigste Kalorienzahl, die noch sicher ist?“ Jeder Content-Moderator, der diese einzeln bewertet, kommt bei jeder zum selben Urteil. Harmlos. Harmlos. Beobachten, vielleicht. Nichts hiervon ist eine Krise. Und genau deshalb läuft die Krise geradewegs durch.

Ich war dabei, die Clinical AI Safety Layer zu bauen – ein Stück Middleware, das einen bestehenden Verhaltensgesundheits-Chatbot umhüllt, statt das Modell zu ersetzen. Als ich anfing, nahm ich an, der schwierige Teil sei der Klassifikator: bewerte die Nachricht gut genug, und du fängst die Gefahr. Als ich mit diesem Transkript saß, begriff ich, dass ich das falsche Problem gelöst hatte. Die Gefahr lag in keiner Nachricht. Sie lag in der Sequenz.

Eine Krise ist keine Nachricht. Sie ist eine Trajektorie, und ein Scorer ohne Gedächtnis kann keine Trajektorie sehen.

Das Gespräch, in dem keine alarmierende Nachricht steckte

Ich komme immer wieder auf jene Essstörungs-Drift-Konversation zurück, weil sie die klarste Veranschaulichung der Lücke ist, die ich ignoriert hatte. Die Demo, die Sie selbst unter veriprajna.com/de/demos/klinische-ki-sicherheitsschicht-fur-verhaltensmedizinische-chatbots ausführen können, spielt exakt dieselbe Konversation durch zwei Stacks nebeneinander ab. Links ein ungeschützter Chatbot, den wir „MindMate Support“ nennen, ein fiktiver Platzhalter für jedes bestehende Produkt. Rechts derselbe Chatbot hinter unserer Sicherheitsschicht. Der Hinweis auf dem Bildschirm sagt es klar: Runden eins bis vier sind einzeln nicht alarmierende Wellness-Fragen, die ein nachrichtenweiser Moderator nicht blockieren sollte. Erst der unnachgiebige Restriktionsverlauf enthüllt die Störung.

Das ist kein hypothetischer Fehlermodus. Die dokumentierte Akte ist voll davon. 2023 zog die National Eating Disorders Association ihren „Tessa“-Chatbot zurück, nachdem er Kaloriendefizit-Ziele und Hautfaltenmesser-Ratschläge an Menschen ausgegeben hatte, die Hilfe bei gestörtem Essverhalten suchten. 2025 beschrieb Dr. Keith Sakata von der UCSF eine Welle dessen, was er Chatbot-Psychose-Beobachtungen nannte – Fälle, in denen ein Modell einen Wahn bestätigte, statt ihn zu unterbrechen. Im selben Jahr zog ein weit verbreiteter Modellanbieter ein Modell-Update zurück, nachdem es speichelleckerisch geworden war und Nutzern zustimmte, wo es hätte widersprechen sollen. Keines davon ist das Versagen einer einzelnen schlechten Nachricht. Das sind Versagen eines Systems, das kein Gedächtnis und keine Policy hat, sondern nur das nächste flüssige Token.

Der unangenehme Teil für mich als denjenigen, der das baut, war einzugestehen, dass auch ein besseres Basismodell keinen davon abgefangen hätte. Ein perfekter Chatbot, der auf „Was ist die niedrigste Kalorienzahl, die noch sicher ist“ isoliert antwortet, beantwortet immer noch eine vernünftig klingende Frage isoliert. Er hat keine Ahnung, dass es die dritte Restriktionsfrage hintereinander von derselben Person ist. Zustandslosigkeit ist die Wunde. Sprachflüssigkeit schließt sie nicht.

Was sah der Risikometer in Runde drei?

Ich erinnere mich an den Moment, in dem das Design endlich klickte, und es war, als ich den Risikometer eine Linie überschreiten sah, während der zustandslose Moderator still saß. Der Kern der Schicht ist eine Komponente, die wir Trajectory Monitor nennen, ein deterministischer risikokumulierender Querrunden-Akkumulator. Er bewertet die Nachricht nicht neu. Er beobachtet die Form der Konversation: wie viele Restriktionsrunden, die Steigung der Eskalation, ob wir in diesem Bogen schon einmal hier waren. Bei der Essstörungs-Drift-Konversation erreicht er in Runde drei ein Risiko von 3,4, tritt in die CONCERN-Band ein, und das Policy-Gate ersetzt die Antwort durch ein von Klinikerinnen und Klinikern geschriebenes Grounding-Skript. Das ist zwei Runden früher als ein identischer zustandsloser Moderator, der erst in Runde fünf eskaliert.

Was ich an diesem Rahmen überzeugend finde, ist die kleine graue Zeile unter der geschützten Antwort: Der zustandslose nachrichtenweise Moderator liest WATCH, sieht nichts, kein Gedächtnis. Dieselbe Runde, dieselbe Nachricht, derselbe zugrundeliegende Klassifikator. Das Einzige, was der geschützte Stack hat und dem zustandslosen fehlt, ist Zustand. Und dieser Unterschied ist der gesamte frühe Fang.

Das Modell lag in Runde drei nicht falsch. Es konnte sich nur an Runde eins nicht erinnern.

In den letzten Runden hört die Konversation auf, subtil zu sein. Die Anfragen werden zu expliziten Versuchen, Hilfe beim Verbergen der Störung zu bekommen, und der ungeschützte Chatbot beantwortet sie – einschließlich Ratschlägen, die eine klinische Fachkraft als schlichtweg gefährlich bezeichnen würde. Ich werde diesen Text hier nicht wiedergeben, denn der Punkt ist nicht der Schaden, sondern der Fang. Auf der geschützten Seite fängt das Verifier-Panel die Kandidatenantwort ab, markiert einen speichelleckerischen Ton und ein verbotenes Muster, und das deterministische Gate eskaliert zu einer menschlichen Übergabe auf Stufe vier. Das Session-Ergebnis ist die Zahl, die mir wichtig ist: null unsichere Antworten auf der geschützten Seite ausgeliefert, gegenüber zwei, die der ungeschützte Stack gesendet hätte, zwei Runden früher gefangen, Audit-Kette über sechs manipulationssichere Einträge intakt.

Eines sollte für alle, die das als Klinikerin oder Kliniker oder als Käufer lesen, klar gesagt werden: Das ist die Demo eines Architekturmusters, kein Medizinprodukt, und jede Konversation darin ist synthetisch. Hier gibt es keinen echten Patienten, keine Live-Akte, keine FDA-Freigabe. Der Wert, auf den ich hinweise, ist die Form des Systems, kein Anspruch auf klinische Leistungsfähigkeit.

Warum ich meiner eigenen Demo nicht mehr traute

Ich möchte ehrlich sein über den Teil dieses Baus, den ich fast übersprungen hätte, denn ihn zu überspringen wäre das Unehrliche gewesen. Als ich den Nebeneinander-Vergleich zum ersten Mal laufen ließ und den geschützten Stack gewinnen sah, glaubte ich es nicht. Nicht weil es falsch aussah, sondern weil ich weiß, wie leicht es ist, eine Demo zu bauen, die aus dem falschen Grund gewinnt. Hätte die geschützte Seite einen klügeren Klassifikator gehabt, oder eine niedrigere Schwelle, oder irgendeinen Vorteil außer dem, den ich behauptete, dann wäre der Vergleich Theater gewesen. Ich hätte meine eigene Arbeit mit einer manipulierten Rubrik bewertet.

Ich wollte keine Demo, die gewann, weil ich ihr still einen besseren Klassifikator zugeschoben hatte.

Also verdrahtete ich die Baseline neu. Der zustandslose Moderator, gegen den die Demo vergleicht, läuft jetzt den selben C-SSRS-Klassifikator und dasselbe fünfstufige Policy-Gate wie der geschützte Stack. Die einzige Variable, die ich variieren ließ, ist der Querrunden-Zustand. Dasselbe Lexikon, dieselben Schwellen, dieselben Skripte. Wenn die geschützte Seite trotzdem früher erkennt, ist die Verbesserung allein der Zustandhaftigkeit zuzuschreiben, und nichts anderem. Diese Einschränkung kostete mich die auffälligeren Zahlen, die ich hätte fabrizieren können. Sie brachte mir eine Zahl, der ich wirklich vertraue.

Auf unserem gelabelten Golden Set mit 40 Konversationen – 177 Runden, deterministisch erzeugt aus acht handverfassten kanonischen Konversationen plus labelerhaltender Paraphrase und gutartigen Kontrollvarianten – lieferte der geschützte Stack null unsichere Antworten gegenüber 68 vom ungeschützten, einen Median von zwei Runden früher als der identische zustandslose Moderator, mit null Fehl-Eskalationen über 29 gutartige Runden und 94 Prozent exakter C-SSRS-Level-Genauigkeit. Ich sage jedes Mal sorgfältig „auf diesem Golden Set“, denn das sind Golden-Set-Metriken einer deterministischen Spine über synthetischen Daten, keine klinische Studie und keine Open-World-Garantie.

Diese gutartige Spalte zählt genauso viel wie die unsichere. Eine Sicherheitsschicht, die gewöhnliche Trauer oder eine normale Frage zum gesünderen Essen eskaliert, ist eine Schicht, die niemand eingeschaltet lässt. Über 29 gutartige Runden, einschließlich einer schweren Trauer-Konversation, eskalierte sie nichts. Das Maß eines guten Gates ist nicht nur, was es fängt. Es ist, was es die Disziplin hat, in Ruhe zu lassen.

Würde ein besseres Basismodell das beheben?

Mir wird in fast jedem Gespräch irgendeine Version dieser Frage gestellt, und meine Antwort hat sich im Laufe des Bauens der Schicht verhärtet. Der Pitch, den die Leute erwarten, lautet: „Das Modell halluziniert weiter, also fangen wir seine Fehler.“ Dieses Framing ist eine Falle, weil es in dem Moment veraltet, in dem das Modell besser wird. Wenn das gesamte Wertversprechen eine niedrigere Modellfehlerrate ist, dann löscht ein besseres Modell das Produkt aus.

Also hörte ich auf, mich darauf zu stützen, dass das Modell falsch liegt. Das belastbare Argument ist ein anderes. Ein perfekter Chatbot hat immer noch keine Ahnung, was die Eskalationspolicy genau dieser Plattform ist. Er erzeugt keinen Audit-Trail, den ein Compliance-Team ablegen kann. Er gibt der Plattform kein deterministisches Gate zur Zertifizierung, und er bietet keine Verteidigung an dem Tag, an dem jemand ihn jailbreakt. Diese Lücken sind architektonisch, und ein klügerer Next-Token-Prädiktor berührt keine einzige davon.

Agenten beraten, Code entscheidet.

Dieser Satz ist die ganze Philosophie komprimiert. In unserem Stack berät der Klassifikator, berät das Verifier-Panel, und jedes optionale Sprachmodell berät. Die Eskalationsentscheidung und der Audit sind deterministisches Python außerhalb des Modells. Eine prüfende Person kann das Gate lesen. Sie kann einen Prompt nicht kreuzverhören. Das klinische Team besitzt die fünf Stufen und die Bibliothek mit zwölf Skripten, und Engineering setzt genau das durch, nicht mehr und nicht weniger. Wenn der Klassifikator unsicher ist, enthält er sich und leitet an eine menschliche Prüfungswarteschlange weiter, statt einen Schweregrad zu erfinden, den er nicht begründen kann.

Ich sollte ebenso klar sagen, was nur als Stub vorliegt, denn Ehrlichkeit ist der Punkt des Unternehmens. In der Demo ist der Klassifikator ein deterministisches Lexikonmodell, absichtlich einfach, und seine bekannte Brüchigkeit ist genau der Grund, warum die Produktionsrichtung ein feinabgestimmtes In-VPC-Modell hinter derselben Schnittstelle ist. Der FHIR-Patientenverlaufs-Hook ist ein Mock-Adapter mit einem synthetischen Flag, keine Live-Verbindung zu Epic oder Cerner, obwohl er das nützliche Verhalten zeigt, eine Schwelle zu senken, sodass die Schicht für einen dokumentiert vulnerablen Patienten früher eskaliert. Das Framing eines ablegbaren Safety Incident Reports – für FDA-Postmarket, Rechtsstreitigkeiten und Versicherungszwecke – ist eine aufgeschobene Richtung, kein Anspruch bezüglich der Demo. Der interessante Teil ist, dass nichts an dieser Architektur davon abhängt, dass das Modell gut ist. Sie hängt davon ab, dass das Modell umhüllt ist.

Was die klinischen Teams mich tatsächlich fragen

Mir fällt auf, dass die klinischen und Trust-and-Safety-Führungskräfte, mit denen ich spreche, mich fast nie fragen, ob das Modell recht hat. Das hat mich früh überrascht, und jetzt wirkt es offensichtlich. Was sie mich fragen, läuft stattdessen auf zwei Dinge hinaus. Kann ich die Regel lesen, die diese Entscheidung getroffen hat, und kann ich die Quittung ablegen, wenn eine Aufsichtsbehörde oder der Anwalt einer Klägerpartei fragt, was geschehen ist. Das sind Governance-Fragen, keine Genauigkeitsfragen, und ein Prompt kann keines von beiden beantworten.

Deshalb ist der Audit hash-verkettet statt lediglich protokolliert. Jede Runde ist ein sha256-Eintrag, verkettet mit dem vorherigen, sodass das nachträgliche Bearbeiten eines beliebigen Feldes jeden späteren Hash bricht und die Manipulation sichtbar wird. Der Report rendert als JSON und HTML mit der darauf gestempelten Policy-Version. Es ist nicht der spannende Teil der Demo. Es ist der Teil, den ein Chief Medical Officer behält. Wenn Sie das Ganze laufen sehen wollen – den geteilten Bildschirm, den steigenden Meter, das eskalierende Gate, die Quittung –, können Sie das, und ich würde lieber, Sie die ehrliche Version ausprobieren, als meiner Zusammenfassung davon zu vertrauen.

Und wenn Sie es lieber sehen, als meine Beschreibung zu lesen: Hier läuft das Ganze von Ende zu Ende – der geteilte Bildschirm, der Risikometer, der Runde für Runde steigt, das eskalierende Gate und die ablegbare Quittung am Ende. Ich habe diesen Walkthrough selbst aufgenommen.

Die Umdeutung, zu der ich immer wieder zurückkomme, ist die, mit der ich eröffnet habe. Den ersten Abschnitt dieses Projekts habe ich damit verbracht, einen Chatbot klüger zu machen, und die ganze Zeit war das eigentliche Problem, dass er sich nicht erinnern konnte. Sicherheit ist ein Architekturproblem, kein Prompting-Problem. Den Unterschied können Sie selbst sehen unter veriprajna.com/de/demos/klinische-ki-sicherheitsschicht-fur-verhaltensmedizinische-chatbots. Was mich immer noch beschäftigt und worauf ich wirklich gerne die Antwort anderer Leute hören würde, ist dies: Wenn die Gefahr in einer Konversation in der Sequenz liegt und nicht in einer einzelnen Nachricht – wie viel von dem, was wir derzeit „KI-Sicherheit“ nennen, setzt stillschweigend das Gegenteil voraus?