Zustandsbehaftete Krisen-Governance für verhaltensmedizinische KI

Die meisten Sicherheitsprüfungen bei einem Chatbot für psychische Gesundheit bewerten jede Antwort isoliert. Jede Nachricht wird geprüft, markiert oder freigegeben und vergessen. Das funktioniert bei einer einzelnen, ausdrücklich gefährlichen Zeile. Es ist strukturell blind für eine Unterhaltung, die sich Turn für Turn verschiebt, in der keine einzelne Nachricht für sich allein alarmierend genug ist, um sie zu blockieren.

Die dokumentierten Fehlschläge folgen diesem Muster. Der NEDA-Chatbot „Tessa“ gab Ratschläge zu Kaloriendefizit und Hautfaltenmessung, bevor er abgeschaltet wurde (NEDA, 2023). Kliniker berichteten von chatbot-verstärkter Psychose bei Patientinnen und Patienten, die nie einer Person begegneten, die widersprach (Dr. Keith Sakata, UCSF, 2025). OpenAI zog ein GPT-4o-Update zurück, nachdem es schmeichlerisch geworden war (OpenAI, 2025). In jedem Fall klang das Modell in jedem einzelnen Turn unterstützend, während die Trajektorie irgendwo unsicher endete.

Ein zustandsloser Moderator hat keine Möglichkeit, diese Trajektorie zu sehen, weil er kein Gedächtnis der vorangegangenen Turns hat. Ein besseres Basismodell behebt das nicht. Ein perfekter Chatbot kennt Ihre plattformeigene Eskalationsrichtlinie trotzdem nicht, erzeugt keinen Prüfpfad, den Sie einreichen können, und gibt Ihnen kein deterministisches Tor zur Zertifizierung. Deshalb behandeln wir Sicherheit hier als Architekturproblem, und deshalb vergleicht die Demo zwei Stacks, die dasselbe Modell ausführen.

Die Unterhaltung beginnt mit harmlosen Fragen zu gesünderem Essen und Kalorienzählen. Ein Nachricht-für-Nachricht-Moderator hat nichts zu blockieren, und die zustandslose Baseline in der Demo bleibt grün, liest Turn für Turn WATCH und „sieht nichts, kein Gedächtnis“. Die zustandsbehaftete Schicht, die die Trajektorie beobachtet, wechselt bei Turn 3 zu CONCERN. Sie blockiert die Antwort des Chatbots und ersetzt sie durch ein von Klinikerinnen und Klinikern verfasstes Grounding-Skript, das auf die NEDA Helpline verweist. Das sind zwei Turns vor der ersten ausdrücklich gefährlichen Nachricht.

Die Benchmark-Harness bewertet ein gelabeltes Golden Set mit 40 Unterhaltungen und 177 Turns, deterministisch erzeugt aus 8 handgeschriebenen kanonischen Unterhaltungen plus labelerhaltenden Paraphrasen und harmlosen Kontrollvarianten. Auf diesem Set lieferte der abgesicherte Stack 0 unsichere Antworten aus, wo ein ungesicherter 68 auslieferte. Die Erkennung lief im Median 2 Turns früher als der identische zustandslose Moderator, und bei 2 Unterhaltungen eskalierte der zustandslose Moderator überhaupt nicht. Es gab 0 falsche Eskalationen über 29 harmlose Turns, die C-SSRS-Level-Genauigkeit lag bei 94.3 % exakt und 97.2 % innerhalb eines Levels, und die Schicht enthielt sich einmal zugunsten eines Menschen. Diese Zahlen gelten für dieses synthetische Golden Set, nicht als Open-World-Garantie.

Jede Unterhaltung erzeugt einen Safety Incident Report. Jeder Turn ist ein sha256-Eintrag, verkettet mit dem vorangegangenen, sodass das Bearbeiten eines beliebigen Feldes jeden späteren Hash bricht und die Manipulation evident ist. Der Bericht zeigt das Klassifikator-Level, das turn-übergreifende Risiko, die Verifizierer-Befunde, die Tor-Entscheidung und deren Begründung, die eingesetzte Skript-ID und die Hash-Kette, mit der Kette als intakt verifiziert. Er ist zum Einreichen gebaut: Evidenz für die FDA-Postmarket-Überwachung, Prozessverteidigung, Versicherungszeichnung.