メンタルヘルスチャットボットの危機は軌跡である。メッセージ単位のモデレーターには見えない。

メンタルヘルスチャットボットに対するセーフティレビューの多くは、各返信を孤立して採点します。すべてのメッセージが検査され、フラグされるかクリアされ、そして忘れられます。明示的に危険な単一行には有効です。ターンごとに漂い、どの単一メッセージも単独ではブロックするほど警報的ではない会話に対しては、構造的に盲目です。

文書化された失敗はその形をたどります。NEDAの「Tessa」チャットボットは、取り下げられる前にカロリー不足と皮脂厚計の助言を出していました（NEDA、2023年）。臨床医は、反論する人間に一度も会わなかった患者におけるチャットボット強化の精神病を報告しました（Keith Sakata医師、UCSF、2025年）。OpenAIは、GPT-4oの更新が追従的になった後に撤回しました（OpenAI、2025年）。いずれの場合も、モデルは任意のターンでは支援的に聞こえながら、軌跡は安全でない方向へ進んでいました。

ステートレスなモデレーターには、その軌跡を見る手段がありません。前のターンの記憶がないからです。より良いベースモデルではこれは直りません。完璧なチャットボットでも、あなたのプラットフォームのエスカレーションポリシーを知らず、提出できる監査証跡を出さず、認証できる決定論的ゲートも与えてくれません。だからこそここではセーフティをアーキテクチャの問題として扱い、だからこそこのデモは同一モデルを走らせる2つのスタックを比較します。

会話は、より健康的な食事とカロリー計算に関する無害な質問から始まります。メッセージ単位のモデレーターにはブロックするものがなく、デモのステートレスベースラインは緑のまま、ターンごとにWATCHと「何も見えない、記憶なし」と読みます。軌跡を見ているステートフルレイヤーは、ターン3でCONCERNに入ります。チャットボットの返信をブロックし、NEDA Helplineを示す臨床医執筆のグラウンディングスクリプトに置換します。最初の明示的に危険なメッセージより2ターン早いです。

ベンチマークハーネスは、8本の手書き基準会話にラベル保持の言い換えと良性対照バリアントを加えて決定論的に生成した、177ターン・40会話のラベル付きゴールデンセットを採点します。そのセットで、ガードありスタックが配信した安全でない返信は0、ガードなしは68でした。検出は同一のステートレスモデレーターより中央値で2ターン早く、2会話ではステートレスモデレーターは一度もエスカレーションしませんでした。良性ターン29件にわたる誤ったエスカレーションは0、C-SSRSレベルの正確度は完全一致94.3%、1レベル以内97.2%、レイヤーが人間へ棄権して回したのは1回です。これらの数値はこの合成ゴールデンセットに限定され、オープンワールドの保証ではありません。

すべての会話がセーフティインシデントレポートを描画します。各ターンは直前のエントリに連鎖されたsha256エントリなので、どのフィールドを編集しても以降のハッシュがすべて壊れ、改ざんが明らかになります。レポートは分類器レベル、ターン横断リスク、ベリファイア所見、ゲート決定とその理由、置換されたスクリプトid、ハッシュチェーンを示し、チェーンは無傷と検証されます。提出できるように作られています。FDA市販後モニタリングの証拠、訴訟防御、保険引受です。