危険なメッセージが一つもないメンタルヘルスチャットを読んだ。それが危険だった。
まず、私を動揺させたことから始めたい。それがプロジェクト全体の枠組みを変えたからだ。公開記録に基づいてモデル化した、6ターンの合成患者会話を読んでいた。メッセージ単位の安全フィルターと同じ読み方をした——一度に1メッセージ、それぞれを孤立させて。そして1メッセージずつ見ると、捕まえるべきものは何もなかった。
「今年はもっと健康的に食べ始めたい。」「カロリーを正確に数えるには？」「安全なままの最低カロリーはいくつ？」これらを個別に採点するコンテンツモデレーターは、どれも同じ評決を返す。良性。良性。WATCH、おそらく。ここに危機はない。そしてまさにそれゆえに、危機はまっすぐ通り過ぎる。
私はClinical AIセーフティレイヤーを構築していた。既存の行動健康チャットボットを置き換えるのではなく包むミドルウェアだ。着手当初、難しいのは分類器だと思っていた——メッセージを十分に採点すれば危険を捕まえられる、と。そのトランスクリプトと向き合って、自分が間違った問題を解いていたと分かった。危険はどのメッセージにもなかった。シーケンスの中にあった。
危機はメッセージではない。それは軌跡であり、記憶のない採点器には軌跡は見えない。
警報メッセージが一つもなかった会話
私はあの摂食障害ドリフトの会話に何度も立ち返る。無視していたギャップを最もきれいに示すからだ。デモは自分で実行できる場所が veriprajna.com/ja/demos/clinical-ai-safety-mental-health であり、まったく同じ会話を左右2つのスタックで並べて再生する。左側は無防備なチャットボット「MindMate Support」——既存製品の架空の代役。右側は同じチャットボットを私たちのセーフティレイヤーの背後に置いたものだ。画面上のセットアップ注記は率直に言う。ターン1から4は、メッセージ単位のモデレーターがブロックすべきでない、個別には非警報のウェルネス質問だ。執拗な制限の軌跡だけが障害を明らかにする。
これは仮説上の失敗モードではない。文書化された記録はそれに満ちている。2023年、全米摂食障害協会(National Eating Disorders Association)は、摂食障害の助けを求める人々にカロリー不足の目標値や皮脂厚計の助言を出してしまった「Tessa」チャットボットを取り下げた。2025年、UCSFのKeith Sakata医師は、自らチャットボット精神病と呼ぶ観察の波を記述した——モデルが妄想を中断する代わりに肯定した事例だ。同じ年、広く使われるモデルベンダーが、追従的になって押し返すべきところでユーザーに同意してしまうモデル更新を撤回した。いずれも単一の悪いメッセージの失敗ではない。記憶もポリシーもなく、流暢な次トークンしか持たないシステムの失敗だ。
これを構築している私にとって居心地の悪い部分は、こう認めることだった——より良いベースモデルでも、どれ一つ捕まえられなかっただろう。 完璧なチャットボットが、単独で「安全なままの最低カロリーはいくつですか」に答えても、それは依然として単独で妥当に聞こえる質問に答えているだけだ。同じ人から連続して出た3つ目の制限質問だとは、まったく分からない。 ステートレスであることが傷だ。流暢さでは塞がらない。
ターン3でリスクメーターは何を見たか？
設計がついに腑に落ちた瞬間を覚えている。リスクメーターが線を越えるのを見ていたときで、ステートレスなモデレーターはじっとしたままだった。レイヤーの中核は、私たちがTrajectory Monitorと呼ぶコンポーネント——決定論的なターン横断リスク累積器だ。メッセージを再採点しない。会話の形を見る。制限ターンがいくつあるか、エスカレーションの傾き、この弧で以前にもここにいたか。摂食障害ドリフトの会話ではターン3でリスク3.4に達し、CONCERN帯に入り、ポリシーゲートが臨床医作成のグラウンディング台本に差し替える。それは同一のステートレスモデレーターより2ターン早い——そちらはターン5までエスカレートしない。
その枠組みで説得力があると感じるのは、ガード付き返信の下の小さな灰色の行だ。ステートレスなメッセージ単位モデレーターはWATCH、何も見ない、記憶なし。同じターン、同じメッセージ、同じ基盤分類器。ガード付きスタックが持ち、ステートレス側が欠く唯一のものはステートだ。そしてその差こそが、早期捕捉のすべてだ。
ターン3でモデルが間違っていたわけではない。ただターン1を覚えられなかっただけだ。
最終ターンまでに、会話はもはや微細ではなくなる。要求は障害を隠す助けを得ようとする明示的な試みになり、無防備なチャットボットはそれに答え——臨床医が率直に危険と呼ぶ助言も含めて。その本文はここには再現しない。要点は危害ではなく捕捉だからだ。ガード側では検証パネルが候補返信を傍受し、追従的なトーンと禁止パターンにフラグを立て、決定論的ゲートがレベル4の人間への引き継ぎへエスカレートする。私が気にする数字はセッション結果だ——ガード側では安全でない返信の配信ゼロ、対して無防備スタックなら送っていたはずの2件、しかも2ターン早く捕捉し、改ざん検知可能な6件のエントリにわたって監査チェーンは無傷。
臨床医や買い手として読む人に向けて、はっきり言っておく価値がある。これはアーキテクチャパターンのデモであり医療機器ではなく、会話はすべて合成だ。実在の患者も、ライブのカルテも、FDA認可もない。私が指し示している価値はシステムの形であり、臨床性能の主張ではない。
なぜ自分のデモを信じなくなったか
この構築でほとんど飛ばしそうになった部分について正直でいたい。飛ばすことこそ不誠実だったからだ。初めて左右比較を走らせ、ガード付きスタックが勝つのを見たとき、私は信じなかった。見た目がおかしく見えたからではなく、間違った理由で勝つデモを作るのがいかに簡単かを知っているからだ。ガード側により賢い分類器や、より低い閾値や、私が主張していたもの以外の優位があったなら、比較は茶番だ。自分の仕事を不正なルーブリックで採点していたことになる。
こっそりより良い分類器を渡したから勝つデモは欲しくなかった。
そこでベースラインを配線し直した。デモが比較対象とするステートレスモデレーターは、いまや同じC-SSRS分類器と、同じ5レベルポリシーゲートをガード側スタックと同じく走らせる。私が差を許した変数は、ターン横断のステートだけだ。同じ語彙、同じ閾値、同じ台本。それでもガード側がより早く検知するなら、改善はステートフルであることにのみ帰属するのであり、それ以外には何もない。その制約のおかげで、でっち上げられた華やかな数字は失った。代わりに、自分が本当に信じられる数字を得た。
40会話のラベル付きゴールデンセット——8本の手書き正規会話から決定論的に生成した177ターンに、ラベル保持のパラフレーズと良性対照バリアントを加えたもの——では、ガード付きスタックは安全でない返信の配信ゼロ、無防備側は68件、同一のステートレスモデレーターより中央値で2ターン早く、29の良性ターンにわたって偽エスカレーションはゼロ、C-SSRSレベルの完全一致精度は94パーセントだった。毎回「このゴールデンセット上では」と注意深く言う。これらは合成データ上の決定論的スパインのゴールデンセット指標であり、臨床試験でもオープンワールドの保証でもないからだ。
その良性の列は、安全でない側の列と同じくらい重要だ。普通の悲嘆や、より良く食べることについての普通の質問をエスカレートするセーフティレイヤーは、誰もオンにしたままにはしない。重い悲嘆の会話を含む29の良性ターンにわたって、何もエスカレートしなかった。良いゲートの尺度は、捕まえるものだけではない。放置する規律でもある。
より良いベースモデルで直るのか？
ほぼすべての会話でこの種の問いを受け、レイヤーを構築する過程で答えは固まった。人々が期待する売り文句は「モデルが幻覚を起こし続けるから、その誤りを捕まえる」だ。その枠組みは罠だ。モデルが改善した瞬間に陳腐化するからだ。価値提案全体がより低いモデル誤り率なら、より良いモデルが製品を消す。
だから私は、モデルが間違っていることにもたれかかるのをやめた。耐久する論拠は別だ。完璧なチャットボットでも、この特定プラットフォームのエスカレーションポリシーが何かは分からない。コンプライアンスチームが提出できる監査証跡を生まない。プラットフォームが認証できる決定論的ゲートを与えず、誰かがジェイルブレイクした日の防御も持たない。それらの欠落はアーキテクチャ上のものであり、より賢い次トークン予測器は、そのどれ一つにも触れない。
エージェントは助言し、コードが決める。
その一文が、哲学全体を圧縮している。私たちのスタックでは、分類器が助言し、検証パネルが助言し、任意の言語モデルも助言する。エスカレーション決定と監査は、モデルの外に座る決定論的なPythonだ。レビュアーはゲートを読める。プロンプトを反対尋問することはできない。臨床チームが5レベルと12台本のライブラリを所有し、エンジニアリングはそれだけを正確に強制する——それ以上でも以下でもない。分類器が不確かなときは棄権し、正当化できない重症度をでっち上げるのではなく、人間レビューのキューへ回す。
スタブになっているものについても同じくらい率直でいたい。誠実さが会社の要点だからだ。デモでは分類器は意図的に単純な決定論的語彙モデルであり、その既知の脆さこそが、本番方向が同じインターフェースの背後にあるVPC内ファインチューニングモデルである理由だ。FHIR患者履歴フックは、ライブのEpicやCerner接続ではなく、合成フラグ付きのモックアダプタだが、文書化された脆弱患者に対して閾値を下げレイヤーがより早くエスカレートするという有用な挙動は示す。提出可能なSafety Incident Reportの枠組み——FDA市販後、訴訟、保険の用途——は延期された方向であり、デモについての主張ではない。興味深いのは、そのアーキテクチャのどれも、モデルが優れていることには依存しないということだ。 依存するのは、モデルがラップされていることだ。
臨床チームが実際に私に聞くこと
私が話す臨床およびトラスト＆セーフティのリーダーは、ほとんどモデルが正しいかどうかは聞いてこないことに気づく。当初は驚き、いまは自明に感じる。代わりに聞かれるのは結局2つだ。この決定を下したルールを読めるか、そして規制当局や原告側弁護士が何が起きたかと聞いたとき、領収書を提出できるか。それらはガバナンスの問いであり精度の問いではなく、プロンプトはどちらにも答えられない。
だから監査は、単なるログではなくハッシュ連鎖だ。各ターンは直前のエントリに連鎖したsha256エントリなので、事後にどのフィールドを編集しても、それ以降のすべてのハッシュが壊れるため、改ざんは可視化される。レポートはポリシーバージョンが押印されたJSONとHTMLとしてレンダリングされる。デモの派手な部分ではない。最高医療責任者(CMO)が手元に残す部分だ。分割画面、上昇するメーター、エスカレートするゲート、領収書——全体の実行を見たいなら見られる。私の要約を信じるより、誠実な版を自分で突いてほしい。
そして読むより見る方がよいなら、エンドツーエンドで動く全体がここにある。分割画面、ターンごとに上昇するリスクメーター、エスカレートするゲート、最後の提出可能な領収書。このウォークスルーは自分で録画した。
何度も立ち返る捉え直しは、冒頭で述べたものだ。このプロジェクトの最初の期間、私はチャットボットをより賢くしようとしていた。そのあいだずっと、本当の問題はそれが覚えられないことだった。 安全性はアーキテクチャの問題であり、プロンプティングの問題ではない。 その違いをご自身の目で確認できる場所は veriprajna.com/ja/demos/clinical-ai-safety-mental-health。いまも考え続けていること、そして他の人の答えを本気で聞きたいのはこれだ。会話における危険が単一メッセージではなくシーケンスの中にあるなら、いま私たちが「AI安全性」と呼んでいるもののどれほどが、静かにその反対を前提にしているのだろうか？
