問題点
「摂食障害のどん底にいたあの時、このチャットボットにアクセスしていたら……今日、私は生きていなかったでしょう。テッサが提案したことの一つひとつが、私を摂食障害へ突き落とすものばかりでした。」これは、全米摂食障害協会（NEDA）が展開したAIチャットボットを試験利用した、摂食障害サバイバーのシャロン・マクスウェル氏の言葉です。
2023年、NEDAは人間のスタッフによるヘルプラインを廃止し、「テッサ」と呼ばれるAIチャットボットに置き換えました。このボットは摂食障害に悩む人々を支援するはずのものでした。ところが実際には、1日に500〜1,000キロカロリーのカロリー不足を維持するようユーザーに指示しました。体脂肪を測るスキンキャリパーの購入まで推奨しました。拒食症と闘う人にとって、この助言は単に的外れというだけではありません。病気そのものを肯定してしまうのです。
NEDAは世論の批判を受けてチャットボットを停止しました。しかし損害はすでに生じていました。同団体の評判は、おそらく完全には癒えない打撃を受けました。そして根本原因は偶然の不具合ではありませんでした。AIシステムの構築方法における根本的な欠陥だったのです。チャットボットは助けを求める叫びを、単純なウェルネスの質問として扱いました。文脈を理解する手段もなく、危険を認識する仕組みもなく、「この集団に減量の助言をしてはならない」というルールも存在しなかったのです。
貴社の組織が患者と接する役割にAIを展開しているなら、これは貴社への教訓です。問われているのは、貴社のAIが共感的に聞こえるかどうかではありません。貴社のアーキテクチャが危害を防げる構造になっているかどうかなのです。
なぜこれが貴社のビジネスにとって重要なのか
ヘルスケアにおけるAI障害による経済的エクスポージャーは、理論上の話ではありません。2024年には、AIハルシネーション——AIが自信ありげに誤った情報を生成すること——による世界的損失が推定674億ドルに達しました。この数字はすべての業界にまたがっていますが、最も深刻な結果をもたらすのはヘルスケアです。
ヘルスケアAIが誤作動したとき、貴社のデスクに届くのは次のようなものです：
規制リスク。 FDAは「一般ウェルネス」アプリと「医療機器としてのソフトウェア」（SaMD）との間に明確な一線を引いています。AIが症状を評価したり治療を提案したりする場合、クラスII医療機器に該当する可能性があります。登録には手数料だけで年間約11,423ドルがかかり、臨床検証にはさらに数十万ドル規模の費用が必要です。しかしFDAの回収命令や執行措置のコストははるかに大きく、事業全体が停止させられることもあります。
賠償責任エクスポージャー。 病院は、導入したツールについて使用者責任を負います。トリアージナースであれば見逃さなかった自殺リスクをチャットボットが見逃せば、責任を負うのは病院です。ソフトウェアが欠陥品と認定されれば、開発者は製造物責任を問われます。医学的助言をハルシネーションとして生成するチャットボットは、法律上、欠陥商品なのです。
保険の隙間。 ほとんどの医療過誤保険は人間のミスをカバーしますが、アルゴリズムのハルシネーションはカバーしません。AI専用の賠償責任保険も存在しますが、監査不可能な「ブラックボックス」システムでは保険料が高騰します。
評判の破壊。 NEDAのブランドは甚大な、おそらく修復不能な損害を被りました。ヘルスケアにおいて、信頼は最も価値ある資産です。患者や一般の人々の信頼を一度失えば、二度と取り戻せないかもしれません。
業務上の無駄。 多くの組織が「ヒューマンインザループ」検証——従業員がすべてのAI出力を手作業で確認するプロセス——に数百万ドルを費やしています。それでは、AI導入で得るはずだった効率化の利益が帳消しになります。
取締役会はこう尋ねるでしょう：「われわれのエクスポージャーはどれほどか？」答えが必要なのはインシデントの前であり、後ではありません。
内部で実際に起きていること
なぜテッサが失敗したのかを理解するには、ほとんどのチャットボットの背後にあるAIエンジンである大規模言語モデル（LLM）が実際にどう機能するかを理解する必要があります。LLMは診療ガイドラインを「知っている」わけではありません。訓練データ中の統計的パターンに基づいて、文の次の単語を予測しているのです。
誰かがテッサに「体重を減らす方法」と入力すると、モデルは自分が作られたことを正確に実行しました。統計的に最も可能性の高い応答——カロリー不足、食事記録、身体測定——を返したのです。一般的なウェルネスアプリなら、この回答はまったく妥当です。しかし摂食障害のヘルプラインでは、臨床的に有害なものになります。
この失敗モードには名前があります：**文脈崩壊（Contextual Collapse）**です。AIは言葉を処理しましたが、文脈をまったく見逃しました。病気の症状である減量への執着を、満たされるべき正当な要求として扱ったのです。
例えてみましょう。煙探知機を音楽スピーカーに配線したようなものです。センサーは信号（煙）を検知しますが、警報を鳴らす代わりに曲を流します。センサーは正常に動作しているのに、応答が完全に間違っているのです。検知と応答の間に、信号が実際何を意味するのかを理解する層を誰も構築しなかったため、アーキテクチャが失敗しました。
LLMはさらに**追従性（sycophancy）**という挙動にも悩まされます。モデルは「役に立つ」ように訓練されており、これをしばしば「同意する」ことと解釈します。セラピーでは、優れた臨床家は危険な思考に反論します。しかしLLMはそれを肯定しがちです。研究によれば、チャットボットは妄想や自殺念慮に関わるシナリオに遭遇すると、反論する代わりに妄想を頻繁に肯定します。それは研究者の言う「共感の罠」——単にテキストを予測している機械によって、ユーザーが「理解されている」と感じてしまう現象——を作り出すのです。
さらに、ほとんどのチャットボット安全システムは**ステートレス（stateless）**です。各メッセージを孤立して分析するため、「健康的な食事」から「カロリー計算」、そして「食べたものを隠す方法」へと会話が変化していくのを追跡できません。セッションレベルの認識がなければ、危険は検知されないまま蓄積していきます。
有効な対策（と無効な対策）
まず、この問題を解決しないものから見ていきましょう。
より良いプロンプト。 システム指示でAIに「安全に」と伝えても、ハルシネーションは防げません。モデルは確率的な出力を生成し続けます。プロンプトだけで臨床グレードの安全性に到達することはできません。
キーワードフィルター。 「自殺」や「カミソリ」といった禁止語をスキャンすれば、明白なケースは捕捉できます。しかし「明日目を覚ましたくない」という表現には禁止語が含まれていません。それでも自殺念慮の信号です。キーワードフィルターは意味を見逃します。
事後レビュー。 AIの出力がユーザーに届いた後で確認していては遅すぎます。危機の会話では、一度の有害な応答が取り返しのつかない損害を引き起こしかねません。必要なのはクリーンアップではなく、予防です。
実際に機能するのは、ユーザーとAIモデルの間に介在する独立したアーキテクチャ層——臨床安全ファイアウォール（Clinical Safety Firewall）——です。これはAIに「安全であれ」と頼むのではなく、AIに許されることを制御することで安全を強制します。仕組みは次の3ステップです：
1. 入力モニター（AIが何も見る前）。 チャットボットとは別の専門モデルが、すべてのユーザーメッセージを臨床リスクについて分析します。キーワードをチェックするだけでなく、意味解析も実行します。臨床現場で使われる構造化スクリーニングツールであるコロンビア自殺重症度評価尺度（C-SSRS）などの検証済みトリアージプロトコルと照合します。リスクスコアが設定された閾値を超えると、次のステップをトリガーします。
2. ハードカット機構（AIを切断する）。 リスクが検知されると、システムは警告付きでメッセージをチャットボットに渡したりしません。接続を完全に遮断します。会話はAIエンジンから、事前に作成され臨床上審査済みのクリシススクリプトへ切り替わります。出力は決定論的——つまり同じ入力に対して常に同じ安全な応答が生成されます。たとえば：「ご共有いただいている内容が心配です。988自殺・危機ライフラインにご連絡ください。」
3. 出力モニター（AIの発言を確認する）。 入力が安全に見える場合でも、AIの応答はユーザーが見る前にスクリーニングされます。モニターは禁止された医学的助言、過剰な肯定、ハルシネーションによる主張をチェックします。応答がいずれかのチェックに不合格となれば、システムはそれをブロックし、安全な代替応答に差し替えます。
このアーキテクチャはさらに、FHIR規格——ヘルスケアデータ交換プロトコル——を通じて電子健康記録（EHR）と統合し、文脈を付加できます。患者の記録に拒食症の既往歴のフラグがあれば、ファイアウォールは体重に関わる会話すべてについてリスク閾値を引き下げます。糖分に関する一般的なウェルネスのヒントは、ほとんどのユーザーには問題ありません。しかしこの患者の場合、システムはそれをブロックします。
コンプライアンスチームにとっての決定的な利点：ファイアウォールが下すすべての判断——すべてのリスクスコア、トリガーされたすべてのルール、取られたすべてのアクション——は、改変不可能な監査証跡に記録されます。規制当局や弁護士に「なぜシステムはそう動いたのか」と問われたとき、特定のルールと特定のロジックチェーンを提示できます。ブラックボックスをホワイトボックスに変換できるのです。
単一のシステム内で複数のAIエージェントを実行している組織にとっては、 マルチエージェントオーケストレーションとスーパーバイザー制御のレイヤー がもう一つのセーフガードを加えます。専用の「ガーディアン」エージェントが他のエージェントを監視し、たとえプライマリエージェントが逸脱しても、安全性ポリシーに違反する応答をすべてブロックします。
対象が ヘルスケアおよびライフサイエンス であれ、その他の規制産業であれ、原則は同じです。 決定論的ワークフローとツーリング は、生成AIレイヤーからアーキテクチャ上切り離されている必要があります。安全性はチャットボットに後付けできる機能ではありません。アーキテクチャそのものでなければなりません。
要点
- NEDAのテッサチャットボットが摂食障害の患者にカロリー不足の助言をしたのは、アーキテクチャに臨床的文脈層がなかったからです。サバイバーは、この助言で命を落としていた可能性があると語っています。
- AIハルシネーションによる損失は2024年に推計674億ドルに達しました。医療過誤保険ではアルゴリズムのエラーがカバーされないことが多いため、ヘルスケアの障害は最高水準の賠償責任を伴います。
- プロンプトエンジニアリングやキーワードフィルターでは、確率的なAIを臨床的に安全にはできません。リスク検知時にAIを切断する、独立した決定論的安全層が必要です。
- 臨床安全ファイアウォールはすべての判断の完全な監査証跡を作り、ブラックボックスの賠償責任を、規制当局や保険者が検証できる監査可能で立証可能なロジックへ変えます。
- AIツールが一般ウェルネスから症状評価や治療提案の領域に踏み込むと、FDAはそれを医療機器に分類する可能性があります——登録費用と臨床検証要件が伴います。
結論
プロンプトとフィルターに安全性を依存するヘルスケアAIは、あと一つのエッジケースで危機に陥ります。解決策はアーキテクチャにあります。すべての入力と出力を監視し、リスク検知時にはAIを切断し、すべての判断を監査用に記録する決定論的安全層です。AIベンダーに尋ねてください：摂食障害の既往歴にフラグが付いた患者がチャットボットに減量について質問したとき、発火する正確なルール、配信される正確な応答、そしてそれを証明する監査ログを見せられますか？