AI作成の患者メッセージで7%の重篤な危害発生率が判明

課題

生命を脅かす症状を訴える患者に対し、AIが回答メッセージを作成しました。しかし、救急救命室（ER）を受診するよう指示する代わりに、AIは落ち着いた定型的な返信を送信したのです。この1通のメッセージは後に、直接的な死亡リスクをもたらすものとして分類されました。

これは稀な例外的事例ではありません。『The Lancet Digital Health』誌の2024年4月号に掲載された研究において、ハーバード大学医学部、エール大学、ウィスコンシン大学の研究者らは、患者ポータルメッセージの下書きを作成するGPT-4の能力を検証しました。研究チームは模擬電子カルテシステム内で、156件の模擬患者対話をAIに入力しました。その結果は驚くべきものでした。AIが生成した下書きの7.1%が患者に重篤な危害を及ぼすリスクをもたらし、さらに0.6%（シミュレーション内の1通のメッセージ）は直接的な死亡リスクを伴っていたのです。

しかし、真に警戒すべき点はここにあります。現役のプライマリケア医師20名がこれらのAIによる下書きをレビューしたところ、危険な誤りの平均3分の2を見落としました。意図的に欠陥を含ませた4通のメッセージすべてを発見できた医師は、20名中わずか1名でした。誤りのある下書きの35%〜45%が、一切編集されることなく患者に送信されたのです。医師たちはAIを信用していました。90%がツールの性能を信頼していると回答し、80%が精神的負担を軽減できたと述べました。AIは文章が上手く、共感的に聞こえ、適切なトーンを備えていました。ただ医療としての判断を誤っていただけであり、医師たちはその誤りに気付きませんでした。

貴社の医療機関が患者向けメッセージの作成にAIを活用しているなら、これがまさに貴社が直面している現在のリスクプロファイルです。

これが貴社のビジネスにとって重要な理由

ここにおける財務的および法的なリスクエクスポージャーは理論上のものではありません。それは測定可能であり、拡大し続けています。

カリフォルニア州の州法AB 3030（Assembly Bill 3030）が2025年1月1日に施行されました。同法はすべての医療機関、クリニック、および診療所に対し、臨床情報の伝達に生成AIを使用する際には患者へ通知することを義務付けています。これは、メール冒頭への書面による免責事項の記載、通話開始時および終了時の口頭免責、動画やチャット対話中の常時免責表示を意味します。これらに違反した場合、医療機関は罰金や認可に関する処分を受け、個々の医師は医師免許に対する懲戒処分に直面することになります。

AB 3030には免除規定が含まれており、有資格の医療従事者がAIの出力を「閲読およびレビュー」した場合、開示義務は免除されます。しかし、『The Lancet』の研究データを考慮してください。

• **7.1%**のAI生成ドラフトが重篤な危害リスクをもたらした
• レビュー担当医師がそれらの危険なドラフトの**66.6%**を見落とした
• 誤りのあるドラフトの**35%〜45%**が一切編集されずに送信された
• 医師の**90%**がAIツールの性能を信頼していると報告した

この免除規定は、人間によるレビューが実際に機能することを前提としています。しかしエビデンスが示す現実は、多くの場合それが機能していないということです。医師が実質的な検証を行わずに承認したAI作成メッセージによって患者が危害を被った場合、注意義務基準（Standard of Care）が急速に進化する中で医療過誤訴訟に直面することになります。裁判所は現在、医療従事者がAIの推奨を盲目的に受け入れたかどうかを問うようになっています。アルゴリズムのバイアスを現実の患者被害の原因として認定し始めているのです。また、貴社の医療過誤保険会社は、モデルのバージョン、推論ステップ、および医師による具体的な編集内容を示す文書化された監査ログを要求する可能性があります。

現在ではAIのハルシネーション（幻覚）による請求をカバーする新しい保険商品も登場していますが、それらには低い補償限度額と厳格な監視文書化要件が課されています。そうした記録文書を提示できなければ、保険適用が無効になる恐れがあります。

内部で実際に起きていること

現在提供されているヘルスケアAIツールの多くは、業界で「LLMラッパー」と呼ばれるものです。これはGPT-4やGoogle Geminiのような汎用AIを取り囲む薄いソフトウェアの殻のようなものとお考えください。電子カルテ（EHR）が患者のメッセージをAIに送信し、AIが下書きを返送する。実質的にはシステム全体がそれだけで構成されています。

これが危険である理由は次のとおりです。これらのモデルは統計的パターンに基づいて文中の次の単語を予測しているにすぎません。医療についての推論を行っているわけではないのです。薬物相互作用をチェックすることもなければ、患者の症状が火曜の朝の些細な不調なのか、土曜の夜の緊急事態なのかを評価することもありません。『The Lancet』の研究では、AIの最も重大な失敗は、患者の状況の緊急度を評価できなかったことに起因していることが判明しました。

何千もの過去のメモから言い回しをコピーして社内報を作成している従業員を想像してみてください。文法は完璧で、トーンも専門的です。しかしその従業員は、言葉の実際の意味をまったく理解していません。汎用AIが患者メッセージを処理している実態はまさにそれと同じです。

さらにこれらのモデルには知識のカットオフ（それ以降の情報を一切知らない固定期日）が存在します。誰かが連携機能を構築しない限り、患者の最新の検査結果や最新の臨床ガイドラインを参照することはできません。また、画像データ、心電図（ECG）波形、ゲノムデータを処理できないことも多々あります。加えて、個別のHIPAA業務提携契約（BAA）やデータマスキングプロトコルなしに汎用AI APIへ患者データを送信することは、重大なプライバシーリスクを引き起こします。敵対的プロンプトインジェクション攻撃によって、これらのモデルが機微な患者情報を漏洩させられる危険性すらあるのです。

その結果、AIは自信に満ちた口調で出力し、医師はそれを信用し、患者に被害が出るまで誰も誤りに気付かないという事態が生じるのです。

何が有効で、何が有効でないか

まず、この問題を解決できない3つのアプローチを挙げます。

「医師への教育を徹底し、より注意深くさせる」 自動化バイアス（Automation bias）は十分に実証された心理的影響です。AIが洗練された共感的な文章を生成すると、経験豊富な臨床医であっても警戒を解いてしまいます。『The Lancet』の研究は、これを統計的有意性（p < 0.001）をもって証明しました。

「医療特化型AIモデルをファインチューニングする」 研究によれば、MedGemmaのような特化型医療モデルであっても、一部のハルシネーションテストにおいて28%〜61%の精度しか達成できませんでした。ドメイン特化のファインチューニング単体では、根本的な推論のギャップを解決することはできません。

「免責事項を追加して済ませる」 AB 3030への準拠は必要条件ですが十分ではありません。免責事項は危害を防ぐものではなく、単に誰に責任があるかを患者に示すだけにすぎません。

実際に有効なのは、次の3つのステップで構築されたグラウンディング（根拠付け）アーキテクチャです。

ステップ1：生成する前に検索・取得する。 AIが1つの単語を書く前に、関連する情報源データを取得する必要があります。これは検索拡張生成（RAG：Retrieval-Augmented Generation）と呼ばれ、患者の臨床経過記録、最新の診療ガイドライン、院内プロトコルなどの検証済み文書をAIに入力する技術です。AIは汎用的な訓練データではなく、取得されたそれらの情報のみに基づいて回答を生成します。

ステップ2：知識をグラフとして構造化する。 医療知識グラフ（Medical Knowledge Graph）は、臨床概念を相互に関連する関係性としてマッピングします。例えば薬剤はその禁忌事項にリンクし、禁忌事項は特定の患者の病態にリンクします。MediGRAFのようなシステムはグラフデータベースを活用し、自然言語の質問を正確なクエリに変換します。システムが統計的な推測ではなく検証済みの関係性を走査するため、事実に基づく臨床クエリにおいて100%の再現率を達成します。

ステップ3：すべての主張に出典を明記する。 AIの出力におけるすべての言明は、その情報源文書へとリンクしている必要があります。レビューを担当する医師は、AIが正しいかどうかを推測する必要がなくなります。引用された出典と照らし合わせることで、各主張を数秒で検証できるのです。これにより、受動的な確認が能動的な検証へと変革されます。

監査証跡の優位性こそが、このアプローチを法的に防御可能にする要素です。AIが生成したすべての下書きには、どの文書が取得され、どの知識グラフ経路が走査され、どの出典が各言明を裏付けているかの記録が保持されます。コンプライアンスチーム、保険会社、または原告側弁護士から特定のメッセージがどのように生成されたかを問われた際、完全な論理証跡を提示できます。これこそが、法的に防御可能なプロセスと法的責任リスクを分ける決定的な違いです。

貴組織の 医療AIコンプライアンスおよび安全性プログラムにおいて、このアーキテクチャはもはや任意ではなく、台頭しつつある新たな注意義務基準です。同様の原則は、貴組織の RAGおよびナレッジグラフインフラストラクチャ 、ならびにシステムに対して日常的にストレステストを実施すべき レッドチーミングおよび検証テスト にも適用されます。

詳細なエンジニアリング仕様については 技術詳細分析の全文を読む か、またはアーキテクチャのガイド付き解説については インタラクティブ版を見る ことができます。