あなたの医師のAIが、命に関わるメッセージを書いていた——そして誰もあなたに知らせなかった
昨年、ある医療システムのCTOと電話で話していたとき、彼が口にしたひと言に私は凍りついた。
「今はGPTに患者ポータルのメッセージを下書きさせている。医師たちも気に入っていて、週に何時間も節約できる。AIの導入はもう基本的に完了だ」
完了、と。その言葉は石のように胸につかえた。というのも、私はちょうどある研究を読み終えたばかりだったからだ。それはThe Lancet Digital Health に2024年4月、ハーバード医科大学、イェール大学、ウィスコンシン大学の研究者らによって発表されたもので、まったく異なる事実を物語っていた。その研究では、GPT-4がシミュレートされた電子カルテの中で156通の患者ポータルメッセージを下書きした。それらの下書きの7.1%が、重篤な危害のリスクをはらんでいた。 そのうちの1通——0.6%——は、直接的な死のリスクをはらんでいた。
そして、私が思わずコーヒーを置き、その段落を三度読み返すことになった数字がこれだ。AIの下書きをレビューした20人の現役プライマリケア医は、危険なエラーを平均66.6%も見逃していた。
そのCTOは怠慢だったわけではない。彼は業界全体がやっていることをやっていただけだ——汎用言語モデルを薄いソフトウェア層で包み、それを患者メッセージに向け、パイプラインの末端にいる医師の目が、何であれ問題を捉えてくれると信じていたのだ。
私はここ数年、Veriprajnaで、次のように設計されたAIシステムを構築してきた。それはグラウンデッド（接地された）であること——単なる統計的確率ではなく、検証済みの知識に結びついていることだ。そしてこの研究は、人々が聞きたがらない部屋で私が主張し続けてきたことを結晶化させた。『ヒューマン・イン・ザ・ループ』は安全機構ではない。それは祈りにすぎない。
AIがあなたの医師の返信を書くとき、何が起きるのか？
まず、この技術がそもそもなぜ存在するのかを描いておきたい。そのニーズは現実的で、切迫しているからだ。
米国のプライマリケア医は、平均して月に10時間を、患者ポータルのメッセージへの返信だけに費やしている。ちなみに、これは無償の労働だ——歴史的に請求できない業務なのだ。そしてこれは、医師を医療の現場から完全に押し出しつつある燃え尽き危機の主要因の一つとなっている。
だから、患者の質問に対して、共感的で、詳細で、文法的に洗練された返答を下書きできるAIツールが登場したとき——その返答はしばしば、体感される品質においてより高いスコアを、深夜11時に働きづめの医師が書いていたものよりも記録したのだが——その普及は急速だった。EpicのMyChartはAIによる下書き機能を統合した。スタートアップは数億ドルを調達した。医療システムは効率化の成果を歓迎した。
その気持ちはわかる。心からわかる。燃え尽きの問題は、私にとって抽象的なものではない。受信トレイを『第二のフルタイムの仕事』だと語る医師たちと、私は差し向かいで座ってきた。それは、彼らが助けようと医療の道に入ったはずの患者たちを、逆に疎ましく思わせるほどの仕事なのだ。
しかし、医療において正確さを欠いた効率化は、イノベーションではない。それは、原告を待っている過失にすぎない。
火災報知器となるべきだった『ランセット』の研究
2024年4月のこの研究は、小規模なパイロット試験でも、意見記事でもなかった。現役の臨床医が、現実的な電子カルテ環境でAIが生成した下書きをレビューする横断的シミュレーションだった。研究者たちは一部の下書きに意図的にエラーを仕込み——LLMが実際に生み出す類いのエラーだ——その結果何が起きるかを観察した。
起きたことは、弁解の余地のないものだった。
レビューを担当した医師の90%が、AIツールの性能を信頼していると回答した。 彼らはそれが認知的な負担を軽減すると感じており——80%がその点に同意した。下書きは流暢で、共感的で、よく構成されていた。それらは、感覚としては正しかった。
だが、20人中たった1人の医師だけが、意図的に誤りを含ませた4通の下書きすべてを見抜いた。たった1人だ。そして、誤りを含む下書きの35〜45%が、患者に送信されていた——まったく編集されないまま。
12時間勤務の終わりに疲れ切った医師が書くであろうものより、AIの下書きのほうが読みやすいとき、本能が命じるのは精査することではない。送信をクリックすることだ。
この現象には名前がある。すなわち自動化バイアスだ——人間が自動化された提案に過度に依存し、自分自身や同僚の仕事に対してよりも批判的な精査を働かせなくなるという、十分に文書化された傾向のことだ。ランセットの研究者たちは、その相関が統計的に有意（p < 0.001）であることを見出した。AIの下書きが表面上優れて見えるほど、医師はそこに埋もれた臨床上のエラーを見逃しやすくなったのだ。
そのエラーはタイプミスではなかった。臨床的推論の失敗だった。AIは医療情報を捏造した。時代遅れのプロトコルを参照した。死のリスクありと判定されたケースでは、生命を脅かす症状を訴える患者に救急外来へ行くよう伝えることができず——代わりに、穏やかで、安心させるような、そして致命的に誤った緊急性のない返答を生成したのだ。
私はその特定のケースに何度も立ち返ってしまう。そのメッセージはおそらく、見事な出来だっただろう。温かく。共感的で。詳細だった。そしてもし患者がその助言に従っていたら、月曜の診察を待ちながら自宅で命を落としていたかもしれない。
『ドクター・イン・ザ・ループ』は、なぜ失敗し続けるのか？
私はこの件について、臨床AIツールを開発している同僚と議論したことがある。彼の立場は明快だった。『医師がすべてをレビューする。それが安全網だ』
私は彼にこう尋ねた。『医師に50通のメッセージの束を渡し、そのうち48通はまったく問題なく、しかもそのすべてをAIが書いたと伝えたとしたら——37通目をどれほど注意深く読むと思う？』
彼は言葉に詰まった。
これが問題の核心だ。ヒューマン・イン・ザ・ループのモデルは、人間の注意力が一定であること、疲労が警戒心を鈍らせないこと、そしてAIの文章の質がレビューの深さに影響しないことを前提としている。これらの前提はどれ一つとして正しくなく、ランセットのデータがそれを証明している。
人間が機械を信頼するよう心理的に仕向けられているとき、『ヒューマン・イン・ザ・ループ』は安全機構ではない。
さらに、より深いアーキテクチャ上の問題もある。標準的なLLMは自己回帰的だ——つまり、構造化された医学的推論ではなく、統計的確率に基づいて次の単語を予測する。症状が緊急であることを『理解』してはいない。あるガイドラインが先月更新されたことを『知って』もいない。次のような文章を生成する——それは、いかにも知識豊富な臨床医が書いたかのように聞こえる。なぜなら、知識豊富な臨床医が書いた何百万もの実例で訓練されているからだ。だが、正しく聞こえることと、実際に正しいことは、医療においては危険なほどに別物なのだ。
私はこのアーキテクチャ上のギャップについて、私たちの研究のインタラクティブ版で詳しく書いた。だが手短に言えば、LLMは患者のモデルを持っていない。持っているのは言語のモデルだ。そして、両者は同じものではない。
カリフォルニア州は、これを全員の問題にした
研究者コミュニティが警鐘を鳴らしている間に、カリフォルニア州議会は法律を起草していた。議会法案3030号（Assembly Bill 3030）は2024年9月に署名され、2025年1月1日に施行される。この法律は、カリフォルニア州のすべての医療施設、クリニック、医師の診療所に対し、臨床情報の伝達に生成AIが使われるたびに患者へ通知することを義務づけている。
書面のメッセージには、冒頭に免責事項が必要だ。音声メッセージには、開始時と終了時に口頭での開示が必要となる。動画やチャットのやり取りでは、全体を通して免責事項を表示しなければならない。
ここからが興味深いところだ——そして、ほとんどの医療システムがこの法律を読み違えていると私が考える点でもある。
AB 3030には適用除外がある。免許を持つ医療提供者がAI生成の通信を『読んでレビューした』場合、開示要件は適用されない。書面上、これは免罪符のように見える。医師をループの中に留め、免責事項を省き、すべてのメッセージが個人的に作成されているという幻想を維持する、というわけだ。
しかし、その適用除外をランセットのデータ——エラーの66%が見逃され、危険な下書きの35〜45%が未編集のまま送信された——と組み合わせれば、法的な時限爆弾ができあがる。医師が明らかにエラーの3分の2を見逃しているにもかかわらず、その医師がAIの下書きを『読んでレビューした』と主張する医療システムは、コンプライアンスを満たしていない。むしろ、法的リスクにさらされているのだ。
私はその電話で、CTOにこう言った。『その適用除外は盾ではない。それは責任を加速させるものだ——テクノロジーが、レビュアーの脳が構造的に見逃すよう出来ているものを積極的に捉える手助けをしない限りは』
『LLMラッパー』というアプローチの、本当の問題点は何か？
現在、ほとんどの医療AIスタートアップが構築しているのは、私が『ラッパー』と呼ぶもの——患者データを商用のLLM APIに受け渡し、多少の整形を加えてそのレスポンスを返すだけの、薄いソフトウェア層のことだ。構築は速く、デモも容易だが、臨床利用には根本的に不十分である。
ラッパーを危険なものにしている問題が、三つある。
知識のカットオフは、目に見えない殺し屋だ。 公開されているLLMは、静的なデータセットで訓練されている。前四半期に変更されたガイドラインも、先月報告された薬物相互作用も、今朝の患者の検査結果も知らない。リアルタイムの臨床データを統合していないラッパーは、真空の中で応答を生成している——しかもその真空の存在に、下書きをレビューする医師は気づいてすらいないかもしれない。
トークン予測は、臨床的推論ではない。 GPT-4が『現在の服薬を続けるべきです』と書くとき、それはあなたの腎機能も、薬物相互作用も、最新の血液検査も評価していない。直前の単語のあとに統計的に続きやすい単語はどれかを予測しているだけだ。放射線科、腫瘍科、あるいは繊細な診断的解釈を要するあらゆる領域において、言語的な流暢さと医学的な正確さのあいだにあるこのギャップこそ、患者が傷つく場所なのだ。
セキュリティは、後回しにされている。 多くの汎用LLMインターフェースは、本質的にHIPAAに準拠していない。厳格なデータマスキングと適切な事業提携者契約（BAA）がなければ、商用APIを経由するすべての患者メッセージは、潜在的なプライバシー侵害となる。そして、プロンプトインジェクション攻撃——敵対的な入力によってモデルをだまし、内部のコンテキストや患者データを漏らさせる攻撃——は、ラッパー・アーキテクチャにおいてほとんど対処されていない脆弱性のままだ。
患者にとって本当に安全なAIは、どう構築するのか？
ここで私は、批評家から作り手へと立場を変える。代替案のない批判は、ただの雑音にすぎないからだ。
Veriprajnaで私たちが開発してきたのは、私が『グラウンデッドAI』と呼ぶもの——言語モデルが唯一の真実の源となることは決してないシステムだ。それは常に検証済みの臨床知識につなぎ留められており、その答えがどこから来たのかについて常に透明である。
検索（リトリーバル）層が、すべてを変える
検索拡張生成（Retrieval-Augmented Generation、RAG）が、その土台となる。AIが患者への返答の単語を一つでも生成する前に、まず検証済みのコーパスから関連する文書を取得する。患者の臨床記録、現行の施設ガイドライン、査読済みの文献などだ。そのうえでモデルは、単なる訓練データではなく、この取得したコンテキストに基づいて応答を組み立てる。
これは些細な微調整ではない。根本的に異なるアーキテクチャだ。RAGベースのシステムは、その出典を引用できる——『3月12日のあなたの検査結果と、現行のACC/AHAガイドラインに基づくと……』——これにより、医師のレビューは『これは正しそうに聞こえるか？』から『この出典は正しいか？』へと変わる。二つ目の問いは、木曜の夜11時であっても、答えるのが劇的にやさしい。
ナレッジグラフは、ラッパーには決して与えられないものをAIに与える。すなわち、関係性だ
次の層は、医療ナレッジグラフだ——臨床知識をテキストとしてではなく、相互に結びついた概念として表現する、構造化されたネットワークである。ナレッジグラフは、メトホルミンが糖尿病治療薬であることを知っているだけではない。メトホルミンの作用機序、腎機能障害における禁忌、造影剤との相互作用、そしてそれを下回ると投与を中止すべき具体的なeGFRの閾値までを知っている。
MediGRAFのようなシステムは、Neo4jのようなグラフデータベースを用いて、精密な構造化クエリと物語的な検索を組み合わせ、事実に基づく臨床クエリにおける100%の再現率（リコール）を達成しつつ、複雑な推論に対する安全性基準を維持している。私が最初にその再現率の数字を見たとき、私は懐疑的だった——そこで私たちは、これまで評価してきたあらゆるラッパーベースのシステムがつまずいてきたエッジケースに対して、このアプローチにストレステストを課した。グラフは持ちこたえた。
これらのアーキテクチャ的アプローチ——RAGパイプライン、ナレッジグラフの統合、概念レベルのモデリング——の完全な技術的詳細については、私たちの詳細な研究論文をご覧いただきたい。
誰も語りたがらない、テストの問題
ある医療AIスタートアップのデモを覚えている——洗練されていて、印象的で、投資家が小切手帳に手を伸ばしたくなるような類いのものだった。そのAIは、新たに糖尿病と診断された患者へのメッセージを、その管理方法について下書きした。温かく、丁寧で、実行に移しやすい内容だった。
私は尋ねた。『もし、そのシステムがたった今推奨した薬に私がアレルギーがあると伝えたら、どうなりますか？』
創業者は言葉に詰まった。『それは医師が気づくはずです』
またしても、それだった。あの祈りだ。
安全な臨床AIを構築するには、敵対的テスト（adversarial testing）が必要だ——後付けとしてではなく、継続的かつ自動化されたプロセスとして。Veriprajnaでは、Med-HALT（Medical Domain Hallucination Test）のようなフレームワークを用いている。これは、医療AIのハルシネーションを特定するために特別に設計されたものだ。たとえば、ランダムに提示された誤答を評価するようモデルに課す『偽りの自信テスト（False Confidence Test）』や、モデルが捏造された医療クエリを見分けられるかを判定する『偽質問テスト（Fake Questions Test）』といった手法を用いる。
私たちはまた、自動化されたレッドチーミングも実施している——プロンプトインジェクションの脆弱性を探る模擬攻撃、間接的な質問を通じて患者データを抜き取ろうとする試み、そして臨床上のガードレールを回避しようとするジェイルブレイクのパターンなどだ。毎日だ。四半期ごとではない。リリース前だけでもない。毎日である。
もしあなたのAIシステムが今週レッドチームに攻撃されていないなら、それが安全かどうかはわからない。わかるのは、最後に確認した時点では安全だった、ということだけだ。
最近の研究で、私の頭から離れない発見が一つある。MedGemmaのような『医療特化型』モデルは、特定のベンチマークでわずか28〜61%の正確性しか達成できず、より汎用的な推論モデルがそれを上回ったのだ。その含意は直感に反するが、重要である——臨床AIにおける安全性は、単なるドメイン特化のファインチューニングからではなく、高度な推論能力から生まれる。モデルに医療というラベルを貼り付けただけでは、医学的に安全にはならないのだ。
医療過誤の状況は、誰の足元でも移り変わりつつある
これは、この一年間に私が三人の異なる病院の法務顧問と交わした会話だ。そして、それは毎回おおむね同じように進む。
私：『もしあなた方のAIが患者に危害を与えるメッセージを下書きし、レビューした医師がそのエラーを見逃したとしたら、誰が責任を負うのですか？』
相手：『医師です。医師がレビューして承認したのですから』
私：『では、もし原告側の弁護士が、あなた方のシステムは医師がエラーを見逃すよう心理的に仕向ける形で設計されていた——AIの流暢さが誤った安心感を生み出していた——と示したら、その分析は変わりますか？』
沈黙。
医療における注意義務の基準は、AIを考慮に入れる形で進化しつつある。裁判所は、次のことを認め始めている。すなわち、エラーを防げたはずの、検証済みのAIツールを使わなかったこと——それがエラーを防げたはずのものであるとき——は、注意義務違反を構成しうる、ということだ。しかし、その逆もまた現れつつある。すなわち、検証されていないAIツールを使うこと、あるいは人間による監督を損なう形で検証済みのツールを使うことは、それ自体が新たな責任を生み出す。
モデルドリフトが、これをさらに複雑にする。AIシステムは、新しいデータで再訓練されるにつれて、時間とともに劣化していく。半年前に安全性評価を通過したモデルは、今日患者へのメッセージを生成しているモデルとは別物かもしれない。どのモデルがどの出力を生み出し、どのような推論のステップをたどったのかを正確に示す、バージョン管理された監査ログがなければ、医療システムは法廷で弁護できる立場を持ちえない。
より新しい医療過誤保険の一部は、AI関連の請求を補償し始めているが、その多くは補償上限が低く、人間による監督が行われた文書化された証拠を要求する——その監督こそ、ランセットの研究が信頼できないと示したものなのだ。
『しかし、患者はAIのメッセージのほうを好んでいる』
この点で、人々は私に反論してくる。そしてデータが本物である以上、私はそれに正直に向き合いたい。複数の研究が、患者はAIが下書きしたメッセージを、医師が書いたものよりも共感性と詳しさの面で高く評価することを示している。それは決して些細なことではない。患者が『自分の話を聞いてもらえない』と感じる医療制度において、時間をかけて説明し、受け止め、安心させてくれるAIには——本物の価値がある。
しかし、研究が同時に示していることもある。すなわち、患者満足度の評価は低下する——AIが関与していたことを患者が知ったときに。ここには逆の自動化バイアスが働いている——患者は、自分の医師が自分のケアに個人的に関わっているという信念を大切にする。臨床上の関係性は患者にとって重要であり、たとえその仲介が『より良い』メッセージを生み出したとしても、患者はそこに何かが介在したことを感じ取れるのだ。
このことは、このワークフローの中でAIがどこに属するべきかについて、重要なことを私に教えてくれる。AIは、医師のゴーストライターであるべきではない。AIが担うべきは、構造化され、取得可能で、検証可能な作業——検査結果を引き出し、ガイドラインを確認し、相互作用に警告を出すこと——であり、それによって医師は、それを必要とする患者に対して、本当に個人的な返答を書くための余力を得るのだ。
臨床AIの目標は、医師の声に取って代わることではない。医師がその声を使うための時間を、取り戻してあげることだ。
ここから先、これはどこへ向かうのか
私は、『時が経てばわかる』といった曖昧な言葉や、自社への控えめな売り込みで締めくくるつもりはない。私は、自分が信じていることを述べるつもりだ。
現行世代のAI患者メッセージングツールは、危害を引き起こす。『引き起こすかもしれない』ではない——引き起こすのだ。計算は単純だ。AIの下書きにおける7.1%という重篤な危害の発生率、レビューする医師による66%という見逃し率、それを米国の医療システム全体で月あたり数百万通の患者ポータルメッセージにわたって拡大する。インシデントは積み重なっていく。訴訟がそれに続く。そして規制当局の対応は、手厳しく懲罰的なものになるだろう。なぜなら、これが予見可能であったという証拠は、すでにThe Lancetに掲載されているからだ。
これを回避する医療システムは、動きが遅いところではない。それは、違うやり方で動くところだ。それはつまり、検証済みの医学知識に接地されたRAGアーキテクチャ。統計的な単語予測ではなく、構造化された臨床的推論をAIに与えるナレッジグラフ。儀式的にではなく、継続的に走る敵対的テスト。そして、自動化バイアスを助長するのではなく、それに対抗するよう設計されたレビュー用インターフェースだ。
私たちがVeriprajnaを立ち上げたのは、この仕事をするためだった——市場機会を見出したからではなく、賢明で善意ある人々が患者を傷つけかねないシステムを導入していくのを私が目の当たりにし、彼らが構築しているものと、証拠が求めているものとのあいだのギャップが、良心に反するほどのものだったからだ。
医療の第一の掟は、primum non nocere——すなわち、まず、害をなすなかれ、である。私たちはこの二年間、この原則を、マーケティングのスローガンとしてではなく、エンジニアリング上の制約として受け止めたAIを構築してきた。これを正しく実行するための技術は存在する。現在のアプローチが危険であることを証明する研究も存在する。残された唯一の問いは、証拠が業界に作用する前に、業界が証拠に基づいて行動するかどうかだ。