AIは医療保険請求の承認を任せられるのか?

問題点

ユナイテッドヘルス・グループのAIアルゴリズムは高齢患者のケアを拒否し、その判断は90%の確率で誤っていました。人間の審査者が実際に見直した拒否判断の10件中9件は覆されました。しかしユナイテッドヘルスは、ある壊滅的な事実を知っていました。闘うための資源を持っていた患者はわずか0.2%しかいなかったのです。

この危機の中心にあるアルゴリズムはnH Predictと呼ばれます。ユナイテッドヘルスのオプタム部門が2020年に10億ドル超で買収したものです。本来は、メディケア患者がスキルドナーシング施設への入所といった急性期後ケアをどれほど長く必要とするかを予測するはずでした。ところが実際には、患者に本当に支援が必要かどうかを無視するコスト削減マシンへと変わりました。

キャロル・クレメンズさんの例を考えてみましょう。致死的になり得る血液疾患であるメトヘモグロビン血症を生き延びた後、彼女は集中的なスキルドナーシングケアを必要としました。臨床的証拠は、リハビリテーションを継続して受ける必要性を裏付けていました。それでもnH Predictの予測は彼女の保険適用を打ち切りました。家族は、早期退院を防ぐために16,768ドル超を自己負担しました。訴訟で主張されているのは、ユナイテッドヘルスが、クレメンズさんのような患者は病気すぎる、高齢すぎる、または貧しすぎて不服申立てができないという事実に「賭けて(banked)」いたということです。

2025年2月、連邦裁判所はこの集団訴訟の進行を認める判決を下しました。ブラックボックス化したAIの判断の陰に隠れる時代は終わりつつあります。もし御社の組織が、人々の生活や生計に影響を与える判断にAIを使っているなら、この事件は御社に向けられた警告砲です。

なぜこの問題が御社のビジネスにとって重要なのか

これは単なる医療業界の話ではありません。企業ガバナンスの話であり、その財務上のエクスポージャーは想像を絶する規模です。

ユナイテッドヘルス・グループの年間売上は約3,000億ドルです。同社は現在、あらゆる規制対象企業のAI活用のあり方を塗り替えかねない連邦集団訴訟に直面しています。数字が示す御社自身のリスクは次のとおりです:

• 拒否率は100%超に急増。 AI導入後、急性期後ケアの拒否率は約10%から22.7%へ跳ね上がりました。スキルドナーシング施設の拒否は800%増加しました。取締役会が問うべきはこうです。御社のAIシステムは、規制当局が検知しうる統計的に異常な結果を出力していないだろうか?

• S&P500企業の72%が現在、重要なAIリスクを開示しています。 その開示はSEC(米証券取引委員会)への年次報告書においてです。最も多く挙げられる懸念は評判への損害です。一件の拡散するAI失敗は、AIが節約するはずだった額の何倍にも及ぶ訴訟コストを引き起こしかねません。

• EU AI法の罰則は全世界売上高の最大7%。 医療AIシステムはこの法律のもとで「高リスク(High-Risk)」に分類され、適合性評価、透明性の開示、人間による監督が義務付けられます。欧州で事業を行うなら、不遵守は経営陣レベルの財務上の脅威です。

• FDAの2025年1月ドラフトガイダンス は現在、医療および規制上の意思決定に用いられるAIモデルに対する必須の7ステップ・クレディビリティ・フレームワークを確立しています。規制当局はもはやベストプラクティスを提案しているのではありません。ルールを書いています。

損益計算書(P&L)に対する結論はこうです。AIを適正にガバナンスするコストは、集団訴訟を防御し、規制罰金を支払い、公の場での失敗後にブランドを再構築するコストのごく一部に過ぎません。

実際に何が起きていたのか――仕組みの内側

ここでは専門用語を使わずに、nH Predictがなぜ失敗したのかを説明します。

このアルゴリズムは、600万件の患者記録のデータベースを相互参照することで機能していました。同じ診断名の患者は過去にX日間滞在していた、というパターンを探し出し、新たな患者ごとに「目標」となる退院日を生成していたのです。

平均的な交通状況しか知らないカーナビ(GPS)を思い浮かべてください。所要時間は30分だと告げてきます。しかし前方の事故も、道路の閉鎖も、タイヤがパンクしている事実も見えていません。それなのに「とっくに到着しているはずだ」と主張し続けるのです。

nH Predictにも同じ盲点がありました。それは、各患者の状態を実際に左右しているものという因果ではなく、通常何が起こるかという相関に依存していました。患者の自宅に介護者がいるか、経済的不安定に直面しているか、特定の臨床上の合併症を抱えているかは考慮できませんでした。これらの要因はメディケアの規則の下で医学的必要性を決定するものですが、モデルは完全に無視したのです。

この失敗モードには名前があります。「通常何が起こるか」と問うことと、「この患者はなぜより多くの時間を必要とするのか」と問うこととの違いです。相関駆動型のモデル――パターンを発見しても原因を理解しないモデル――は、ある診断名の患者は通常14日後に退院すると告げます。因果モデルは、どんな要因が患者により長い時間を必要とさせているのか、そして保険適用を早まって打ち切った場合に何が起こるのかを問います。

問題を悪化させたのは、ユナイテッドヘルスがこの欠陥のある予測ツールを強制的な指示へと変えたことです。内部の管理者はケースマネージャーに対し、患者の滞在期間をアルゴリズムの予測の3%以内に収めるよう指示しました。その後、目標はわずか1%にまで狭められました。実際の患者のニーズに応えるために逸脱した臨床医は、懲戒処分や解雇の対象となりました。「ヒューマンインザループ」の安全装置はゴム印へと成り下がったのです。

有効な対策(そして無効な対策)

まず無効なものから始めましょう。御社の組織は、このうちのどれかにすでに取り組んでいるかもしれません。

既存のAIの上にチャットボット層を重ねる。 これは「ラッパー(wrapper)」方式です。GPTのようなサードパーティ製AIエンジンの上に独自インターフェースを被せるやり方です。こうしたラッパーには独自のロジックがなく、基盤モデルのバイアスをすべて受け継ぎ、監査できないブラックボックスの出力を生み出します。規制の厳しい業界では、それらは負債です。

人間のレビューがすべてを解決すると仮定する。 ユナイテッドヘルスは技術的には、AIの判断を人間がレビューしていました。しかしアルゴリズムの判断を覆す従業員を処罰するなら、そのヒューマンインザループは絵に描いた餅です。重要なのはポリシーの言葉よりもプロセス設計です。

AIガバナンスをITプロジェクトとして扱う。 AIガバナンスが完全にIT部門の中に置かれているなら、実際の法的責任を生み出す法律・臨床・財務の各側面を見落としています。2025年2月の判決が前進したのは、裁判官が、ユナイテッドヘルスが適用判断を「臨床サービス職員」と「医師」が行うという契約上の約束――アルゴリズムではなく人間が行うという約束――に違反したと認定したからです。

実際に機能するのは、次の3ステップです:

1. 入力:相関の代わりに因果モデリング。 御社のAIシステムは、次に基づいて構築されるべきです 因果および反実仮想(causal and counterfactual)モデリング ――これは、歴史的パターンだけでなく、自らの領域における実際の因果関係をマッピングするアプローチです。ヘルスケアであれば、似た患者がどれだけの期間滞在したかだけでなく、患者がなぜケアを必要とするのかをモデル化することを意味します。

2. 処理:信頼度スコアリング付きの説明可能AI。 AIが下すすべての判断には、その判断を左右した要因についての平易な言葉による説明が伴うべきです。SHAPやLIME――どのデータポイントが特定の出力に影響を与えたかを示す手法――により、監査担当者は、拒否が臨床的証拠によるものか、郵便番号のような代理変数によるものかを確認できます。AIが学習データの範囲外のケースに遭遇した際には、信頼度スコアリングが不確実性を検知して通知し、当該ケースを人間の審査者へ回すべきです。

3. 出力:キルスイッチ制御付きの完全な監査証跡。 AIの出力はすべて記録され、時刻が刻まれ、追跡可能でなければなりません。貴社の AIガバナンス・コンプライアンスプログラム には、スタック内のすべてのモデルを台帳化する中央AIレジストリ、ロールバックオプションを備えたモデル変更管理、そしてモデルの性能が劣化した際にそれを停止させる権限を機能横断委員会に明確に与えることが含まれていなければなりません。

この監査証跡こそが、コンプライアンス部門にこのアプローチを売り込む材料になります。規制当局や原告側弁護士に「この判断がどう行われたのか見せてほしい」と求められたとき、文書化された論理の証跡を持っているか、訴訟を抱えるか、どちらか一方です。FDAの7ステップ・クレディビリティ・フレームワークは現在、検証戦略、指標、あらゆる逸脱を文書化した「クレディビリティレポート」を明示的に要求しています。そのレポートを作成できないAIは、法廷に到達する前に規制の試験に不合格となります。

こうしたシステムを必要としているのは、 ヘルスケアおよびライフサイエンス向けAIソリューション を構築する組織です。彼らに必要なのは、自らの推論を説明し、自身の不確実性を検知して通知し、人間が真に制御を握り続けるようなシステムです。ユナイテッドヘルス事件における裁判所のメッセージは紛れもないものでした。AIシステムが根本的に壊れている場合、裁判所は、被害者に対して不正に仕組まれた不服申立てプロセスという見せかけへの参加を要求したりはしない、ということです。

さらに詳しく知るには、 技術分析の全文をお読みいただくか 、あるいは インタラクティブ版を探索して 規制フレームワークとアーキテクチャ上の要件をより深く把握してください。