死にゆく患者のケアを拒否したアルゴリズム——そして私が学んだ、人を殺さないAIの作り方

2024年の終わりごろ、私はある会議室に座っていた。すると同僚がノートパソコンである統計を呼び出し、その画面を私のほうへ向けた。「これ、見た?」

それは、UnitedHealth GroupのnH Predictというアルゴリズムの、不服申し立てによる決定覆し率だった——同社の子会社NaviHealthが、メディケア患者を急性期後ケアからいつ打ち切るかを決めるために使ってきたAIシステムだ。熟練看護。リハビリテーション。脳卒中のあと、82歳の人が誰もいないアパートへ帰されずに済むような、そういうケアである。

その数字は90%だった。

人間の審査官がアルゴリズムの給付拒否の決定を実際に審査した10回のうち9回、彼らはその決定を覆した。AIは10回中9回、間違っていたのだ。そしてUnitedHealthはそれを知っていた。知っていたのは、患者——高齢者、障害者、認知機能の低下した人々——のわずか0.2%しか、不服申し立てにこぎ着けられなかったからだ。このシステムは、正確であるように設計されていたのではない。それが設計上目指したのは、ただ一つ——不服申し立て不可能であることだった。

その夜、私はノートパソコンを閉じたが、眠れなかった。技術に驚いたからではない——私は何年もAIシステムを構築してきて、相関に駆動されたモデルがどのように破綻するかを理解している。私を眠らせなかったのは、もっと醜い何かだった——これはバグではなかった。ビジネスモデルだったのだ。そしてそれは、私の業界が5年にわたって嬉々として推進してきた、エンタープライズAIというひとつの思想全体の、論理的な終着点だった。

私はVeriprajnaを経営している。それは、リスクの高い領域におけるAIは、いま話題を独占しているチャットボットやコンテンツ生成器とは根本的に異なるものでなければならない、という前提の上に築かれた会社だ。UnitedHealthの危機は、その前提を裏づけただけではない。それを先鋭化させたのだ。

死にゆく女性が見えなかった、10億ドルのアルゴリズム

カロル・クレメンスについて話させてほしい。彼女がいなければ、数字は何の意味も持たないからだ。

カロルはメトヘモグロビン血症を患っていた——血液が酸素を正しく運べなくなる、命に関わる血液疾患だ。重い発作のあと、彼女は熟練看護施設に入り、生き延びるために必要なリハビリを受けていた。メディケアが本来カバーするはずのケアである。

そこでnH Predictが「目標退院日」を生成した。600万件の患者記録で訓練されたこのアルゴリズムは、カロルの診断を過去の転帰と照合し、彼女はもう終わりだと判断した。彼女の血中酸素濃度がなお命に関わるほど低かったことなど、お構いなしに。彼女の臨床医がもっと時間が必要だと言っていたことなど、お構いなしに。モデルが、そう告げたのだ。

彼女の家族は、自己負担で$16,768を支払い、彼女をケアにとどめた。彼らは幸運だった——資力があったのだ。カロルと同じ状況にある患者の大半には、それがなかった。

このケースについて私を苛むのは、こういうことだ——nH Predictは、はぐれ者の実験などではなかった。UnitedHealthのOptum部門は、10億ドル超を投じて、NaviHealthとそのアルゴリズムを買収した。これは、2025年に3,400億ドルの売上を見込む企業の、看板製品だったのだ。医療史上、最も高価なAI導入でありながら、それは統計的な平均と、窒息しかけている一人の女性とを区別できなかった。

なぜアルゴリズムは90%の確率で間違えたのか?

これは誰もが問う質問であり、その答えは一見すると単純だ。nH Predictは、臨床ツールのふりをした相関エンジンだった。

それは患者記録を取り込み、パターンを見つけた——診断Xの患者は、たいていY日間入院する、と。それだけだ。それがトリックのすべてだ。それはモデル化しなかった——なぜ患者ごとに必要なケアの長さが異なるのかを。それは、家に介護者がいるかどうか、外来治療をこなせるだけの経済的な安定があるかどうか、統計的な平均とは異なるケースにする特有の合併症を抱えているかどうかを、考慮に入れなかった。

「このような患者はたいてい14日で退院する」と告げるモデルは、なぜこの特定の患者に21日が必要なのかを理解するモデルとは、同じではない。前者は、手順を余分に加えただけの表計算シートだ。後者は、知性である。

私はこの議論を、数えきれないほど何度も他の創業者たちと交わしてきた。「でもモデルは平均的には正確なんだ!」と彼らは言う。そうだろう。だが、川は平均すれば水深4フィートだ——それは、8フィートの区間で溺れた人にとって何の慰めにもならない。

nH Predictに欠けていたものを表す専門用語は、因果推論だ——「通常は何が起きるか」から「この変数を変えたら何が起きるか」へと移る能力のことだ。因果モデルならこう問うだろう——14日目に熟練看護を打ち切ったら、カロル・クレメンスの回復の軌道はどうなるのか?彼女は再発するのか?死ぬのか?と。相関モデルは、そうは問わない。問えないのだ。そう作られていなかったのだから。

私はこの区別について、私たちの研究のインタラクティブ版の中で深く論じた。というのも、これこそが、いまエンタープライズのリーダーがAIについて理解すべき、唯一にして最も重要な概念だと私は考えているからだ。

3%から1%へのルール——あるいは、看護師をゴム印に変える方法

アルゴリズムの不正確さだけでも、十分にひどかった。だが、UnitedHealthがそれを使って行ったことは、もっとひどかった。

内部告発者の証言によって、NaviHealthのマネージャーたちが臨床スタッフに対して厳格な遵守目標を課していたことが明らかになった。ケースマネージャー——看護師、医師、患者のニーズを評価する術を何十年もかけて学んできた人々——は、患者の実際の在院日数を、3%の変動幅以内で、nH Predictの予測値に一致させるよう命じられた。

その後、彼らはそれを1%にまで引き締めた。

それが実際に何を意味するのか、考えてみてほしい。あなたは看護師だ。ある患者を診察した。長年の経験と、目の前にある臨床的な証拠から、この人はまだ家に帰れる状態ではないと分かる。だがアルゴリズムは14日目だと言い、あなたの上司は、14日目プラスマイナス1日の何分の一かの範囲に収めなければならない、さもなければ懲戒処分だ、と言う。おそらくは解雇だ。

あなたならどうするか?

ほとんどの人は従った。彼らが質の悪い臨床医だったからではなく、システムが、従うことを唯一生き延びられる選択肢にするよう設計されていたからだ。ケアコーディネーターは、経過レビューのタイミングを、正確にアルゴリズムが予測した退院日に一致させるよう指示された——患者ではなくモデルに合わせて、臨床のタイムラインを設計したのだ。

私はこれを、航空安全の分野で働く友人に話したことを覚えている。彼は顔面蒼白になった。「それは、天候に関係なく飛行計画どおりに着陸しろとパイロットに命じるようなものだ」と彼は言った。「二度と飛べなくなるよ」

臨床医が、欠陥のあるアルゴリズムを覆したことで懲戒されるとき、そこにあるのは「ヒューマン・イン・ザ・ループ」ではない。人間の形をしたゴム印があるだけだ。

私がこれをアルゴリズムによる強制と呼んでいる。それは私が最も恐れる失敗のかたちだ——AIが自律的だからではなく、人間が罰せられる——AIに欠けている判断を行使したという理由で——環境をつくり出すからだ。

2025年2月13日、法廷で何が起きたのか?

その集団訴訟——Estate of Gene B. Lokken v. UnitedHealth Group——は、連邦地方裁判所のジョン・タンハイム判事が訴訟の続行を認めたとき、転機を迎えた。これは極めて重大な意味を持つ——UnitedHealthにとってだけではなく。

裁判所は、UHC自身の保険約款文書が、給付の判断は「臨床サービススタッフ」と「医師」によって行われると約束していた、と認定した。そうした人間を、実質的に結果を決定づけるアルゴリズムに置き換えることで、UnitedHealthはすべての加入者との契約に違反した可能性がある。

さらに重要なのは、判事が患者に行政上の不服申し立てを尽くすことを求める要件を免除したことだ——提訴の前に。通常、メディケア受給者は、裁判所に行く前に、何段階もの官僚的な審査を経なければならない。だがタンハイムは、90%の誤り率を見て、0.2%の不服申し立て率を見て、こう言ったに等しい——不利に仕組まれたシステムに、死にゆく人々を無理やり参加させるつもりはない、と。

あの判決は、規制産業でAIを導入するすべての経営幹部にとって、必読であるべきだ。司法制度はもはや、アルゴリズムの機能不全を、患者が自力で解決しなければならないプロセス上の問題として扱おうとはしていない。

なぜ「ラッパーAI」は医療における時限爆弾なのか

ここで、私自身の業界について率直に言わなければならない。というのも、UnitedHealthの話は孤立した出来事ではないからだ。それは、ある構造的な問題の、最も目に見えやすい症状なのだ。

過去3年間、エンタープライズAI市場は、私がラッパーソリューションと呼ぶものであふれかえってきた——既存の大規模言語モデルを取り込み、カスタムのインターフェースで包み、場合によっては特定ドメインのデータで微調整し、それを医療AI製品として売る企業だ。あるいは保険AI製品として。あるいはコンプライアンスAI製品として。

これらのラッパーは、nH Predictを危険にした脆弱性のすべてを共有している——

それらはブラックボックスだ。個々の判断の背後にある推論を監査できない。つまり、体系的なバイアスが何千人もの人々をすでに傷つけてしまうまで、それを捉えられないということだ。

それらは、いわばバイアスを継承する——基盤モデルから。訓練データが歴史的な差別のパターンを反映していれば——そして医療においては、常にそうなのだが——ラッパーはそのパターンを忠実に再現する。

それらには因果的な理解がない。統計的な相関に基づいて予測する。つまり「この患者にとって何が起きるべきか」ではなく「通常は何が起きるか」を最適化しているということだ。

そして決定的に、それらは防御不可能だ。どんな競合他社も、同じ基盤モデルの上に、同じラッパーを構築できる。独自の知性も、固有の洞察もない——他社のエンジンの上に、薄く自動化を載せただけだ。

医療AIにおけるラッパー経済は、砂の上に築かれている。規制の潮が満ちてきたとき——そしてそれは急速に来つつある——深く、説明可能で、因果に根ざしたシステムを持たない企業は、押し流されるだろう。

私がこう言うのは、Veriprajnaがラッパー企業と競合しているからではない(実際には競合しているが)。本番環境でこれらのシステムが失敗したとき何が起きるかを、私は見てきたからだ。そして「デモ対応可能」と「臨床的に安全」との間の隔たりは、ラッパーには越えられない深淵なのだ。

FDAはAIにどうやって信頼性を証明させたいのか?

2025年1月、FDAはドラフトガイダンスを公表し、7ステップの信頼性評価フレームワークを確立した——医療および規制上の意思決定に用いられるAIモデルのために。私はこの文書に何週間も費やしてきたが、これは私がこれまで見た中で、最も重大なAI規制だ。

このフレームワークは、あらゆるAI導入に対して、それが答えようとしている正確な問いを明確に定義し、臨床ワークフローにおける役割を特定し、間違った場合に何が起きるかを評価し、そのうえで——厳格なテストによって——その特定の目的に適合していることを証明するよう求めている。

nH Predictは、あらゆるステップで不合格になっていただろう。その臨床上の役割について、明確な定義がなかった。そのリスク評価は、ケアを拒否することの命に関わる結果を無視していた。その「検証」は、患者の転帰ではなく、コスト抑制のために最適化されていた。

一方、EU AI法は2025年に医療AIを「高リスク」に分類し、透明性の開示と人間による監督を義務づけた。違反に対する罰則は最大で全世界売上高の7%に達する。UnitedHealthの規模の企業にとって、それは罰金ではない——存続を脅かす脅威だ。

世界保健機関(WHO)はさらに踏み込み、彼らが呼ぶところの自動化バイアス——臨床医が、自らの臨床判断と矛盾する場合でさえアルゴリズムに従ってしまう傾向——を名指しで問題視している。これはまさに、NaviHealthで起きたことだ。WHOの2024年ガイダンスは、AIへの過度の依存が、批判的評価をやめた医師の「スキルの劣化」を招きかねないと警告している。

これらの規制フレームワークの完全な技術的解説と、それがエンタープライズAIの導入にどう適用されるかについては、私たちの研究論文を参照してほしい。

説明可能性は選択肢ではないと気づいた夜

どの創業者の道のりにも、抽象的な原則が肌感覚に変わる瞬間がある。私にとってそれは、私たちのあるモデルの初期版を医療データセットで検証していた、ある夜遅くのことだった。

そのモデルは、あるケースを却下対象としてフラグを立てた。私はチームに、SHAP——SHapley Additive exPlanations、特定の予測をどの特徴量が駆動したかを示すツール——を実行するよう頼んだ。最上位の要因は、患者の診断でも、臨床経過でもなかった。それは患者の郵便番号だった。

リードエンジニアと私は、画面を見つめた。アメリカの医療データにおいて郵便番号が何と相関するかを、私たちは二人とも知っていた。私たちが見ていたのは、臨床変数ではなかった。五桁の数字に化けた、人種と所得の代理変数を見ていたのだ。

私たちはその夜、その特徴量を破棄した。しかしこの経験は、頭では理解していたが腹の底では感じ取れていなかったことを、はっきりと形にした——すなわち、なぜAIがその判断を下したのかを説明できないなら、弁明の余地のない判断を見抜くことはできない、ということだ。

だからこそ私たちは、説明可能性を後付けではなくアーキテクチャとして組み込んで構築する。SHAPのようなツールは、モデルを何が駆動しているかの全体像を与えてくれる。LIME——Local Interpretable Model-Agnostic Explanations——は、あらゆる個別の判断の背後にある推論を示してくれる。カロル・クレメンスのような患者について、LIMEなら、アルゴリズムが彼女の危険なほど低い血中酸素を無視し、診断コードに対する平均的な回復統計を優先していたことを、可視化していただろう。

そしてもう一つ、信頼度スコアリングがある——ほとんどのラッパーソリューションが完全に省いている要素だ。訓練データにほとんど表れない稀な疾患を抱えた患者が来たとき、システムは明示的にこう言う必要がある——「これを判断するだけの十分な知識が、私にはない。これは人間に回してほしい」と。提案ではない。強制的な停止だ。

なぜこれはもはや「ITの問題」ではありえないのか

AIガバナンスは取締役会の領分だと私が言うと、人々はいつも反論する。「それはエンジニアリングチームの仕事ではないのか?」と。いや。断じて違う。そして、UnitedHealthの一件が、その証拠だ。

NaviHealthのエンジニアが、1%の変動幅という要求を設定したのではない。それは経営の判断だった。エンジニアが、アルゴリズムを覆した臨床医を懲戒すると決めたのではない。それは方針の判断だった。エンジニアが、因果的検証なしに、生死に関わる保険給付の判断のために相関ベースのモデルを導入すると選んだのではない。それは戦略の判断だった。

2025年までに、S&P 500企業の72%が、SEC提出書類の中で重要なAIリスクを開示している。今や、評判リスクが最も多く挙げられる懸念だ。単一のアルゴリズムの失敗が、訴訟、規制当局の措置、そして世間の激しい怒りを同時に引き起こしかねない——そして「知らなかった」と言う取締役会は、無知が弁明にならないことを思い知ることになる。

Veriprajnaでは、すべてのクライアントに対して、部門横断的なAIガバナンス委員会の設立を促している——エンジニアやプロダクトマネージャーだけでなく、臨床リーダー、法務顧問、患者安全の代表者を含む委員会だ。これらの委員会には権限が必要だ——組織のスタックにあるすべてのAIモデルの中央登録簿を維持し、性能が劣化したときにはロールバックの選択肢を強制し、そして——これは経営陣を居心地悪くさせる部分だが——利益を生んでいるモデルであっても、それが害を及ぼしているなら停止する、その権限だ。

AIガバナンスはコストセンターではない。それは、AIを責任を持って導入する企業と、上院の調査における次の教訓話になる企業とを分ける、その違いなのだ。

私が繰り返している議論

ほとんどすべてのカンファレンスで交わす会話がある。それはこんなふうに進む——

「アシュトシュ、あなたはこれを複雑にしすぎている。私たちなら自社の臨床データでGPT-4を微調整して、6週間で何かをリリースできる。あなたのやり方は何カ月もかかる」

私はタイムラインについては反論しない。「完成」の定義について反論するのだ。

確かに、6週間でラッパーをリリースすることはできる。見事にデモできる。もっともらしく聞こえる臨床サマリーを生成し、投資家を喜ばせるだろう。そしてその6カ月後、あなたのモデルが自信満々に誤った対処方針を推奨し、その理由を誰も説明できずに患者が死んだとき、あなたは、節約した6週間がすべてを犠牲にしたことに気づくだろう。

UnitedHealthの危機は、質の悪いエンジニアや悪意によって引き起こされたのではない。AIを、臨床判断の問題ではなく、スループット最適化の問題——1件あたりの審査時間を6分から10分短縮すること——として扱った組織によって、引き起こされたのだ。彼らは成功を、患者の転帰ではなく、処理速度と却下率で測っていた。

予測型ラッパーから、私がディープAIと呼ぶものへの転換は、より高性能なモデルを使うことではない。根本的に異なる問いを立てることだ。「どうすればこの判断を自動化できるか」ではなく、「どうすればこの判断を、人間だけの場合よりも優れた、より透明で、より説明責任を果たせるものにできるか」という問いだ。

私たちはここからどこへ向かうのか

この文章を書き始めてからずっと私を悩ませてきたことで、締めくくりたい。

nH Predictの物語は衝撃的だが、驚くべきことではないはずだ。私たちは何年もかけて、安全よりも速度を、因果よりも相関を、拡張よりも自動化を報いるAIエコシステムを築いてきた。インセンティブの構造——ベンチャーキャピタルのタイムライン、エンタープライズの調達サイクル、リリースへの絶え間ない圧力——はすべて、ラッパー的アプローチへと押しやる。速く作り、速く売り、ガバナンスは後で心配する、と。

「後で」などない。2025年2月の判決が、それを明らかにした。FDAの信頼性フレームワークが、それを明らかにした。EU AI法の7%の罰則が、それを明らかにした。そしてカロル・クレメンスの$16,768の医療請求書が、可能なかぎり人間的な言葉で、それを明らかにした。

進むべき道は、AIを減らすことではない。それは、私たちが与えつつある権限にみずから値するAIだ——因果的検証、すなわちなぜ〔何が起きるのか〕を理解する検証を通じて、その作動を示す説明可能なアーキテクチャを通じて、人間が処罰を恐れることなく機械を覆せるようにするガバナンス構造を通じて、そしてモデルが判断を下すだけの十分な知識を持たないときにそれを認める、制度としての基本的な謙虚さを通じて、そうした権限に値するAIなのだ。

問いは決して「AIは医療の判断を下せるか?」ではなかった。それは常に「説明できず、正当化できず、90%の確率で間違えるような医療の判断を、AIに下させるべきか?」だった。その答えは、ついに、ノーだ。

私たちがVeriprajnaを築いたのは、その答えが来ると信じていたからだ。ただ、私たちの正しさを証明するのに、死にゆく患者を必要としなかったならと、そう願わずにはいられない。