娘の指に付けたパルスオキシメーターは嘘をついていた——そして、あなたの病院のAIも嘘をついている
昨春、私の娘は103度の高熱を出しました。私たちは救急外来にいて、看護師が娘の小さな褐色の指にパルスオキシメーターを挟みました。画面には酸素飽和度97%と表示されました。正常値です。看護師は微笑みました。私は微笑みませんでした。
私には分かっていました——Veriprajna でのあるプロジェクトのために、何ヶ月も臨床文献に没頭していたからです——娘の指に付けられたそのデバイスは、ほぼ間違いなく彼女の血中酸素を過大評価していると。わずかな差ではありません。無視できないほどの差です。医学誌に掲載された研究、すなわち New England Journal of Medicine、および British Medical Journal は、黒人患者がほぼ3倍も高い確率で、臨床医が『潜在性低酸素血症(occult hypoxemia)』と呼ぶ状態——デバイスは『異常なし』と表示する一方で、実際の酸素濃度は危険なほど低いという状態——に陥ることを明らかにしています。2024年のヴァンダービルト大学の研究では、一般的なパルスオキシメーターが、最も肌の色が濃い子どもの7%で低酸素を検出できなかったことが判明しました。最も肌の色が薄い子どもでは、見逃しはゼロでした。
私は画面上のその小さく光る数字を見て、こう思いました——ここからすべてが始まるのだ、と。悪意あるアルゴリズムからでもなく、偏ったデータセットからでもない。白人の肌で較正され、30年にわたってそれ以外のすべての人について嘘をつき続けてきた、たった30ドルのハードウェアから始まるのだ、と。
あの夜、私が Veriprajna で作るあらゆるものについての考え方が変わりました。それが、私が臨床AIにおけるアルゴリズム的公平性に関する私たちの研究を書いた理由であり、そして今こうしてこの文章を書いている理由でもあります。
なぜパルスオキシメーターは濃い肌の色では違った動作をするのか?
その物理はほとんど侮辱的なほど単純です。パルスオキシメーターは赤色光と赤外光を指に透過させ、どれだけが吸収されるかを測定します。酸素化ヘモグロビンと脱酸素化ヘモグロビンは異なる比率で光を吸収し、デバイスはその比率を使って血中酸素濃度を推定します。
ここに問題があります。メラニンもまた、これと同じ波長域の光を吸収するのです。デバイスを主に肌の色の薄い人々で較正すれば——実際にメーカーはそうしており、最近までFDAは合計わずか10人の被験者での試験しか求めていませんでした——濃い肌のメラニンによる余分な吸収が誤って読み取られてしまいます。デバイスはそれを、実際に存在する以上の酸素化ヘモグロビンだと解釈します。あなたの数値は、現実よりも高く見えるのです。
これは些細な学術的発見ではありません。低酸素を検出する際の偽陰性率は、薄い肌の色では1.2%から26.9%の範囲です。濃い肌の色では、それが7.6%から62.2%へと跳ね上がります。これは丸め誤差ではありません。これは、まったく異なる医学的現実なのです。
指に付けたデバイスが97%と表示し、実際の動脈血酸素が88%であるとき、あなたは補助酸素を受けられません。より高度なケアへと引き上げられることもありません。そのまま帰宅させられるのです。
このデータをまとめた後、あるチームミーティングに座っていたときのことを覚えています。私たちのエンジニアの一人——優秀な男で、私が全幅の信頼を置いている人物——がこう言いました。『でも、下流のAIモデルがきっとこれを補正してくれるんですよね?』そのとき私は、まさにその思い込みこそが人々を殺しているのだと気づきました。AIはそれを補正しません。AIはそれを増幅させるのです。
誰も語らないカスケード
現代の病院で何が起きるかを説明しましょう。患者が到着します。バイタルサインが記録されます——そのパルスオキシメーターの測定値を含めて。それらのバイタルは電子カルテ(EHR)へと流れ込みます。そしてますます、AIシステムがそのデータストリームを監視し、悪化を示唆するパターン——敗血症、呼吸不全、心臓イベント——を探すようになっています。
AIが『高優先度』アラートを出す閾値がSpO₂ 92%未満で、ある黒人患者のオキシメーターが93%と表示している一方で真の動脈血酸素は88%だとすれば、アラートは決して発火しません。患者はフラグを立てられません。他に15人の患者を管理し、システムを信頼するよう学習してきた臨床医は、介入しないのです。
これは仮定の話ではありません。これは、今この瞬間の何百もの病院のアーキテクチャそのものです。
私はこの含意を、共同創業者と長い夜をかけて突き詰めました。私たちは何度も同じ居心地の悪い認識に立ち返りました——バイアスはアルゴリズムの中にあるのではない。それは入力の中にあるのだ、と。そして、世界で最も洗練され、公平性を意識し、完璧に較正されたAIモデルを構築しても、そこに人種差別的な体温計からのデータを入力すれば、立派な資格を備えた人種差別的なAIができあがるだけなのです。
最も使われている敗血症AIが症例の67%を見逃すとき、何が起きるのか?
パルスオキシメーターの話がハードウェアのバイアスがソフトウェアへ流れ込むことについてだとすれば、Epic Sepsis Model(敗血症モデル)の話は、ソフトウェアそのものがそもそもすべての人のために作られていなかったときに何が起きるかについての話です。
Epic Sepsis Model、すなわちESMは、何百ものアメリカの病院の電子カルテ(EHR)システムに統合されています。それは画期的なものとして売り込まれました——臨床医が気づく前に敗血症を特定でき、早期介入によって命を救えるAIとして。開発元は、AUC(曲線下面積、標準的な性能指標)が0.76から0.83であると報告しました。まずまずの数字です。
その後、ミシガン医科大学の研究者たちが独立した外部検証を行いました。AUCは0.63まで低下しました。感度——モデルが実際に敗血症症例を捉える能力——は33%でした。3件のうち2件を見逃していたのです。陽性的中率は12%で、つまりアラートの88%が誤報だったということです。そして、臨床医より先に患者にフラグを立てたのは、わずか6%の症例にすぎませんでした。
少しの間、この事実とともに立ち止まりたいと思います。何百もの病院に導入され、医師が毎日頼りにするワークフローに統合されたシステムが、アラートを出したときにはほぼ10回中9回は間違っており、実際の症例の3分の2を見逃していたのです。
感度33%の敗血症モデルは、安全網ではありません。それは、病院全体に及ぶ購読料を伴った、誤った安心感にすぎません。
しかし、これほどひどい性能の数字でさえ、最悪の部分ではありません。最悪なのは、それが誰を見捨てるか、ということです。
なぜAIによる敗血症検出は、とりわけ黒人患者に対して失敗するのか?
黒人およびヒスパニックの患者は、白人患者と比べて敗血症の発症率がほぼ2倍であり、しばしばより若い年齢で発症します。そうであれば、彼らこそがAI検出システムにとって最優先すべき集団になると思うでしょう。ところが研究によれば、ESMのようなモデルは、これらのグループ全体で較正が不十分であることが分かっています。
その理由は『ラベルバイアス』と呼ばれるものであり、いったんそれを理解すると、もう見て見ぬふりはできなくなります。
ほとんどの敗血症モデルは、臨床的定義や請求コードで訓練されています。それらのコードは、人間の臨床医が人間としての判断を下すことで生成されます。もし医師が歴史的に、黒人患者に対して血液培養の指示を出すのが遅い傾向にあるなら——それが暗黙のバイアスによるものであれ、コミュニケーションの障壁によるものであれ、あるいは制度的な要因によるものであれ——訓練データはその遅れを反映します。AIは『敗血症』とは白人患者のデータの特徴のように見えるものだと学習します。なぜなら、そうした患者こそが速やかに診断された人々だからです。その結果、AIは事実上、黒人患者における敗血症の現れ方に対して盲目になるのです。
そして、致命的なフィードバックループが閉じます——歴史的なデータが偏っていたために、AIは患者を見逃す。そして臨床医は、アラートを発火させなかったAIを信頼していたために、患者を見逃す。
私はこの件について、ある潜在的な投資家と議論しました。彼はこう言いました。『もっと良いデータでモデルを再訓練すればいいだけでは?』まるで『もっと良いデータ』がどこかの倉庫に眠っていて、差し込まれるのを待っているかのように。データはまさに歴史そのものです。その歴史はまさにバイアスそのものです。同じように偏ったデータをさらに追加しても、偏ったデータセットを修正することはできません。アーキテクチャそのものを変えなければならないのです。
10万人あたり50.3人の死——ヘルスケアAIを苦しめるべき数字
ここまで私が述べてきたことのすべて——オキシメーターの嘘、敗血症モデルの失敗、ラベルバイアス——は、妊産婦の健康において最も壊滅的なかたちで収束します。
CDCの報告によれば、黒人女性は妊娠関連死亡率が出生10万人あたり50.3人に直面しています。白人女性は14.5人です。これは格差などというものではありません。これは深い溝です——3.5倍も高いのです。そしてそれは、学歴や収入を調整してもなお残ります。大学の学位を持つ黒人女性は、高校の卒業証書を持たない白人女性よりも、出産で死亡する可能性が高いのです。
国内で最もデータの豊富な妊産婦医療環境の一つであるカリフォルニア州の妊産婦データセンターは、自動化された早期警告システムが黒人患者における重症合併症例の40%を見逃していたことを明らかにしました。40パーセントです。これらは命に関わる合併症——出血、子癇前症、敗血症——であり、妊産婦死亡の100倍もの頻度で発生します。AIはそれらを捉えるはずでした。しかし、そうはならなかったのです。
その理由の一部には、研究者が『ウェザリング(消耗)』効果と呼ぶものが関わっています——制度的人種差別によって引き起こされる慢性的ストレスがもたらす生理的な負担です。黒人女性はしばしば、より高いベースライン血圧や変化した心血管反応を示します。集団平均で訓練されたAIは、これらを、慢性的な負荷にさらされた身体における警告サインと認識するのではなく、『この患者にとっては正常』と解釈してしまうおそれがあるのです。
AIの早期警告システムが黒人の母親における重症合併症の40%を見逃すとき、それは技術的な不具合ではありません。それは、システムが訓練データに教えられたとおりに——つまり、不公平に——正確に機能している姿なのです。
そして、あらゆる医療経営幹部が注目すべき数字がこれです——マッキンゼーの試算によれば、黒人の妊産婦健康格差を解消すれば、米国のGDPに244億ドルを追加し、年間3億8,500万ドルの予防可能な医療費を節約できるといいます。これは単なる道徳的な危機ではありません。それは経済的な危機でもあるのです。
黒人女性は、いったん重症合併症が発生すると、白人女性と比べて死亡する可能性が1.79倍高くなります。これは発症率の問題ではありません——『救命の失敗(failure to rescue)』の問題です。合併症が起こり、介入のための窓が開き、そしてシステムが間に合うように動けない。AIがアラートを出さず、臨床医が他に十数人の患者を管理しているとき、その窓は閉じてしまうのです。
なぜChatGPTはこれを解決できないのか?
私はこの質問を絶えず受けます。だいたいこんな感じの質問です——『医療用のプロンプトを付けてGPT-4を使えばいいだけでは?医学のことをたくさん知っているんだから』
確かにそれは医学について多くを知っています——ただしそれは、あらゆる教科書を読んだが一度も患者に触れたことのない人が医学について多くを知っているのと同じ意味においてです。LLMは、言語の確率で訓練された統計エンジンです。病態生理を理解しているわけではありません。ベッドサイドのモニターからのリアルタイムの波形データを処理するわけでもありません。患者の肌の色や使用されている特定のデバイスの機種を踏まえて、ある特定のSpO₂測定値が信頼できるかどうかを教えてくれることもできないのです。
研究によれば、LLMが達成したのはわずか16.7%の精度でした——患者固有の変数が複雑な場合の、腎機能障害に対する用量調整においてです。LLMは幻覚(ハルシネーション)を起こします——権威あるように聞こえるが完全に捏造された臨床情報を、自信たっぷりに生成するのです。それらは、臨床医が推奨内容を検証するために必要な、透明性のある推論の連鎖を提供できません。これは、GDPRや進化しつつある米国の医療規制のもとで、ますます規制上の要件となりつつあります。
ヘルスケアAI市場は、私が『ラッパー』アプリケーションと呼ぶもの——汎用の公開APIの上にかぶせただけの薄いインターフェース——であふれかえっています。退院サマリーの下書きやカルテ記載の要約には問題ありません。しかし、ボーダーラインのバイタルを示して来院した32歳の黒人女性が、直ちに介入を要するのか、それとも待てるのかを判断するには、根本的に不十分なのです。
この区別は重要です。ラッパーは、汎用の言語モデルを取り、それを医学的な質問に向けるだけです。ディープなAIシステム——私たちが Veriprajna で作っているもの——は、リアルタイムの生理学的信号、専門家がラベル付けしたデータセット、そして公平性を意識した数学的制約を、モデルのアーキテクチャの中に土台から統合します。
これらのアプローチのうち一方は、敗血症について説得力のある一段落を書くことができます。もう一方は、それを実際に、そして公平に検出することができるのです。
差別しない臨床AIを、実際にどうやって作るのか?
ここからは少し技術的な話にならざるを得ません。というのも、解決策は哲学的なものではなく——数学的なものだからです。そしてその数学こそが、ディープAIを善意のベーパーウェアから分かつものなのです。
従来の機械学習の最適化は、データセット全体にわたる平均誤差を最小化します。それは一見合理的に聞こえますが、『平均』が自然と多数派グループを有利にすることに気づけば、そうではないと分かります。訓練データの70%が白人患者から来ているなら、モデルは白人患者に最適化されます。それ以外のすべての人々の誤差率は、ただ…平均の中で許容される損失にすぎなくなるのです。
私たちはそれを受け入れません。Veriprajna では、いわゆるワーストグループ損失最適化を実装しています。平均誤差を最小化するのではなく、私たちは最大の誤差を、すべての人口統計的サブグループにわたって最小化します。数学的には、黒人、白人、ヒスパニック、その他の集団にわたる最悪ケースの損失を同時に最小化することを解いているのです。自動化されたうつ病検出に関する研究では、このアプローチは全体的な精度をわずかに下げるかもしれないものの、そうでなければ体系的に誤分類されてしまう過小代表のグループにとっての結果を、大幅に改善することが示されています。
私たちはまた、等化オッズ(equalized odds)を課します——真陽性率と偽陽性率の両方が、人口統計的グループ間で等しいことを求めるのです。ある敗血症モデルが白人患者には80%の感度を持ちながら、黒人患者にはわずか40%しかないなら、それは人種に基づいて異なる水準のケアを提供していることになります。議論の余地はありません。それはモデルの性能の問題ではありません。それは公民権の問題なのです。
完全な数学的枠組み——公平性を意識した損失関数、敵対的デバイアシング、そしてマルチモーダル信号融合への私たちのアプローチを含む——については、私たちの研究論文の中で技術的な詳細を説明しています。
しかし、数学は一つの層にすぎません。実際には、完全なアーキテクチャは次のようなものになります。
入力を修正しなければなりません。私たちは、パルスオキシメーターの測定値をそのまま真実(グラウンドトゥルース)として扱いません。私たちのモデルは、オキシメトリを心拍変動、呼吸数、乳酸値の推移と融合させます。もし患者の心拍数と乳酸値が上昇している一方で、SpO₂が不審なほど安定したままなら、システムは信号の不一致にフラグを立て、臨床医に動脈血ガス分析——ゴールドスタンダード——を指示するよう促します。私たちは、単一の偏ったセンサーを信頼するのではなく、患者の真の状態を三角測量的に割り出しているのです。
ラベルを修正しなければなりません。私たちは、請求コードではなく、専門家が裁定したグラウンドトゥルースを用います。3人の敗血症の専門家が独立して症例をレビューし、診断のタイムラインについて合意したとき、それは、患者がすでにICUに入って6時間後に生成された請求コードとは、根本的に異なる訓練信号となります。
ローカルで検証しなければなりません。すべての導入は、その施設自身のデータの後ろ向き監査から始まります。私たちは、Population Stability Index(母集団安定性指標)と呼ばれるものを測定し、ローカルの患者集団が私たちの訓練コホートとどれだけ異なるかを定量化します。その差が大きすぎる場合は、本稼働の前に再較正します。Epic Sepsis Model の壊滅的な性能低下——内部での0.83 AUCから外部での0.63へ——は、まさにこのステップを飛ばしたときに起きることなのです。
『でも、これはAIの普及を遅らせるのでは?』
人々は私にこう尋ねます。そしてその背後にある衝動は理解できます。AIを臨床のワークフローに取り入れることには、本当に切迫した必要性があります。私たちが公平性の指標について議論している間にも、人々は亡くなっているのです。
しかし、私が学んだのはこういうことです——偏ったAIシステムを迅速に導入しても、より多くの命が救われるわけではありません。それが救うのは一部の命だけです——不釣り合いなほど白人で、不釣り合いなほど裕福な人々の命を——そしてその裏で、他のすべての人々を積極的に害する誤った安心感を生み出します。Epic Sepsis Model は迅速に導入されました。広範囲に導入されました。そして、敗血症症例の3分の2を見逃す一方で、88%の確率で誤報を生成していたのです。公平性を欠いたスピードは、進歩ではありません。それは、規模を伴った怠慢なのです。
私が耳にするもう一つの反論はこうです——『公平性の制約は精度を下げる』。これは最も狭い意味では技術的に正しい——ワーストグループの性能を最適化すると、集計指標がわずかに下がることはあります。しかし『集計精度』とは、パルスオキシメーターの危機を30年にわたって存続させたのと同じ統計的なごまかしなのです。あなたの95%の精度が、白人患者には95%で黒人患者には62%を意味するとき、その集計された数字は嘘なのです。
ヘルスケアAIにおいて平均精度を最適化することは、病院の平均気温を報告するようなものです——それは、身体が燃えている患者について何も教えてはくれません。
私が午前2時に考えること
私は、黒人女性の3人に1人が出産医療の間に不当な扱いを受けたと報告している、という事実について考えます。カリフォルニア州のAIシステムが黒人患者において見逃した、重症合併症例の40%について考えます。あのパルスオキシメーターのクリップに挟まれた娘の指、そして看護師の微笑み、そして画面上の——おそらく間違っているだろうと私には分かっていた——あの数字について考えます。
そして私は、私たちにはこれを解決する数学的な道具があるという事実について考えます。公平性を意識した損失関数は存在します。マルチモーダル信号融合は存在します。ローカル検証のフレームワークは存在します。ワーストグループ最適化は存在します。これらのどれ一つとして理論上のものではありません。私たちはそれを作り上げました。他のチームも作っています。知識はここにあるのです。
欠けているのは、意志です。あまりに多くの医療システムが、安くて速いという理由でラッパーソリューションを買っています。あまりに多くのAIベンダーが、サブグループごとの内訳を見せれば恥ずかしいことになるからと、集計精度を報告しています。あまりに多くの規制当局が、10人の被験者でデバイスを試験し、それで十分だと言っているのです。
進むべき道は複雑ではありません。あらゆるAIベンダーに、サブグループごとの性能指標を求めてください——人種、年齢、性別ごとに分解した感度、特異度、陽性的中率を。分母を見せない『99%の精度』という主張は拒否してください。ベンダーのホワイトペーパーではなく、独立した外部検証を要求してください。そして、公平性を機能のリクエストのように扱うのをやめてください。それは設計上の要件なのです。
黒人の母親たちは、白人の母親の3.5倍の割合で亡くなっています。偏ったハードウェアと偏ったラベルの上に築かれたAIシステムは、それをさらに悪化させています。そして、それが誰のために機能し、誰のために機能しないのかを問うことなく、また一つラッパーソリューションを導入する日ごとに、私たちは命よりも利便性を選んでいるのです。
私は、医学の語彙を備えたもう一つのチャットボットを作るために Veriprajna を始めたのではありません。私がそれを始めたのは、ディープなAI——自らの入力を吟味し、公平性を数学的に強制し、そして一人の患者に触れる前にローカルで検証するようなAI——こそが、誰かの命が危険にさらされているその場に居合わせるにふさわしい唯一の技術だと信じているからです。
問題は、AIがヘルスケアに属するかどうかではありません。属します。問題は、私たちにそれを正しく作るだけの誠実さがあるかどうかなのです。
