AIによる補償否認の90%が不服申し立てで覆される──裁判所はそれを「契約違反」と呼んだ
ある家族は、母親を病院のベッドにとどめておくために、自己負担で16,768ドルを支払った。
彼女はメトヘモグロビン血症を患っていた──身体から酸素を奪う血液の障害だ。彼女の補償を判断していたアルゴリズムは、そのことを知らなかった──いや、正確に言えば、知っていながら気にかけなかった。それは、彼女の診断グループから入院日数を予測するように訓練されており、そのグループの平均的な患者は、帰宅できる状態にあった。だからシステムは、彼女の実際の血中酸素がまったく別の物語を語っているにもかかわらず、集団単位のタイムラインに沿って、彼女を退院対象としてフラグ付けした。彼女の家族はそのお金を工面した。ほとんどの家族にはそれができない──そして大半は、そもそも試みることすらしない。UnitedHealthの訴訟では、メディケア受給者のうち、否認に対して不服を申し立てた者は、わずか約0.2%にすぎなかった。
その事案が中心に据えられているのが、Lokken対UnitedHealth訴訟、すなわち、メディケア・アドバンテージの利用管理で回復期間を予測するために使われたAIツール「nH Predict」をめぐる集団訴訟だ。そして、あらゆる医療保険プランの経営幹部を凍りつかせるはずの数字がこれだ──およそその訴訟でAIが生成した否認の約90%が、不服申し立てで覆された──しかもそれは、わざわざ異議を唱えたごく一握りの加入者のなかでの話だ。これを初めて読んだとき、私の直感はたいていのエンジニアと同じだった──90%という覆り率はモデルの精度の問題であり、より良い学習データとより厳格な閾値で直せるものだ、と。私は間違っていて、その理由を裁判所が教えてくれた。ある連邦判事は、この90%を技術的な欠陥としてではなく、契約違反の証拠として扱っている。この一つの捉え直しこそ、メディケア・アドバンテージのAIガバナンスが実際に応えなければならないものであり、私が最終的にそれを軸にした会社を立ち上げることになった理由でもある。
90%という不服申し立ての覆り率は、チューニングのパラメータではない。それは、そのシステムがそもそも医学的必要性を判断してなどいなかったという告白だ。
この訴訟が問うているのは、あなたのモデルの欠陥ではなく、契約書の一文だ
恥ずかしいほど長い時間をかけてようやく理解したのは、こうした事案における法的リスクはモデルの重みには存在しない、ということだ。それは補償証明書(Evidence of Coverage)のなかにある。
あなたのEOC──すべての加入者が署名する契約──は、補償の決定が臨床サービスのスタッフと医師によって下されることを約束している。それが取り決めだ。私が各プランのEOCの文言を取り出し、実際の自動裁定キューと並べて置き始めたとき、そのギャップはほぼ必ず、白黒はっきりとそこにあった。契約書には、医師が決めると書いてある。ワークフローが示すのは、アルゴリズムが請求をスコアリングし、人間がそれが返してきたものに承認をクリックする姿だ。相手方の弁護士は、そのギャップを見つけるのにデータサイエンティストを必要としない。必要なのは、パラリーガルと蛍光ペンだ。
2026年3月のLokken事件におけるディスカバリー命令(2026 WL 658883)が、これを具体的なものにした。裁判所は原告に対し、AIの開発文書、学習データの仕様、検証レポートへのアクセスを認めた。私はその命令のプリントアウトを、ある条項に丸をつけて手元に置いている。それが、私があらゆるプランに語りかける仕方を変えたからだ──あなたのAIに関する文書は、いまや証拠開示の対象なのだ。あなたのモデルが、構造化された意思決定ログ、バージョン管理された学習データ、文書化された検証結果を提示できないなら、なぜ請求を否認したのかを再構築することはできない──そして、再構築できないものを弁護することはできない。
「ヒューマン・イン・ザ・ループ」が虚構になる瞬間
しばらくの間、私は、訴えられているプランは完全自動化された否認を行う無謀な例外なのだと思い込んでいた。現実はもっと居心地の悪いものであり、それは、最高医療責任者が「臨床医が承認しているから自分たちは安全だ」と私に告げるたびに、私がまず持ち出す詳細だ。
その破綻は、部屋の外にいる誰の目にも触れない、たった一つの運用上の決定で起きる。nH Predictの管理者たちは、モデルの予測から許容される乖離幅を、3%から1%へと狭めた。書面上はチューニングの変更だ。だが実際には、それは意思決定支援ツールを自動化されたゲートキーパーへと変えてしまった。アルゴリズムの数字から髪の毛一本ほどでも逸脱した臨床医は、いまやコンプライアンス違反となったからだ。システムを上書き(オーバーライド)した一部の者は、懲戒処分に直面した。
それこそが、ヒューマン・イン・ザ・ループが安全装置であることをやめ、演劇になる瞬間だ。モデルに異を唱えれば職を失いかねない医師は、臨床的判断を行使しているのではない──ただ機械的に承認印を押しているだけだ。そして、形だけのレビューを通過するあらゆる否認は、自動化された否認とまったく同じ契約上・規制上の責任を負う。機能的に見れば、それはまさに自動化された否認だからだ。
乖離幅は、ある委員会の議事録のなかに埋もれている。訴訟の勝敗が決するのはそこであって、モデルのアーキテクチャではない。
この点を素通りしてしまうガバナンスの議論を、私は数え切れないほど見てきた。プランは自社のモデルを監査する。だが、そのモデルを取り巻くワークフローのポリシー──閾値、オーバーライドのルール、懲戒の仕組み──を監査することは、ほとんどない。そのポリシーこそが、あなたの臨床医が意思決定者なのか、それとも実際には何も守らない責任の盾なのかを決めるのだ。
なぜ私たちは、最初に間違ったものを作ったのか
私のチームが始めたとき、私たちは当たり前のことをした。監視(モニタリング)を作ったのだ。
ホワイトボードの上では筋が通っていた。市場はAIのオブザーバビリティであふれている──FiddlerはSHAPとLIMEの説明可能性を、ドリフトとバイアスの検出とともに提供している。IBMのWatsonx.governanceには、公平性のためのOpenScaleがある。Credo AIとHolistic AIは、証拠を自動収集するポリシーパックとコンプライアンス・ダッシュボードを販売している。このカテゴリー全体の論理はこうだ──あなたには本番稼働中のモデルがあり、それを見張るレイヤーを取り付ければ、いまやガバナンスが手に入る、と。そこで私たちは、あるパイロット・プランの利用管理AIを見張り、美しい公平性の指標を生み出すレイヤーを作った。
そのとき、そのプランのある医療ディレクター──長年、自らのUM委員会に名を連ねてきた人物──が、私たちのダッシュボードを見て、私たちを振り出しに戻す問いを投げかけた。「これは、モデルが一貫して振る舞っていることを教えてくれます。でも、そもそもこのモデルがこの決定を下すべきなのかどうかは、何も教えてくれません。nH Predictだって、一貫していたのですよ」
彼女は正しく、それは胸に刺さった。私たちは、根本的に欠陥のあるものを測定するための、きわめて精密な計器を作り上げていたのだ。nH Predictは、監視されていなかったから失敗したのではない。それが失敗したのは、血中酸素、介護者の有無、併存疾患の相互作用といった個々の臨床指標よりも、診断グループの平均を重視したからだ──しかもそれは、個々のばらつきがまさに医学的必要性の定義そのものである、そんな領域においてだった。そのモデルをより綿密に監視したところで、あるシステムが確実に間違ったことをし続けているという、小ぎれいな記録が出来上がるだけだったろう。90%という覆り率は、見事に文書化されていたはずだ。
その失敗こそが、私たちが次に作り上げたすべての礎(いしずえ)となった。オブザーバビリティは、モデルが安定しているかどうかを教えてくれる。だが、その決定が弁護に耐えうるかどうかは、教えてくれない。それらは別の問題であり、ガバナンス・プラットフォームというカテゴリー全体は、私が気にかけていた買い手にとっては、最初の問題を解いておきながら、それを二つ目の問題だと言い張っていたのだ。
メディケア・アドバンテージのAIガバナンスは、実際に何をしなければならないのか?
そこで私たちは監視という前提を破り捨て、法廷で唯一重要となる問いから出発した──この特定の人物に対するこの特定の否認を、あなたは弁護できるのか?
その捉え直しは、作るものを完全に変える。あなたはもはや、モデルに計器を取り付けているのではない──何年も後に、ディスカバリー命令のもとで、決定がそれ自身を再構築できるように、決定を設計しているのだ。メディケア・アドバンテージのプランにとって、それは三つのことが同時に真でなければならないことを意味する。そして、それらを同時に成立させることこそ、Veriprajnaが次のページで取り組んでいる仕事にほかならない──veriprajna.com/solutions/medicare-advantage-ai-governance。
第一に、あらゆる決定は、それ自身の説明を伴わなければならない──全体的な公平性のスコアではなく、モデルがどの臨床的要因を重み付けし、どれを無視したのかを、臨床医と裁判官の双方が読める言葉で記した、決定ごとの記録である。ここが誰もが過小評価する部分であり、私が悪い知らせを届けなければならないところでもある。ほとんどのプランが稼働させているレガシーの請求プラットフォーム──Facets、QNXT──は、決定ごとの特徴量寄与(feature-attribution)の記録を出力するようには、そもそも設計されていなかった。それらは結果を保存するのであって、推論の過程を保存するのではない。だから、メディケア・アドバンテージのスタック上での本物の説明可能性は、棚からより良いモデルを選ぶという問題ではない。それはミドルウェアだ──モデルの入力、重み、そして臨床上のオーバーライドの経路を捕捉し、それらを証拠開示に耐えるように作られたログへと書き込むレイヤーである。それは華やかさのない統合作業であり、そして仕事の大半を占める。
より難しい要件は、コンプライアンスのアーキテクチャが、同時期に到来する規制群に対応づけられていなければならない、ということだ──そしてこれが、ある洗練されたプランがまっすぐに落ちていくのを私が目撃した罠へと、話をつなげる。
きれいに見えて、実はそうではない指標
事前承認に関する最終規則であるCMS-0057-Fは、2026年1月から効き始めた──緊急の請求には72時間、標準の請求には7日以内の処理、そして承認済みの入院を、不正の場合を除いて蒸し返さないこと。続いて2026年3月31日、最初の公的報告の期限が到来した。プランは、否認率、処理時間、不服申し立ての覆り率を含む、契約単位での8つの事前承認指標を報告しなければならなかった。
重要となる細部とは、Federal Register(連邦官報)の訂正まで、見出しだけでなく読んで初めて気づく類のものだ。2025年6月、CMSは、プラン単位の内訳と、UM委員会における医療の公平性に関する専門知識の要件を停止した。公開されたまま残っているのは、集計された、契約単位の指標だ。だから、あるプランは、まったく申し分のない契約単位の不服申し立て覆り率を公表し、きれいに見せることができる──その一方で、個々の決定ログ、すなわちLokken型のディスカバリー命令がまっすぐ手を突っ込む先のログは、まったく別の物語を語るのだ。
公開される指標は、あなたが見せることを選んだ部分だ。決定ログは、裁判所が取り上げる部分だ。ガバナンスが勝たなければならないのは、一つ目ではなく、二つ目のほうだ。
私は、3月31日の提出書類を、自分たちは守られている証拠だと指し示す経営幹部たちと、向き合って座ってきた。その提出は必要だ。だが、それは防御にはならない。原告側の弁護士団は、あなたの集計ダッシュボードを読んでなどいない。彼らは、ある一人の加入者の否認の背後にある記録を、召喚令状で取り寄せているのだ。
さらに2027年1月1日には、HL7 FHIRの事前承認API──CRD、DTR、PAS──が必須となり、あらゆるPA(事前承認)の決定について、完全な電子取引の証跡が生成される。その証跡は、あなたの最良の証拠にも、最悪の証拠にもなりうる。それは、決定が下されたときにその推論が捕捉されていたかどうかに、すべてがかかっている。後から埋め合わせることはできない。私はいままさに、あるQNXTのインスタンスに対する統合作業のチケットを一つ抱えているが、それは本質的に、あるプランがその二つの未来のどちらに行き着くかへの賭けなのだ。
どの単一プラットフォームも想定して作られていない、継ぎはぎ
そして、それは、既製品ではどれもカバーしていない規制の地図を生き抜かなければならない。私が初めて、複数の州にまたがるあるクライアントの義務を一枚のスプレッドシートに並べたとき、各列は互いに整合しなくなった──そしてそれは、意図されたものだ。それらの要件は、わざと食い違っているのだ。
テキサス州の責任あるAIガバナンス法(Texas Responsible AI Governance Act)は、広範な民事調査要求の権限を伴って、2026年1月に施行された──そしてテキサス州は、2024年9月にさかのぼり、誇張された精度の主張をめぐってPieces Technologiesを相手取った、ヘルスケア生成AIに関する初の調査を和解に導くことで、すでにその手の内を見せていた。ペンシルベニア州は異なる方向へと進んでおり、AIによる否認の前に人間である医療提供者のレビューを求め、AIが使われていること自体の開示を義務づけ、年次のコンプライアンス報告書を求める法律を制定した。複数の州にまたがるメディケア・アドバンテージ組織はいま、各州がそれぞれ異なる透明性・監査・開示の統制を求める、継ぎはぎに直面している。そして、グローバルに事業を展開するあらゆるプランにとって、EU AI法は、ヘルスケアAIを附属書IIIのもとで高リスクに分類しており、2027年8月までに完全準拠が求められ、罰則は全世界の年間売上高の6%に達する。
これこそ、大手コンサルティング会社が陥る継ぎ目だ。デロイトやアクセンチュアは、パッケージ化されたプラットフォーム──Credo AIやIBM Watsonx──を導入し、それをガバナンスと呼ぶだろう。だが、パッケージ化されたプラットフォームは、あなた固有のFacetsの構成を知らないし、テキサス州の調査要求と、ペンシルベニア州の否認前レビューの義務と、EUのリスク管理ファイルの要件とを調停することもない。請求システムのベンダーは、さらに分が悪い。FacetsとQNXTを保守しているのと同じ企業が、それらのためのAIアドオンも販売しているのだから、自社のプラットフォームにおけるガバナンスの穴を、わざわざ表に出そうという動機はあまり働かない。その情勢のなかで、買い手が必要としていた唯一のものを作っている者は、誰もいなかった──決定ごとに、同時に適用されるあらゆる規制へと対応づけられた、技術的な統制を。
プランは、なぜ説明可能性ソフトウェアをただ買えばよい、というわけにいかないのか?
人々は私に、もっともな問いを投げかける──説明可能性とバイアスの監視がすでに存在するのなら、プランはただFiddlerを買うか、因果AIを立ち上げるかして、それで済ませればよいのではないか、と。
理由は二つある。監視系のベンダーは、自分たちの仕事に本当に長けている──だが、彼らの前提のすべては、本番稼働中のモデルこそがガバナンスに値するものだ、という点にある。モデルの意思決定アーキテクチャそのものが欠陥である場合──nH Predictがまさにそうだったように──それをより注意深く見張ることは、より高解像度の被害の記録を手に入れさせるにすぎない。因果AIは──ここで最も信頼に足る名前はcausaLensだが──相関ではなく原因をモデル化するという、学術的には正しい答えだ。だが、それは商業的には未成熟で、狙いの大半は金融サービスに向けられている。補償の決定のためのヘルスケア特有の因果モデルは、いまだ大部分が研究段階にある。そして、Cohere Healthのような事前承認の自動化ベンダーは、まったく間違った変数を最適化している。Cohereは、あなたのPAの管理コストを47%削減するだろう。それは本物の数字であり、本物の便益だ。だが、速さは弁護可能性ではない。法廷で依然として再構築できない、より速い否認は、Lokkenが定義した、まさにその責任へと至る、より速い道筋にすぎない。
もう一つの理由はスケールであり、それは、私がプランを説き伏せて思いとどまらせることのできない部分だ。ガートナーは、2028年までに外来請求の80%が、AIを活用したリアルタイム裁定を通じて処理されると予想している。にもかかわらず、Censinetの集計によれば、正式なAIガバナンスの枠組みを持つ米国の病院は、今日でもわずか12%にすぎない。自動化された補償決定の量は、それらを弁護するためのインフラを誰かが構築するよりもはるかに速く、まもなく何倍にも膨れ上がろうとしている。そしてCMSは、礼儀正しく待ってなどいない──その支払年度2020年のRADV監査は、裏付けのない診断を検出するためにAIを活用した異常検知を用いて、2026年2月に始まった。規制当局は、あなた自身にそれを統治するよう求めながら、あなたのAIをAIで監査しているのだ。
先に動くプランは、これを優位性に変える
私は、警告ではなく、私が実際に信じていることで締めくくりたい。
私が話すあらゆるプランは、ガバナンスをコストとして扱う──AIを展開することへの税、誰もが望むエージェント型の自動化へのブレーキとして。その捉え方は理解できる。管理業務の経済性は、双方にとって過酷だ。医療提供者は否認と闘うために年間197億ドルを費やし、プランのほうも、争いのあるあらゆる請求ごとに自らのコストを負っている。誘惑は、より激しく自動化し、規則が求める最低限しか統治しないことだ。
だが、その計算は逆向きに走っている。不服申し立てで覆される否認は、そもそもコスト削減などではなかった──それらは、プランが収益として計上し、法廷で利息をつけて払い戻すことになる責任だった。どの否認についても、どの臨床的要因が重み付けされたのかを示す、きれいな記録を作り出せるプラン──本当に異を唱える自由を持っていた臨床医によって署名され、適用されるあらゆる規制へと対応づけられた記録を──は、単に訴訟を避けるだけではない。そのプランは、より速く、より自信を持って否認できる。なぜなら、各決定は、いまや日常茶飯事として訪れる精査を生き抜くように作られているからだ。私たちが作り上げたのは、メディケア・アドバンテージのAIガバナンス・アーキテクチャ──まさにそのようなプランのためのものだ。
あのメトヘモグロビン血症の患者の家族は、アルゴリズムが間違いを犯したから敗れたのではない。彼らが一時的に敗れたのは、システムが自らを説明できず、ループのなかのどの人間も、それを覆す自由を持っていなかったからだ。システムを、それが自らを説明できるように作り、人間に、それを覆す自由を与えよ。そうすれば、あなたはもはや、ディスカバリー命令が決して来ないことを願う立場にはいない。あなたは、それに備えている立場にいるのだ。
