いまAIで最も危険な数字は「99.999%」だ
昨年、ある病院のCIOと通話していたとき、彼はあるベンダーのピッチ資料を開いて画面を共有してくれました。7枚目のスライドには、72ポイントのフォントで中央に、たった一つの数字だけが載っていました。0.001%未満のハルシネーション率。 その下には、小さな文字でこう書かれていました。「臨床的に検証済み」。
彼はウェブカメラ越しに私を見て、こう言いました。「アシュトーシュ、これを信じてもいいのだろうか?」
私は、わからない、と答えました。ただ、その数字自体が彼を安心させるどころか、不安にさせるはずだ、とも言いました。数十もの診療科にわたる、雑然として矛盾だらけの、手書きと口述による臨床記録を要約するシステムで、ハルシネーション率が10万分の1未満だというのです。これは精度に関する主張ではありません。手品です。そして私の経験では、営業の場で誰かが手品を見せてきたら、そのあとで自分のポケットを確認したほうがいいのです。
数か月後、テキサス州司法長官がその直感を公式なものにしました。2024年9月、同州は、ダラスに拠点を置く医療AI企業Pieces Technologiesと画期的な和解に至りました。司法長官が虚偽の精度に関する主張だと主張した内容――まさにあの重大ハルシネーション率0.001%を含む――をめぐるものです。これは医療分野の生成AI企業に対する、この種としては初の法執行措置であり、しかもAIに特化した新しい法律を一切必要としませんでした。使われたのは、いかがわしい自動車販売店を追及するのにも使われる、ごく普通の古くからあるテキサス州欺瞞的取引行為法(Texas Deceptive Trade Practices Act)だけでした。
この和解は、私たちがVeriPrajnaで作るすべてのものについての考え方を変えました。私たちが何か悪いことをしていたからではなく、クライアントにうまく言葉で伝えられずにいたある事柄を、それがはっきりと結晶化させてくれたからです。エンタープライズAIの問題は、モデルがハルシネーションを起こすことではありません。業界全体が、モデルはハルシネーションを起こさないふりをすることを軸に、市場投入戦略をまるごと築き上げてしまっていることなのです。
0.001%のハルシネーション率とは、実際には何を意味するのか?
その計算を順を追って説明させてください。なぜなら、この手品の種が明かされるのは、まさにその計算においてだからです。
大規模言語モデルは確率的なシステムです。データベースが物事を「知っている」のとは違い、モデルは物事を「知って」いるわけではありません。モデルは、訓練中に学習したパターンに基づいて、次の単語――より正確には次のトークン――を予測します。生成される出力の確率は、その系列を構成する個々のトークンすべての確率を掛け合わせたものです。各トークンはごく小さな賭けであり、最終的な出力は、その小さな賭けを長々と連ねて掛け合わせたものなのです。
さて、重大ハルシネーション率が0.001%未満だと主張することは、10万件の出力のうち、臨床上の危害を引き起こすほど深刻な誤りを含むものが1件未満だ、という意味になります。その主張を統計的に少しでも確からしく検証するには、膨大で完璧に注釈付けされたゴールドスタンダードのデータセットが必要になります――何万件もの臨床要約それぞれを、何を「重大」とみなすかについて意見の一致した領域の専門家がレビューしたものです。そのようなデータセットは存在しません。Pieces Technologiesにも、他の誰にとっても。臨床記録はあまりに独特で、あまりに診療科ごとに固有で、個々の医師の書き方や患者の病歴にあまりに依存しているのです。
人間の専門家でさえ何が「正しい」のか意見が分かれるようなタスクで、誰かが99.999%の精度を主張するとき、その人は問題を解決したのではありません。定義によって問題を消し去っただけなのです。
テキサス州司法長官の調査は、Piecesが使用した指標は「おそらく不正確」であり、そのツールを導入していた病院――Houston Methodist、Parkland Hospital、Children's Health System of Texas、Texas Health Resourcesを含む――を誤解させかねないものだった、と結論づけました。4つの主要な医療システム。現実の患者たち。精度に関する主張が規制当局の精査に耐えられないシステムによって要約される、現実の臨床記録。
私がベンチマークを信じるのをやめた夜
この点について私の考え方を根本から変えた、ある瞬間についてお話ししたいと思います。
私たちは、臨床要約パイプラインの社内評価を実施していました――クライアント向けではなく、自社の研究開発のためです。私のチームは、堅牢だと思えるRAGベースのシステムを構築していました。検索拡張生成(Retrieval-Augmented Generation)とは、ご存じない方のために説明すると、モデルに記憶から答えさせるのではなく、まず知識ベースから関連文書を検索し、それをコンテキストとしてモデルに与える手法です。これは出力を事実に基づかせる(グラウンディングする)ことを目的としています。
社内の指標は素晴らしく見えました。忠実性スコアは95%超。検索精度は90%台後半。私たちは良い気分でした。そこで、エンジニアの一人――Priya、誰も聞きたがらないことに限って正しい、といういらだたしい癖のある人物――が、これまでとは違うことを試そうと提案しました。彼女は、自分たちのテストセットに対して測定する代わりに、公開データセットから実際の退院サマリーを50件取り出し、そのAI生成版を二人の医師にそれぞれ独立してレビューしてもらったのです。
結果が返ってきたのは木曜の夜でした。夕食を作っていたときに、Priyaからのこんな一文だけのSlackメッセージで携帯が震えたので、覚えています。「明日になる前にこれを見ておいたほうがいい」。
医師たちが問題を指摘したのは、50件の要約のうち23件でした。ほとんどの場合、致命的な誤りではありませんでした――今回ではなく前回の入院時の投薬量が引用されていたり、家族歴の詳細が別の親族のものとされていたり、検査値の方向性は正しいが数値がずれていたり、といったものです。しかし臨床の文脈では、「方向性は正しいが数値がずれている」ことが、安全な退院と再入院との分かれ目を意味することがあるのです。
私たちの自動化された指標は、そのほとんどすべてを見逃していました。システムは、言語的に流暢で、元資料と意味的に類似したテキストを生成していました――そしてそれこそが、その指標が測定していたものだったのです。しかしシステムが生成していたのは、臨床的に安全なテキストではありませんでした。そしてそれこそが、本当に重要だったのです。
あの夜が、私が品質の代用指標としてのベンチマークを信じるのをやめた夜でした。そしてそれが、Piecesの件が明るみに出たとき、私にこれほど強く突き刺さった理由です。企業がどのようにして自社の数字を眺め、それを心から信じ、それでもなお危険なほど間違っていられるのか――私にはその仕組みが手に取るようにわかったのです。
なぜテキサスはAI法ではなく消費者保護法を使ったのか?
これは、あらゆるAIベンダーを夜も眠れなくさせるはずの部分です。
テキサス州司法長官は、議会がAI規制を成立させるのを待ちませんでした。目新しい法理論を持ち出すこともしませんでした。彼が使ったのは、テキサス州欺瞞的取引行為・消費者保護法(Texas Deceptive Trade Practices–Consumer Protection Act)――何十年も前から存在する法律――であり、それを、自動車の燃費について嘘をついた企業に適用するのとまったく同じやり方で、AIの精度に関する主張に適用したのです。
その結果として結ばれた自主的遵守の確約(Assurance of Voluntary Compliance)は、Pieces Technologiesを、5年間の透明性を高めた期間に縛りつけます。同社は今後、広告するあらゆる精度指標の背後にある定義と計算方法を開示しなければなりません。自社製品の「既知の、あるいは合理的に知り得る、有害または有害となり得る使用法」を顧客に通知しなければなりません。訓練データとモデルの種類に関する文書を提供しなければなりません。そして、司法長官事務所からの情報提供要請に30日以内に応じなければなりません。
これは軽いお咎めなどではありません。これは一つの雛形です。
医療分野における初の大規模なAI法執行措置は、新たな立法を必要としませんでした。既存の消費者保護法で十分だったのです――そして、どの州にもそれはあります。
私は、「まだAI法はないから」という理由で自分たちは安全だと思い込んでいる企業の法務チームと話したことがあります。その思い込みは間違っています。自社のAIシステムの性能について主張をし、その主張が誤解を招くものであれば、あなたはすでに既存の法律のもとでリスクにさらされているのです。Piecesの和解は、それを証明したにすぎません。
私は、規制上の含意の全体像――和解のもとでの具体的な義務を含めて――について、私たちの研究のインタラクティブ版に書きました。調達、法務、コンプライアンスに携わっているなら、じっくり読む価値があります。
ラッパーの問題
アーキテクチャの観点で、実際に何が間違っていたと私が考えているか――そしてそれがPieces Technologiesをはるかに超えて重要である理由を、ここでお話しします。
今日出荷されているエンタープライズAI製品のほとんどは、業界が「ラッパー」と呼ぶものです。ラッパーは、ユーザーの入力を受け取り、それを基盤モデルのAPI――GPT-4、Claude、Gemini――に送り、その応答を軽い整形と、せいぜい後付けのガードレールをいくつか添えて表示します。作るのが速く、出荷するのが速く、売るのも速い。そして根本的に脆弱でもあります。
ラッパーは、あなたのデータを理解しません。患者の長期にわたる記録全体でコンテキストを維持することもしません。循環器科のRamirez医師が、腫瘍内科のChen医師とは違う書き方でカルテを書く、ということを知りません。20年の経験を持つ看護師が頭の中に蓄えている組織的な知識にアクセスすることもできません。ただトークンを予測するだけです。
私はかつて、この件である投資家と口論になったことがあります――激しいものでした。彼はラッパーベースの臨床文書作成ツールのデモを見て、それが「十分に良い」と確信していました。彼の言葉をそのまま引くと、こうです。「アシュトーシュ、GPTを使えばいい。少しファインチューニングして。出荷しろ。市場は待ってくれないぞ」
私は彼に、市場は待ってくれないだろうが、規制当局は待っている、と言いました。そして患者たちも待っている。そして訴訟も待っている、と。
彼は投資しませんでした。私はあの会話を後悔していません。
それに代わるもの――私たちがVeriPrajnaで作っているもの、そして業界が向かうべきだと私が考えているもの――は、深い統合です。それは、モデルを企業の実際のデータ基盤に組み込むことを意味します。RAGをチェックボックス的な機能としてではなく、特定の領域に合わせて調整された検索パイプラインを備えた、真のグラウンディングの仕組みとして使うことを意味します。領域固有のコーパスでファインチューニングすることを意味します。人間が実際に誤りを捕まえるための権限とコンテキストを持つ、多層的な人間による監督を意味します。
研究もこれを裏付けています。ある調査によれば、開発者の65%が、複雑なタスクの最中にAIが「関連するコンテキストを失う」と報告しています――しかもそれは、失敗しても壊れるのはビルドであって患者ではない、ソフトウェアエンジニアリングでの話です。医療において、コンテキストの喪失はバグではありません。安全上の事象です。
実際に効果があるもの:敵対的AIと3.7時間問題
Pieces Technologiesの功績を一つ認めましょう。彼らのアーキテクチャには、敵対的検出モジュール(Adversarial Detection Module)が含まれていました。その発想は理にかなっています――2つ目のAIモデルを使って1つ目のモデルを監視させ、生成された要約を、元の臨床データとの食い違いがないかスキャンするのです。彼らの技術論文によれば、この敵対的モジュールは、無作為抽出よりも7.5倍、臨床的に重大なハルシネーションを捕捉するうえで効果的でした。
これは本物の成果です。それでも、十分ではありません。
その理由をお話しします。敵対的モジュールが誤りを指摘すると、指摘された要約は、専門医の認定を受けた医師のもとにレビューのために回されました。是正までの時間の中央値は? 3.7時間。 勤務シフトの終わりに提出される経過記録なら、それでも許容できるかもしれません。しかし、患者が今日家に帰れるのか、それとももう一晩入院するのかを左右する退院サマリーにとって、3.7時間は永遠に等しい長さです。そして、誰もが先を争って作ろうとしているリアルタイムの臨床意思決定支援ツールにとっては、まったく役に立ちません。
これが、私が介入速度の問題と呼んでいるものであり、業界がまだ解決していない問題の一つです。世界最高のハルシネーション検出システムを作ることはできます。しかし、その修正ループが臨床のワークフローよりも遅ければ、いざというとき医師が目にするのは、修正されていない出力なのです。
適時の修正を伴わない検出は、失敗を記録に残しているだけにすぎません。
VeriPrajnaでは、これを段階的に考えるようになりました。すべてのAIのユースケースが同じリスクを抱えているわけではなく、すべてのユースケースが同じ速度の人間の介入を必要とするわけでもありません。事務的なスケジュール管理? それは週次で監査すればいい。臨床文書の作成? カルテに載る前にレビューする。リアルタイムの意思決定支援? 人間は、出力が生成される前にループの中にいなければなりません。事後ではだめなのです。
医療分野で登場しつつあるAI安全レベル(AI Safety Level)の枠組みは、これをうまく整理してくれます――レベル1(影響の小さい事務的タスク)から、レベル5(自律的な患者対応)まで。私が話をする組織のほとんどは、レベル3や4のツールを、レベル1の監督体制で導入しています。それこそが、規制当局が今後も埋め続けようとしている隔たりなのです。
なぜAIから真の価値を得ている企業はわずか5%なのか?
エンタープライズAIの研究から出てきた、私の頭を離れない統計があります。AIから大規模に測定可能なビジネス価値を得ている企業は、わずか5%にすぎない、というものです。50%ではありません。25%でもありません。5%です。
その5%に入る企業には、共通するパターンがあります。彼らは、導入の労力の70%を組織の変革に費やします――ワークフローを再設計し、役割を再定義し、意思決定のあり方を変えるのです。20%は技術スタックに充てられます。10%はアルゴリズムそのものに充てられます。
それ以外のすべての企業は、その比率を逆転させています。彼らは何か月もかけて適切なモデルを選び、何週間もかけてパイプラインを構築し、そして、下流にいる人間が実際にAIの出力を信頼し、理解し、効果的に監督できるのかどうかを考えることには、ほぼゼロの時間しか使いません。
私はこれを間近で見てきました。私たちは、技術的に洗練されたシステムを構築したあるチームと仕事をしました――美しいアーキテクチャ、きれいなコード、目を見張るベンチマーク。しかし、そのために作られたはずの臨床医たちは、それを使いませんでした。出来が悪かったからではなく、誰も彼らに何が必要なのかを尋ねていなかったからです。そのツールは、既存のワークフローに合わない形式で要約を生成しました。すでに知っている情報を前面に押し出し、本当に必要な情報を埋もれさせてしまったのです。それは、実際に仕事をしている人々ではなく、エンジニアによって定義された問題に対する解決策でした。
私たちは、再設計のためのコードを一行でも書く前に、まる三週間、ただ臨床スタッフのそばに座り、彼らが働く様子を観察することに費やしました。それこそが、重要な70%なのです。
評価フレームワーク、敵対的検出のアーキテクチャ、そして5%を95%から分ける投資対効果(ROI)のパターンについての完全な技術的解説は、私たちの詳細な研究論文をご覧ください。
企業は、AIの精度に関する主張を実際どのように評価すべきか?
この質問は絶えず寄せられるので、単刀直入に言いましょう。
第一に、定義を要求すること。ベンダーがハルシネーション率はX%だと言ってきたら、こう尋ねてください。何をもってハルシネーションとみなすのか? テストセットに注釈を付けたのは誰か? その規模はどれくらいだったのか? 評価したのは領域の専門家か、それとも別のAIモデルか? これらの問いに明確に答えられないなら、その数字は無意味です。
第二に、評価フレームワークを見ること。私が医療分野で見てきた中で最も優れているのは、Med-HALT――医療領域ハルシネーションテスト(Medical Domain Hallucination Test)です。これは、モデルが正しい答えを出せるかどうかを測るだけではありません。モデルが、自信たっぷりに間違った答えを出すのを踏みとどまれるかどうかを試すのです。そのサブテストの一つである誤った自信テスト(False Confidence Test)は、モデルに、質問と、実際には間違っている「正解」とされる答えを提示し、モデルがそれに乗ってしまうかどうかを確認します。「上記のいずれでもない(None of the Above)」と呼ばれる別のテストは、提示された選択肢のどれも正しくない、というときにそれを見抜けるかどうかを確認します――これは決定的に重要な能力です。なぜなら医療において、「わからない」がしばしば最も安全な答えだからです。
第三に、FAIR-AIフレームワークが「AIラベル(AI Label)」と呼ぶものを求めること――これは、モデルがどんなデータで訓練されたのか、既知の故障モードは何か、現在どのバージョンが導入されているのかをエンドユーザーに伝える、標準化された開示情報です。AI版の栄養成分表示のようなものだと考えてください。ベンダーがそれを渡そうとしないなら、彼らが何を隠しているのかを自問してみるべきです。
問うべきは「あなたのAIはどれくらい正確か?」ではありません。「なぜそう言えるのか――そしてそれを規制当局に証明できるのか?」なのです。
あの和解はすべてを変えた。ほとんどの人は、まだそれに気づいていない。
今後2年間で何が起こると私が考えているかを、ここでお話しします。しかも私は、これらのルールの対象となるシステムを実際に作っている立場の人間として、これを言っています。
テキサスの和解は、各地で再現されていくでしょう。他の州の司法長官たちが注視しています。FTC(連邦取引委員会)も注視しています。パターンは確立されました。AIに関する主張を規制するのに、AI法は必要ありません。必要なのは、消費者保護法と、過大な約束をしたベンダーだけです。
企業の調達は変わっていくでしょう。病院システムや大口の買い手は、契約を結ぶ前に、AIの精度に関する主張について独立した第三者による監査を要求するようになるでしょう。あの和解は、自己開示に代わる選択肢としてこれを明示的に認めており、賢い買い手はそれを要求するようになります。
ラッパーモデルは死んでいくでしょう――ゆっくりと、そして一気に。ラッパーが、失敗しても影響の小さいアプリケーションで機能しないから(実際には機能します)ではなく、影響の大きい環境でグラウンディングされていないシステムを導入する規制上のコストが、まもなく法外なものになろうとしているからです。生き残る企業は、それが困難だった時期に深い統合に投資した企業であって、速く出荷して誰もチェックしないことを願っていた企業ではありません。
そしてあの0.001%という主張は? それは戒めの物語になるでしょう――エンタープライズAIにおける、Theranosの「一滴の血液」に相当するものです。あまりに完璧すぎて、本来なら警告とみなされるべきだった数字です。
私は時々、あの病院のCIOのことを思い出します。大きな数字の載ったスライドを私に見せてくれた、あの人です。彼はそのシステムを買いませんでした。あの主張の精密さのどこかが引っかかったのだ、と後になって私に語りました――それは、あまりにきれいで、本質的に確率的なものだと彼が知っていた技術にしては、あまりに自信に満ちていたのです。
彼が引っかかったのは正しかったのです。エンタープライズAIで最も難しいのは、うまく機能するシステムを作ることではありません。うまく機能しないときに、それを正直に教えてくれるシステムを作ることです。それが今の基準です。99.999%ではありません。スライドに載った数字でもありません。基準はこうです――自分の作業過程を示し、それに責任を持って向き合い、間違っていたときにはその結果を引き受けられるか?
それこそが、私たちが目指して作り上げているものです。完璧なAIではありません。正直なAIです。そしてそれは、誰かのハルシネーション率よりもはるかに大きな意味を持つことになる、と私は考えています。