医療におけるAI精度主張：0.001%が真に意味するもの

課題

2024年9月、テキサス州司法長官は、Pieces Technologiesという医療AI企業に対し、画期的な和解合意を締結させました。同社は医療機関に対し、自社の臨床記録ソフトウェアにおける「重大なハルシネーション率」は0.001%未満、すなわち出力10万件あたり1件未満のエラーにとどまると説明していました。テキサス州当局は、その主張を不正確かつ欺瞞的なものであると断定しました。

看過できないのはここからです。テキサス州の4つの主要病院グループが、すでにこのソフトウェアを導入していました。Houston Methodist、Children's Health System of Texas、Texas Health Resources、そしてParkland Hospitalがこぞって利用していたのです。このAIは患者カルテの要約、臨床記録の起草、退院に向けた課題の追跡を行っていました。これらは決して低リスクの作業ではありません。臨床記録のエラーは、患者の安全に直結します。

テキサス州司法長官が行動を起こすのに、新たなAI規制法は不要でした。既存の消費者保護規則であるテキサス州欺瞞的取引行為・消費者保護法（Texas Deceptive Trade Practices–Consumer Protection Act）だけで十分だったのです。同州は、Pieces Technologiesが宣伝していた精度指標は「不正確である可能性が高く（likely inaccurate）」、誤解を招く恐れがあると結論付けました。この影響を受けるのは医療業界の組織だけではありません。貴社がAIを導入し、その精度について何らかの主張を行っている場合、管轄の州司法長官や規制当局は、貴社を調査するための法的手段をすでに保有しています。

この事例は単に一企業だけの問題ではありません。規制の対象となる意思決定に関与するAIシステムを購入または自社開発しているすべての企業に対する警告なのです。

これが貴社のビジネスにとって重要な理由

検証されていないAIの性能主張がもたらす財務的および法的なリスクは、もはや理論上の話ではありません。Pieces Technologiesの和解合意により、テキサス州に対する5年間のコンプライアンス順守義務が課されました。これは、5年間にわたる義務的情報開示、継続的なモニタリング、そして独立した第三者監査の対象となる可能性を意味します。このような厳しい監視が自社の事業運営にどのような影響を及ぼすか、想像してみてください。

業界全体のデータは厳しい現実を浮き彫りにしています。

• わずか5%の企業しか、AIの大規模活用から測定可能なビジネス価値を得られていません。残りの95%は明確な投資対効果が得られないまま支出を続けています。
• **開発者の65%**が、複雑なタスクにおいてAIが「関連するコンテキストを見失い」、微妙なエラーや矛盾を引き起こすと報告しています。
• ベンダーから専門特化型AIツールを購入する企業の**成功率は67%に達する一方、社内でツールをゼロから内製する企業の成功率はわずか33%**にとどまります。

この和解により、Pieces Technologiesは自社製品のトレーニングに使用された具体的なデータとモデルを開示することが義務付けられました。さらに、あらゆる性能指標の算出根拠となった方法論の開示も求められています。貴社のAIベンダーが自社の精度主張の算出根拠を提示できない場合、貴社もそのリスクを共有することになります。

貴社の取締役会やコンプライアンスチームにとって、得られる教訓は明白です。規制上の基準は「AIが大半のケースで機能したかどうか」ではありません。「それを証明できるか、そして測定方法について顧客に真実を伝えたか」が問われるのです。貴組織が臨床、金融、法務などの規制対象となる業務にAIを導入する場合、この和解合意はデューデリジェンスの新たな基準（ベースライン）となります。

内部で実際に起きていること

0.001%というハルシネーション率の主張がなぜこれほど疑わしいのかを理解するには、これらのAIシステムが実際にどのように動作しているかを知る必要があります。

大規模言語モデル（Large Language Models：GPT-4などのツールの基盤技術）は予測エンジンです。トレーニング中に学習したパターンに基づいて、次に続く可能性が最も高い単語を推測することでテキストを生成します。スマートフォンの自動補完機能を、段落全体を執筆できるようにスケールアップしたものと考えてください。このシステムは事実を「理解」しているわけではありません。もっともらしく聞こえる表現を予測しているにすぎないのです。

ハルシネーション（幻覚）は、AIが正しそうに聞こえるものの事実に反する単語やフレーズに高い確率を割り当てたときに発生します。臨床現場においては、文章の構造には適合しているものの、患者の実際のカルテとは一致しない薬剤名を生成してしまうようなケースがこれに該当します。

これらのエラーを0.001%の精度で測定するには、完璧にラベル付けされた臨床要約の膨大なデータセットが必要となります。しかし、そのようなデータセットは存在しません。臨床記録はあまりにも断片化されており、個々の患者や医師に固有の要素が多すぎるため、普遍的なゴールドスタンダード（正解データ）を定義することは不可能なのです。

これこそが、ホワイトペーパーが「ラッパー（wrapper）」モデルと呼ぶものの根本的な問題です。ラッパーは、APIを通じて汎用AIに貴社のデータを送信し、返ってきた結果をそのまま表示するにすぎません。ドメイン固有の検証は最小限しか追加されません。このアプローチは製品を市場に迅速に投入できますが、ハルシネーションの検知、データ漏洩の防止、プロンプトインジェクション攻撃への対抗に必要な技術的保護策を欠いています。汎用モデルに対する単純なAPI呼び出しでは、患者の完全な病歴や医師固有の記録スタイルを考慮することはできません。市場投入の速さは、実用環境における安全性とは異なるのです。

何が有効で、何が有効でないか

まず、誤った安心感を与えかねない手法から整理しておきましょう。

• ベンダーが報告する精度指標のみに依存すること。 テキサス州の事例は、こうしたベンチマークがエンタープライズグレードの検証に求められる厳格さや客観的独立性を欠いている可能性があることを証明しました。貴社の調達チームには独立した証拠が必要です。
• 単一のAIモデルが自らを自己監視できると過信すること。 汎用モデルが独自の汎用的なセーフガードを適用するだけでは、高リスクな臨床判断や財務上の意思決定には不十分です。
• データ品質戦略のないままAIパイロットを拡大すること。 調査によると、先進的な企業は「70:20:10」のルールに従っています。すなわち、導入への取り組みの70%が組織変革に、20%がテクノロジースタックに、そしてアルゴリズムそのものにはわずか10%しか充てられていません。後れを取っている企業の多くは、乱雑なデータやサイロ化されたデータの上でモデルを拡張してしまっています。

では、実際に効果を発揮するアプローチとはどのようなものでしょうか——検証可能な出力（アウトプット）を軸に構築された3段階の手法を紹介します。

1. すべてのAIの回答を実際の自社データにグラウンディング（根拠付け）させること。 検索拡張生成（Retrieval-Augmented Generation：RAG）——AIが回答を生成する前に実際のソース文書を検索・参照する手法——により、出力を貴社が管理する事実情報に直接結び付けます。トレーニングデータからAIに推測させるのではなく、実際の患者記録、契約書、またはポリシー文書をAIに直接与えます。このアプローチは、リアルタイムのデータ検索と長期的なベクトルストレージを通じて、コンテキストの保持能力を強化します。

2. 敵対的検知レイヤーを追加すること。 これは、1つ目のAIシステムの成果物を検証することだけを任務とする2つ目のAIシステムを導入することを意味します。Pieces Technologiesのアーキテクチャでは、その検知モジュールは無作為抽出（ランダムサンプリング）と比較して、臨床的に重大なハルシネーションを捉える効果が7.5倍高かったとされています。全体のエラー率が争点となったとしても、この原則自体は極めて重要です。自動化されたチェックは人間が見落とすエラーを検出します。

3. 高リスクな意思決定には人間を介在（human-in-the-loop）させ続けること。 AIは起草するものであり、決定を下すものではありません。Piecesの事例では、検知システムによってフラグが立てられた要約は、認定専門医によるレビューへと回されました。フラグが付けられたエラーを修正するまでの中央値時間は3.7時間でした。急性期医療の現場では、このタイムラグは経過記録の作成には許容できても、リアルタイムの意思決定支援においては危険を伴う可能性があります。リスクと求められる応答速度に応じて、AIのユースケースを階層化する必要があります。

監査証跡の利点は、これらを貴社のコンプライアンスチームおよび法務チームのために統合することにあります。FAIR-AIなどのフレームワークは、導入されるすべてのツールに対して「AIラベル（AI Label）」を作成することを推奨しています。このラベルは、トレーニングデータ、モデルのバージョン、既知の故障モード（障害パターン）をエンドユーザーに開示します。規制当局や監査人から、AIがなぜ特定の決定を下したのかを問われた際、どのソース文書を参照し、どのようなチェックを通過し、どの担当者が最終出力を承認したかを正確に示すことができます。この透明性こそが、法的に防御可能な導入と法的責任（リスク）を分ける決定的な境界線となります。

特に ヘルスケア・ライフサイエンス分野の組織において、このような グラウンディングと引用検証 は任意ではなく、新たな標準となりつつあります。AIを構造化知識グラフや検証済みソース記録と接続する GraphRAGアーキテクチャ は、これを可能にする技術的基盤です。

これらの推奨事項の背後にある詳細なエンジニアリングについては、 完全な技術分析を読む か、または インタラクティブ版を探索する ことができます。