0.001%の誤謬を超えて

テキサス州司法長官によるこの和解は、ヘルスケア生成AI企業を対象としたものとしては初の事例でした。同社は、テキサス州の4つの主要病院（Houston Methodist、Children's Health System of Texas、Texas Health Resources、Parkland Hospital）に展開された臨床ドキュメンテーションソフトウェアについて、「重大ハルシネーション率0.001%未満」を謳いました。司法長官は、この指標が不正確かつ欺瞞的であると主張しました — LLMは本質的に確率的エンジンであり、0.001%の精度でハルシネーションを測定するには、実在しないほど途方もなく大規模なゴールドスタンダードデータセットが必要だからです。臨床LLMの現実的なハルシネーション率は2〜5%の範囲にあります。5年間の自主遵守保証（Assurance of Voluntary Compliance）は、指標の透明性（算出方法の開示）、有害な用途のリスク開示、学習データの文書化、司法長官からの情報要請への30日以内の回答を義務付けています。決定的なのは、新たなAI固有の立法は不要だったという点です — 既存のテキサス州DTPA消費者保護法で十分でした。

Med-HALT（医療領域ハルシネーションテスト）は、4つのテストタイプで臨床AIを吟味する専門フレームワークです：誤った「示唆付き」回答とともに質問を提示して過信を検出する誤自信テスト（False Confidence Tests）、架空の医療シナリオで無意味な問い合わせへの対処を評価する架空の質問テスト（Fake Questions）、学習データからの事実の記憶を検証するPMID-to-Title Recall、そして正しい選択肢が欠けていることで欠落情報の認識を試す該当なしテスト（None of the Above）。FAIR-AI（Framework for Appropriate Implementation and Review）は、より広い展開準備性に4つの柱で取り組みます：独立した第三者検証のもと領域固有の臨床ニーズに対してベンチマークを行う検証、人口統計グループ全体の公平性評価、技術的正確さを超えた現実の臨床インパクトを測る有用性、そして学習データ・モデルバージョン・既知の故障モード・制限事項を開示する「AIラベル」による透明性。これらのフレームワークは合わせて、0.001%主張のような単一の検証不能な指標への依存に取って代わるものです。

Veriprajnaの層別AIセーフティレベル（ASL）フレームワークは、ユースケースをリスクと必要な監督によって分類します：ASL 1-2（低インパクト）は、定期監査と標準的なプライバシー管理を伴うスケジュール調整などの管理業務をカバーします。ASL 3（中程度のインパクト）は、臨床医による必須レビューと透明性ログを必要とする臨床ドキュメンテーション支援をカバーします。ASL 4（高インパクト）は、説明可能な出力とヒューマン・イン・ザ・ループ検証を必要とする、再入院や再発の予測リスクスコアリングをカバーします。ASL 5（重大インパクト）は、エスカレーションプロトコルと厳格なガードレールを必要とする、危機介入チャットボットのような患者との自律的なやり取りをカバーします。このフレームワークは、臨床的に重要なハルシネーションの発見において無作為抽出の7.5倍有効な敵対的AI検出に支えられており、フラグ付きエラーが専門医（ボード認定医）によって修正されるまでの中央値修正時間は3.7時間です。これにより、高リスクの出力が適切な人間の検証なしに提示されることは決してありません。