AIウォッシング制裁金はもう始まっている：次は貴社のAI主張か？

問題点

米証券取引委員会（SEC）は、自社のAIについて虚偽の説明をしたとして、投資会社2社に合計40万ドルの制裁金を科しました。劣ったAIを構築したためではありません。実際には構築してもいないAIを保有していると宣伝したのです。

2024年3月、SECは、人工知能（AI）の利用に関する虚偽の説明を行ったとして、Delphia (USA) Inc.とGlobal Predictions Inc.を告発しました。Delphiaは、支出パターンとソーシャルメディアのデータを分析し、「どの企業やトレンドが間もなく大きく飛躍するかを予測する」ための「予測アルゴリズムモデル」を使用していると顧客に説明していました。ところがSECの検査官が確認したところ、Delphiaはそのデータを投資プロセスに組み込んだことは一度もありませんでした。同社は2019年から2023年までこのような主張を続けました—2021年にSECから中止するよう警告された後もです。

Global Predictionsは自社を「初の規制対象AIファイナンシャルアドバイザー」と称しました。その裏付けとなる技術文書を規制当局から求められたとき、同社は提示できませんでした。Delphiaは22万5000ドルを支払いました。Global Predictionsは17万5000ドルを支払いました。

これらは複雑な詐欺スキームではありませんでした。エンジニアリングの現実を追い越してしまったマーケティング上の主張でした。そしてこれは、貴社の法務・コンプライアンス部門が今まさに理解しておくべき、新しい類型の企業リスクです。貴社の会社がどこかで「powered by AI（AI搭載）」という言葉を使っているなら—ウェブサイトであれ、投資家向け資料であれ、顧客への提案であれ—貴社はこの事案とまったく同じ執行リスクにさらされています。SECは新しいAI固有の規則ではなく、既存の反詐欺法を用いました。つまり、貴社の会社を処罰しうる法的枠組みは、今日すでに存在しているのです。

なぜ貴社のビジネスにとって重要なのか

SECによる40万ドルの制裁金は、ほんの口火に過ぎませんでした。現在、複数の連邦機関が、追及可能なAIの主張を積極的に探し出しています。

米連邦取引委員会（FTC）は、消費者経済全体における欺瞞的なAIの主張を標的にする「Operation AI Comply」を立ち上げました。2025年1月、FTCはDoNotPay—「世界初のロボット弁護士」を自称するサービス—を閉鎖に追い込みました。その理由は、同社のAIが人間の弁護士に実際に取って代われることを証明できなかったためです。FTCはまた、学校での武器検知性能についてAIセンサーを誤って表示していた疑いで、Evolv Technologiesも追及しました。

米司法省（DOJ）は「Justice AI」イニシアチブを発表しました。連邦検察官は今後、企業のコンプライアンス審査の一環として、貴社の会社のAIリスク管理能力を評価します。AIがホワイトカラー犯罪を可能にするために使われた場合は、より厳しい処罰を求めるよう指示されています。

これが貴社の損益に何を意味するのか、次のとおりです:

• 規制上の制裁金は下限であって上限ではない。 公になった執行措置の後に伴う評判の毀損と失われたビジネスに比べれば、Delphiaの22万5000ドルの制裁金は小さなものです。
• 貴社のAIベンダーが、貴社の法的責任を生み出す。 FTCは、AIツールが欺瞞の「手段（instrumentality）」として機能する場合、提供者とエンタープライズ顧客の双方が責任を問われうるとの立場を確立しています。
• 州司法長官も加わりつつあります。 彼らは州レベルでAIマーケティングの主張を追及するために、既存の消費者保護法制を利用しています。
• 取締役会へのエクスポージャーは現実です。 貴社の会社がSEC提出書類や投資家向けプレゼンテーションでAI駆動の能力を主張すれば、経営陣は既存の反詐欺規則の下で個人的な責任を負います。

これは将来の問題ではありません。執行のインフラはすでに構築され、稼働しています。

内部で実際に起きていること

AIウォッシングの根本原因は、現代のAIが実際にどのように機能するかについての技術的な誤解です。今日のAIアプリケーションのほとんど—ベンダーが貴社に売り込んでいるものも含めて—は、一連の文字列の中で最もありそうな次の単語を予測するシステムの上に構築されています。それらは事実を検証しません。もっともらしく聞こえるテキストを生成するのです。

スマートフォンの自動補完をインターネットの規模に拡大したものと考えてください。スマートフォンは、次の単語が正しいかどうかを知りません。普通どの単語が続くかだけを知っています。ChatGPTのようなツールの背後にあるAIシステム—大規模言語モデル（LLM）—も同じように動きます。違うのは、より多くのデータとより多くの数学を使っている点だけです。モデルには真実という内部的な概念がありません。学習データの中のパターンに基づいて、最も可能性の高い文字の並びを予測しているのです。

だからこそAIシステムは「ハルシネーション（幻覚）」を起こします—存在しない引用文献や、誤った財務数値、あるいは実際には裁判で判断されたことのない判例を生成するのです。規制された環境では、「ほぼ正しい」ことは法的には「誤り」と同じです。幻覚によって生成された法的引用は、貴社の組織に現実の法的責任をもたらします。

さらに悪いことに、今日エンタープライズ向けに販売されている「AIソリューション」の大多数は、業界で「ラッパー」と呼ばれるものです。これらは、一般公開されているAIサービスにAPI経由で接続する—本質的にはプラグのような—アプリケーションであり、その上にユーザーインターフェースを被せたものです。精度を犠牲にすることも多い、コスト最小化のために設計されています。自分自身の推論を検証することはできません。基盤モデルが生成した内容を、それが真実か否かにかかわらず、そのまま通すだけです。そして、その出力の背後に貴社の会社の名前と評判が置かれるのです。

機能するもの（と機能しないもの）

まず、貴社を守らないものから見ていきましょう:

• プロンプトエンジニアリングだけ。 AIへの指示の文言を入念に工夫しても、ハルシネーションを防ぐことはできません。発生頻度は減らせても、リスクは排除できません。
• 薄いAPIラッパー。 公開AIモデルに接続して自社ブランドを添えるだけでは、精度、データプライバシー、監査証跡に対するコントロールはゼロです。こうしたラッパーには、誤った入力が誤った出力を引き起こす脆弱性があります—いわゆる「リトリーバル・ポイズニング（検索汚染）」と呼ばれる問題です。
• 手作業によるスポットチェック。 人間がAIの出力を無作為に抽出してレビューしても、レビューしなかった出力の中の誤りは捉えられません。安全だという錯覚を生むだけです。

実際に機能するのは、根本的に異なるアーキテクチャです。その仕組みは、次の3つのステップで機能します:

1. ナレッジグラフによるグラウンディッド検索。 AIに関連情報を漠然と検索させる代わりに、貴社のドメイン知識の構造化された地図—ナレッジグラフを構築します。たとえば法務AIでは、すべての裁判所の意見書が、CITES、OVERRULES、AFFIRMSといった具体的な関係を通じて他の意見書にリンクします。システムは、この検証済みの構造の中に存在するものしか参照できません。これにより、検索は統計的な当てずっぽうから、検証済みの経路へと変わります。

2. マルチエージェント検証。 1つのAIモデルに調査・検証・執筆のすべてを担わせるのではなく、作業を専門化されたエージェントに分割します。「リサーチエージェント」が生のデータを取得します。「検証エージェント」が貴社のナレッジグラフと照合してクロスチェックします。「ライターエージェント」が検証済みの事実だけを使って最終出力を作成します。人間が結果を目にする前に、これらのエージェントはサイクルを回して互いの仕事をレビューし合います。

3. 自社インフラ上でのソブリンデプロイメント。 貴社のAIは自社のファイアウォールの内側—オンプレミスまたは公共インターネットから隔離されたプライベートクラウド—で動きます。これによりデータ漏えいはゼロになります。貴社の知的財産、顧客データ、営業秘密が外部サーバーに触れることは決してありません。HIPAA、GDPR、CCPAへのコンプライアンスにとってこれは必須です。

このアプローチを防御可能にしているのが、監査証跡の優位性です。すべての出力は、検証済みのリンクを通じて特定のソース文書までさかのぼれます。規制当局者、監査人、相手方の弁護士が「貴社のAIはどのようにこの結論に達したのか」と問うたとき、貴社は正確な経路—ソースデータから、検証を経て、最終出力まで—を示すことができます。防御できるシステムと、次なる法的責任と化すシステムの違いは、まさにそこにあります。

貴社のガバナンスフレームワークは、戦術的なリスクコントロールのためにNIST AIリスクマネジメントフレームワークを、認証可能な第三者監査付きコンプライアンスのためにISO/IEC 42001を組み合わせるべきです。ISO 42001は、AIマネジメントシステムに関して唯一の認証可能な国際規格です。第三者監査人が貴社のコンプライアンスを検証してくれます—調達審査、取締役会への報告、規制当局への提出に必要な文書が手に入るのです。

最後に、AI Bill of Materials（AIBOM）を構築してください—AIシステムを構成するすべてのコンポーネントの、完全で機械可読な記録です。これには、学習データセット、基底モデル、サードパーティライブラリ、インフラの詳細が含まれます。貴社のAIBOMは、AIに関する主張が技術的現実と一致していることを証明する単一の信頼できる情報源になります。SECが踏み込んできたときにDelphiaとGlobal Predictionsが提示できなかった文書は、まさにこれです。