40万ドルの制裁金がすべてのAI企業に突きつけたもの — SECのAIウォッシング摘発と、私が代わりに構築しているアーキテクチャ
ある銀行の見込み顧客との通話中に、SECがDelphiaとGlobal Predictionsに対する法執行措置を発表した。2024年3月18日のことだ。その顧客のコンプライアンス責任者は、私たちの会話を文字どおり遮って、プレスリリースを声に出して読み上げた。読み終えたあと、長い沈黙があった。そして彼女はこう言った。「つまりSECは、いま使っているAIベンダーが私たちに約束したことは、すべて訴訟の火種になりうる、と言っているわけですね」
彼女は間違っていなかった。SECは2社の投資顧問会社に対し、合計40万ドルの制裁金を科したばかりだった。その理由は、規制当局が正式にAIウォッシングと呼ぶもの — 人工知能の利用について虚偽かつ誤解を招く主張を行うこと — である。1社目のDelphiaは、2019年から顧客に対し、機械学習を用いて顧客の支出パターンやソーシャルメディア上の活動を分析し、「どの企業やトレンドが次に大化けするかを予測する」と説明していた。実態はどうだったか。同社はそうしたデータを投資プロセスに一度も組み込んでいなかった。一度もだ。文字どおり存在しない能力を売り込んでいたのである。
あの電話が、私の会社の進む方向を変えた。法執行措置に驚いたからではない — AIの誇大宣伝と規制の現実との衝突は、何か月も前から注視していた。変わったのは切迫感だ。突然、話をする銀行も、医療機関も、法律事務所も、「どうやってAIを導入するか」を尋ねなくなった。彼らが聞いてきたのは「自社のAIが、うたっているとおりに動くことをどうやって証明するのか」だった。
その問い — AIシステムに証明可能な真実をどう作り込むのか — こそ、私がそれ以来、取り憑かれたように答えを探し続けてきたものだ。
AIウォッシングとは何か、そしてなぜそれが重要なのか
グリーンウォッシングを思い浮かべてほしい。ただし対象はアルゴリズムだ。企業がマーケティング資料に「AI搭載」と貼り付け、株価が上がるのを、あるいは顧客のパイプラインが埋まるのを眺める。その裏側の技術が本当に宣伝どおりに動くのかを、誰も問わない。SECがこの言葉を意図的に借用したのは、欺瞞の仕組みがまったく同じだからだ。
Delphiaは、機械学習を活用した「予測的アルゴリズムモデル」を使っていると主張していた。SECは同社を検査し、2021年には虚偽の説明をやめるよう命じた。それでも同社はそれを続けた — さらに2年間にわたって。その結果、22万5,000ドルの制裁金と譴責処分を受けた。一方、Global Predictionsは自らを「初の規制対象AIファイナンシャルアドバイザー」と称し、「専門家によるAI主導の予測」を約束していた。規制当局がその主張を裏づける技術文書の提出を求めたところ、同社は提出できなかった。さらに17万5,000ドルが消えた。
SECは、これらの案件を訴追するのにAI専用の新しい法律を必要としなかった。何十年も前から存在する同じ詐欺防止法規を使っただけだ。自社の技術が何をするかについて嘘をつけば、それは詐欺である。「AI」の部分は関係ない。
これが通常の形ばかりの行政処分と違うのは、次の点だ。SECのゲイリー・ゲンスラー委員長は、これが始まりであって、一度きりのものではないと明言した。しかもSECだけではない。FTCは「Operation AI Comply」を立ち上げ、「世界初のロボット弁護士」と自称していたDoNotPayを標的にした。同社のAIが人間の弁護士を代替できるという主張を裏づけられなかったからだ。司法省は、企業のコンプライアンス評価の一環としてAIリスク管理を評価し、AIの悪用によって助長された犯罪にはより重い処罰を求める方針を表明した。
3つの連邦機関が、同じメッセージに収斂している。証明するか、代償を払うか、だ。
エンタープライズAIの大半が砂上に築かれていると気づいた夜
ある晩のことをよく覚えている。私とチームは、ある顧客が検討していた競合他社の「AI搭載リーガルリサーチツール」をベンチマークしていた。最近の巡回控訴裁判所の判決について、単純な質問を投げてみた。ツールは、3つの判例引用を添えた美しく整形された回答を返してきた。自信に満ちた口調。プロフェッショナルな文章。問題がひとつあった。引用のひとつは完全な捏造だったのだ。その判例は存在しなかった。残る2つは実在したが、ツールが主張する内容とは正反対のことを述べていた。
共同創業者は私を見てこう言った。「こいつは弁護士のように書き、オウムのように推論する」
これこそが技術的な問題の核心であり、バグではない — アーキテクチャそのものだ。大規模言語モデルの多くは次トークン予測で動く。それまでのすべてを踏まえて、次にどの語が来るべきかの確率を計算する。数学的にはエレガントだ。モデルの出力スコアに対するソフトマックス関数で、最も可能性の高い続きを選ぶ。しかし「最も可能性が高い」と「真である」はまったく別物だ。モデルは真実という概念を内部に持たない。法令を読んで、それを理解したことなど一度もない。何十億ものトークンを処理し、どの語がどの語の近くに現れやすいかを学んだだけだ。
マーケティングコピーの生成や議事録の要約なら、これで十分だ。しかし、ある取引がマネーロンダリング防止規制に適合しているかを銀行に伝えるとき、あるいはある薬物相互作用が危険かどうかを医師に伝えるとき、「統計的にもっともらしい」は法的には「間違い」と同義である。
規制業界では、「おおむね正しい」は品質のグレードではない — 責任リスクのカテゴリーだ。
それでも、いま企業に売り込まれている「AIソリューション」の圧倒的多数は、業界が婉曲に「ラッパー」と呼ぶものだ。OpenAIやAnthropicの公開APIを取ってきて、多少のプロンプトエンジニアリングと見栄えのよいUIを足して出荷する。ラッパーには自らの推論を検証する手段がない。答えがどこから来たのかを証明できない。ベースモデルが生成したものを、ハルシネーションもろとも、ただ中継するだけだ。
この問題については、私たちの研究のインタラクティブ版で詳しく書いた — これらのシステムが主張することと、アーキテクチャ上できることの隔たりは、愕然とするほど大きい。
なぜRAGは高リスクの意思決定で失敗するのか
この問題を技術者向けに説明すると、必ず誰かがこう言う。「でもRAGがあるじゃないですか」と。検索拡張生成(RAG) — モデルに文書データベースへのアクセスを与え、でっち上げる代わりに調べさせるアプローチだ。業界お気に入りの絆創膏である。
問題はこうだ。標準的なベクトルRAGは、質問と文書を数学的表現(ベクトル)に変換し、その抽象空間のなかで質問に「最も近い」文書を見つけることで機能する。意味的類似度の検索だ。そして多くの用途では、これはそれなりにうまく働く。
しかし「それなり」は、情報そのものと同じくらい情報同士の関係が重要な領域では崩壊する。リーガルリサーチを例にとろう。判例はただ存在するのではない — 他の判例を引用し、あるものを覆し、あるものを支持し、特定の管轄階層のなかで機能する。リーガルAIに「この判例はいまも有効な法か」と尋ねたとき、ベクトル検索は語が一致するという理由でその判例を拾ってくるかもしれない。しかし、その判例が半年後に上級裁判所によって覆されていたことを教える手立てはない。引用と否定の違いを見分けられないのだ。
私のチームはこれについて何週間も議論した。あるエンジニアはベクトル検索を改善し続けたがった — より良い埋め込み、より良いチャンク分割戦略、より高度なリランキング。別のエンジニアは、問題は検索の品質ではなく検索のアーキテクチャだと主張し続けた。「最も近い文書を見つける」というパラダイム全体が、文書同士の関係性こそが意味を担う領域では間違っている、というのだ。
彼女は正しかった。そしてその議論が、私たちをGraphRAGへと押しやった。
推論を証明できるAIを構築すると何が起きるのか
GraphRAG — 具体的には私たちがCitation-Enforced GraphRAGと呼ぶもの — は、曖昧な意味検索を構造化されたナレッジグラフに置き換える。抽象空間に浮かぶベクトルの代わりに、情報がどうつながっているかの明示的な地図を構築するのだ。法務のナレッジグラフでは、判決意見がノードになる。他の意見との関係がエッジ — CITES(引用)、OVERRULES(判例変更)、AFFIRMS(支持)、INTERPRETS(解釈)だ。制定法は、それを解釈する判例と結びつく。管轄の階層構造も直接エンコードされる。
AIが応答を生成するとき、単に「似た」テキストを見つけるのではない。グラフ内の検証済みの経路をたどるのだ。判例AがBという命題を支持すると主張するなら、両者を結ぶ実在の、監査可能なリンクがグラフ上になければならない。私たちはグラフ制約付きデコーディングを用いて、検証できない引用をモデルが出力すること自体を物理的に防いでいる。アーキテクチャが許さないため、モデルは文字どおり引用をハルシネートできない。
私が言う決定論的なAIとは、こういう意味だ。「たぶん正しい」ではない。証明可能な形で根拠づけられている、ということだ。
ベクトルRAGとGraphRAGの違いは、漸進的な改善ではない — どの本が関連しそうかを当てずっぽうで推測することと、実際に脚注まで読むことの違いだ。
私たちはこれをマルチエージェント・オーケストレーションと組み合わせている。1つのモデルがすべて — 調査も検証も執筆も — をこなすのではなく、専門化したエージェントを使う。リサーチエージェントが生の情報を取得する。検証エージェントがそれをナレッジグラフと突き合わせる。ライターエージェントが検証済みの事実だけを使って出力を作る。これらのエージェントは、私たちがCyclic Reflection Pattern(循環的リフレクション・パターン)と呼ぶ仕組みを通り、人間が結果を目にする前にドラフトを反復的にレビューしてハルシネーションを洗い出す。
ラッパーより遅い。構築コストも高い。それでも、規制当局の前に出ることになりうる判断を委ねられる唯一のアーキテクチャだ。
誰も話したがらないデータ主権の問題
AIウォッシングをめぐる議論がほとんど無視しているもう一つの側面がある。データがどこに置かれるか、だ。
ある医療関係の顧客に、単刀直入にこう聞かれたことがある。「御社のシステムを使ったら、私たちの患者データはどこへ行くのですか」。データが自分たちのインフラから一切出ないと伝えると、彼らは安堵した表情を見せた。そして、以前のベンダー — 名の知れたAI企業 — はその質問に明確に答えられなかったと打ち明けた。データはベンダーのクラウドへ送られ、共有インフラ上で処理され、しかもベンダーの利用規約は、それを自社モデルの改善に使うことを技術的に許容していた。
HIPAA、GDPR、CCPAの規律を受けるデータを扱う企業にとって、これはグレーゾーンではない。違反そのものだ。
私たちはソブリンなインフラ上に展開する — 顧客の構内で完全にセルフホストするか、AIインスタンスが公衆インターネットから隔離された顧客自身のプライベートクラウド(VPC)内に置く。初期投資はより多く必要になる。顧客側にGPUと専用インフラが要る。しかしその代わり、公開APIには決して提供できないものが手に入る。すなわち、データ漏洩ゼロと完全な監査可能性だ。すべてのクエリ、すべての応答、すべてのモデルバージョンが、顧客自身のガバナンス枠組みの内側に収まる。
私たちがこれをどう構築しているのか、その完全な技術アーキテクチャ — ナレッジグラフのスキーマ、マルチエージェント・オーケストレーションのフレームワーク、そしてソブリン展開へのアプローチを含む — については、私たちの技術ディープダイブをご覧いただきたい。
コンプライアンスに溺れずにAIを実際に統治するには
私は、経営陣がAIガバナンスをチェックボックス作業のように扱う役員会に何度も同席してきた。フレームワークを1つ選び、書類を埋め、次へ進む。そのやり方では制裁金を科されることになる。
業界標準として2つのフレームワークが台頭してきたが、両者の役割は異なる。NIST AIリスクマネジメントフレームワークは、任意の戦術的ガイドだ — リスクを特定し、測定し、社内プロセスを構築する助けになる。導入が速く、組織のなかに私が言う「AIリスクの筋肉」をつけるには最適だ。ただし自己申告である。実際にやったと言ったことを、誰も検証しない。
ISO/IEC 42001は、認証取得が可能な国際規格だ。第三者監査機関があなたのAIマネジメントシステムを審査し、認証するかしないかを決める。規制当局や顧客、あるいは買収候補先から「御社のAIガバナンスが本物であることを証明してください」と言われたとき、この認証が効いてくる。
賢いやり方は、両方を順序立てて使うことだ。まずNISTで機動的な内部統制を素早く構築し、次にその統制をISO 42001の要求事項にマッピングして正式な認証を取る。一方はスピードを、もう一方は証明を与えてくれる。
そして両フレームワークの下地には、ほとんどの企業がまだ耳にしたことすらない、新たに立ち上がりつつある要件がある。AI部品表(AIBOM)だ。AIシステムの栄養成分表示のようなものだと考えてほしい。学習データセット、ベースモデル、サードパーティのライブラリ、インフラ依存関係など、構築に投入されたすべてを機械可読で記録したものだ。監査人に「このモデルは何のデータで学習したのか」「この判断が下されたとき、PyTorchのどのバージョンが動いていたのか」と問われたとき、AIBOMは即座に答える。
私たちはデプロイパイプラインの一部としてAIBOMを自動生成している。すべてのモデルバージョンが、正確なコードとデータセットのバージョンまで遡れる。華やかな仕事ではない。しかしそれが、監査を通過するのと、初日から存在しているべきだった文書を慌てて再構築するのとの分かれ目になる。
「GPTを使えばいい」と言った投資家
この話をどうしてもしておきたい。AIウォッシングの取り締まりが罰しようとしている、まさにその発想を捉えているからだ。
Veriprajnaの初期のころ、私はある投資家にピッチをしていた。ナレッジグラフ、マルチエージェントによる検証、ソブリン展開モデルといったアーキテクチャを説明した。彼は礼儀正しく聞いたあと、こう言った。「GPT-4をラップして、安く売って、速くスケールすればいいじゃないか。バックエンドを監査する人なんていないよ」
私は、SECがまさにその論理で2社に制裁金を科したばかりだと伝えた。彼は肩をすくめた。
その半年後、彼のポートフォリオ企業の1社 — 「AI搭載」を掲げるフィンテック — が、マーケティング上の主張について規制当局から照会を受けた。同社は、ピッチ資料に書いたとおりのことを自社のAIが実際に行っていると示す文書を提出できなかった。最後に聞いた話では、緊急料金でコンプライアンスコンサルタントを雇おうと奔走していたそうだ。
取り締まりの環境がやがて緩むのではないか — 政権が代わったり優先順位が変わったりして、AIウォッシングのリスクが下がるのではないか、と私はよく聞かれる。正直に答えるなら、関係ない。SECが用いたのは既存の詐欺防止法だ。FTCは1914年から法典に載っているFTC法第5条を用いた。州の司法長官にはそれぞれの消費者保護法規がある。仮に連邦の執行の優先順位が動いたとしても、AIによる欺瞞を訴追するための法的インフラは恒久的で、幾重にも重なっている。
AIウォッシングは規制の一時的な流行ではない。白衣をまとった詐欺であり、いまやあらゆるレベルの政府がそれを訴追する手段と意欲の両方を持っている。
より重要な問いは、市場に何が起きるかだ。捏造されたAI能力をもとに企業が成功すれば、競争は歪み、正当なAI企業が事業を営むために必要な信頼は損なわれる。「先進的AI」として売られるラッパーが1つ増えるたびに、本物のエンジニアリングをしている企業が、なぜ自社のソリューションは高くて時間がかかるのかを説明するのは難しくなる。
信頼できるAIシステムとは実際どのようなものか
フレームワークや略語を剥ぎ取ってしまえば、規制当局の精査に耐えるAIを構築することは、4つのことに帰着する。
決定論を設計せよ。 確率的な出力を超えて、推論を証明できるアーキテクチャ — ニューロシンボリックなシステム、ナレッジグラフ、グラフ制約付きデコーディング — へ移行すること。AIが自らの過程を示せないなら、規制業界に出す準備はできていない。
主権を設計せよ。 自分たちが統制するインフラの内側に展開すること。顧客の機微なデータが共有の公共インフラに触れるなら、どれだけプロンプトエンジニアリングを重ねても直せないコンプライアンス上の責任リスクを作り出したことになる。
ガバナンスを標準化せよ。 認証可能なフレームワークを採用すること。AI部品表を維持すること。文書化を、年に一度の駆け込み作業ではなく、継続的で自動化されたプロセスにすること。
継続的に検証せよ。 敵対的なレッドチーミングを実施し、ハルシネーション率とグラウンディング率をKPIとして追跡し、高リスクの判断には人間を関与させ続けること。導入時点で正確だったモデルは、必ずドリフトする。取引アルゴリズムを監視するように監視すること — 失敗したときの結果は同等なのだから。
SECの40万ドルの制裁金は、金融業界にとっては端数処理の誤差のような額だ。しかし、その制裁金の背後にあるメッセージはそうではない。持っていないAI能力を売り込み、ブラックボックスを規制対象のワークフローに投入し、誰も確かめないと高をくくっていられる時代は終わった。いまやすべてのエンタープライズAIシステムは、暗黙の立証責任のもとで動いている。すなわち、これがあなたの主張どおりに動くことを、証明できますか?
私がVeriprajnaを立ち上げたのは — この名は「Veri」(真実)と「Prajna」(智慧)を組み合わせたものだ — AI業界の信頼の危機が、根本的にはアーキテクチャの危機だと信じているからだ。真実を気にかけるように設計されていないシステムで、真実の問題を解くことはできない。ナレッジグラフから積み上げ、すべてのエージェント、すべての検証ループ、すべての展開上の判断を通して、真実を作り込まなければならない。
これを理解している企業は、実際に機能するAIを作るだろう。そうでない企業は、APIをラップし、見栄えのするピッチ資料を書き、誰もボンネットの中を覗かないことを願い続ける。規制当局はいま、覗いている。そしてやめるつもりはない。
