2025 年の AI セキュリティ侵害が暴いた 1 兆ドルの嘘 — 私は、その代替を作った
GitHub Copilot の RCE 開示が飛び込んできたとき、私は中堅の金融サービス企業の CISO と通話中だった。ちょうど話の途中だった — 彼はなぜ自分のチームが 400 人の開発者に Copilot を展開したばかりなのかを説明していた — そして彼の Slack が光り出すにつれ、その表情が変わっていくのを私は見ていた。彼は自分をミュートした。90 秒後に戻ってきて、非常に静かにこう言った。「CVE-2025-53773 が我々にとって何を意味するのか、説明してもらえますか？」
その意味はこうだった。README ファイルに仕込まれた一つの隠れた指示 — テキストファイル — が、Copilot を実行しているすべての開発者ワークステーション上で、完全なリモートコード実行へとエスカレートし得たのだ。バッファオーバーフロー経由ではない。カーネルのゼロデイ経由でもない。経路となったのは、一つの会話だった。相手は AI アシスタントである。
あの通話は、その後の半年間の私の進路を変えた。だが正直に言えば、予兆は一年以上前から見えていた。
私はアシュトーシュ、Veriprajna の創業者だ。社名はラテン語のVeri（真実）とサンスクリット語のPrajna（叡智）に由来する。我々が構築しているのは、私が Deep AI と呼ぶものだ。設計によって決定論的であり、要件として監査可能であり、インフラによって主権を持つシステムである。我々はラッパーを作らない。そして 2025 年は、その区別がなぜ重要なのかを、破滅的なかたちで証明した。
ラッパー経済は、いずれ必ず崩壊するはずだった
およそ 2 年間、エンタープライズ AI 市場はある魅惑的な前提の上で動いていた。基盤モデル — GPT-4、Claude、Gemini — を持ってきて、見栄えのするインターフェースで包み、多少のプロンプトエンジニアリングを加えて、「ソリューション」として売る。何千ものスタートアップがまさにこれをやった。その多くが、それで多額の資金を調達した。
その魅力は理解できた。デモまでの時間は驚異的だった。1 週間あれば、自社のビジネスを「理解している」AI を取締役会に見せられた。だが私は、業界イベントで嫌われるような問いを投げ続けていた。この代物が本番環境で、実際の権限を持ち、実際のインフラ上で動いたら何が起きるのか？
答えは 2025 年に届いた。しかも、容赦のないかたちで。
3 つのインシデント — GitHub Copilot のリモートコード実行の脆弱性、Microsoft Bing のキャッシュを通じた「ゾンビデータ」の露出、そして Amazon Q のサプライチェーン汚染 — は、合わせて 16,000 を超える組織と 100 万人近い開発者に影響を与えた。これらはエッジケースではなかった。これらは、確率的なシステムを、あたかも決定論的なインフラであるかのようにデプロイしたことの、予測可能な帰結だった。
AI が管理者権限を持つ監視されないエージェントとして動作するとき、その失敗はインフラの速度で伝播する。
これらの侵害の完全な技術的解剖については、我々の研究のインタラクティブ版に書いた。だが私を夜眠らせないのは、その数字の背後にある物語のほうだ。
プロンプトが武器になるとき、何が起きるのか？
Copilot のインシデントを順を追って説明したい。その仕組みは、本当に背筋が寒くなるものだからだ。
CVE-2025-53773 は CVSS の深刻度スケールで 7.8 —「High（高）」— を記録した。この脆弱性クラスに対して、業界は新しい名前を発明しなければならなかった。すなわちPrompt-to-RCEだ。言語的な指示が、バイナリコードの実行へとエスカレートすることである。
仕組みはこうだ。攻撃者は、README ファイル、コードコメント、あるいは GitHub の issue にさえ、隠れた指示 — クロスプロンプトインジェクション — を仕込む。見た目に怪しいところは何もない。開発者が Copilot に「コードをレビューして」あるいは「このプロジェクトを説明して」と頼むと、AI はその隠れた指示を取り込む。そして AI はワークスペースの設定ファイルを書き換え、具体的には次の 1 行を追加する。すなわち"chat.tools.autoApprove": true。
セキュリティコミュニティはこれを「YOLO モード」と呼び始めた。ひとたび有効化されると、AI アシスタントはシェルコマンドを実行し、ウェブを閲覧し、ローカルファイルシステムと対話できるようになった — すべて開発者に許可を求めることなく、である。そこからマルウェアをダウンロードし、認証情報を窃取し、ワークステーションをボットネットに参加させるのは造作もなかった。
完全な開示情報を読んだあと、オフィスに座ったまま主任セキュリティエンジニアのほうを向いて、こう言ったのを覚えている。「これはバグじゃない。これは設計どおりに機能しているアーキテクチャだ」AI にはエージェンシー（行為主体性）が与えられていた。権限が与えられていた。そして誰も、十分に説得力のあるプロンプトに対して「ノー」と言えるシステムを構築していなかった。
私に取り憑いて離れなかったのは、そこだ。従来のアクセス制御は、行為者が人間であるか、固定された振る舞いを持つソフトウェアであるかのどちらかだと想定している。AI エージェントはそのどちらでもない。ユーザーの全権限を継承しながら、言語による操作に応答する。誰かに自宅の鍵を渡しておきながら、詐欺師に言いくるめられてその人がドアを開けたことに驚いているようなものだ。
なぜ死んだデータが生き返ったのか？
2 つ目の侵害は、より奇妙で、ある意味ではより不穏なものだった。
2025 年 2 月、Lasso Security の研究者たちは、Microsoft の Copilot が、非公開化あるいは削除された GitHub リポジトリのデータ — ときには数か月前に非公開化・削除されたもの — を表に出していることを発見した。彼らはそれを「ゾンビデータ」と呼び、その名は的確だったので定着した。これは死んでいるはずのデータだった。だが死んでいなかった。
そのメカニズムは、ほとんど気恥ずかしくなるほど単純だった。Bing の検索エンジンは、何千もの公開リポジトリをクロールしてキャッシュしていた。それらのリポジトリが後から非公開にされても — 多くの場合、API キーや社内ドキュメント、独自コードを誤ってコミットしていたと誰かが気づいたためだ — キャッシュされた版は Bing の検索拡張生成（RAG）システムの中に残り続けた。Copilot を使う者なら誰でも、削除されたはずの情報を照会できたのだ。
露出の規模は驚異的だった。IBM、Google、Tencent、PayPal のプライベートリポジトリ。AWS、GCP、OpenAI、Hugging Face といったサービス向けに抽出された 300 を超えるプライベートトークンと API キー。依存関係混同（dependency confusion）攻撃に脆弱な 100 を超える内部パッケージ。
この頃、ある見込み客と話をした — ヘルスケア企業のエンジニアリング担当 VP だ。彼は自分のチームは「すべて正しくやった」と語った。認証情報をローテーションし、リポジトリを非公開にし、手順書どおりに動いた。そしてそのどれもが意味を持たなかった。AI の記憶のほうが、彼らのセキュリティ対応よりも長かったからだ。
ラッパーモデルにおいて、データ主権と AI の利便性は根本的に対立している。AI のコンテキストウィンドウが他人の検索キャッシュであるとき、自社のデータライフサイクルを制御することはできない。
この侵害は、私がしばらく主張してきたことを結晶化させた。AI が第三者の検索システム — 公開検索エンジン、外部 API、他人のインデックス — に依存しているなら、あなたはすでにデータの制御を失っている。社内ポリシーがどれほど優れていても関係ない。データはあなたの手が届かない場所に、あなたにはフラッシュできないキャッシュの中に存在し、あなたが一度も承認していない質問に答えを返している。
AI の提案を大規模に汚染するにはどうすればいいのか？
3 つ目のインシデントは、チーム全員を怒らせたものだった。
2025 年 7 月、攻撃者が Visual Studio Code 向けの Amazon Q Developer 拡張機能を侵害した — インストール数 950,000 を超える拡張機能だ。侵入口は、CI/CD サービス内でスコープが不適切に設定された GitHub トークンだった。これにより攻撃者は、cleaner.md というファイルをソースリポジトリに直接コミットできてしまった。
そのファイルはプロンプトテンプレートだった。無害に見えた。しかしそれは AI に「システムクリーナー」として振る舞うよう指示していた — ユーザーのホームディレクトリを消去し、EC2 インスタンスを終了させ、S3 バケットを削除し、IAM ユーザーを除去する Bash コマンドを提案させるかたちで。
少し噛みしめてほしい。一つのテキストファイル — 信頼されたリポジトリの中にあり、公式マーケットプレイスの更新を通じて配布されたもの — が、AI コーディングアシスタントを、ローカルマシンと本番クラウドインフラの双方に向けられた武器へと変えたのだ。
これを解剖していたのはチームミーティングの場だった。エンジニアの一人 — セキュリティ畑で 15 年やってきた人物 — が、ぶっきらぼうにこう言った。「我々は何十年もかけて、バイナリ、コンテナ、ネットワーク境界を守ってきた。誰も守らなかったのは提案だ」
彼は正しかった。Amazon Q の侵害が証明したのは、プロンプトは新しいコードである、ということだ。コンパイル済みの命令が CPU の振る舞いを決定づけるのと同じくらい確実に、プロンプトは AI の振る舞いを形づくる。にもかかわらず業界全体で、プロンプトテンプレートは平文で保存され、レビューなしにコミットされ、暗号署名なしに配布されていた。
これらのインシデントは本当にそれほど深刻だったのかと聞かれることがある — 結局のところ、発見されパッチが当てられたのだから、と。だがそれは論点を完全に外している。パッチは個別の脆弱性を修正した。しかし、それらを生み出したアーキテクチャそのものは修正しなかった。そのアーキテクチャの下では、脆弱性は不可避だった。
リスクの高い環境における確率的 AI の根本的な問題
ラッパー経済が決して直視したがらなかった不都合な真実がある。大規模言語モデルは確率的エンジンだ。学習データの統計的パターンに基づいて、次に来る最も確からしいトークンを予測する。流暢で、もっともらしく聞こえるテキストを生成することにかけては並外れて優れている。だが、真実という概念を持たない。安全という概念を持たない。「この操作は本番データベースを破壊する」という概念を持たない。
確率的モデルの周りに薄いインターフェースを巻きつけ、そこに管理者権限を手渡したとき、あなたが作ったのはエンタープライズソリューションではない。あなたが作ったのは、きわめて弁の立つ負債だ。
LLM は真実を理解しない — 理解しているのはもっともらしさだ。本番環境において、その区別は、監査証跡と侵害報告書との違いを意味する。
これこそ、私が Veriprajna を創業して解こうとした問題だ。ニューラルネットワークを捨てることによってではない — 自然言語理解、パターン認識、創造的推論において、それらは本当に強力だ。そうではなく、それらを単独で動かすことを拒むことによってである。
ニューロシンボリックアーキテクチャとは、実際にはどのようなものか？
我々は、2 つの異なる知性のモードを融合させたハイブリッドシステムを設計する。私はそれらを「声」と「頭脳」と捉えている。
ニューラルシステム — 「声」 — は知覚を担う。開発者が何を求めているのかを理解し、自然言語を解釈し、パターンを認識する。それはインターフェース層であり、その仕事にかけては非常に優秀だ。
シンボリックシステム — 「頭脳」 — は推論を担う。決定論的な論理、監査可能な計算、ドメイン固有の制約を強制する。それは予測しない。それは証明する。
決定的に重要な洞察は、この分離にある。「声」がアクションを提案するとき — たとえばシェルコマンドを生成するとき — 「頭脳」は実行前に、それを厳格な論理ルールに照らして検証する。ニューラルモデルが本番 VPC 内のデータベース削除を提案すれば、シンボリックエンジンがそれを拒否する。誰かが「データベースを削除しないでください」というプロンプトを書いたからではない。そのアクションが物理的にブロックされているからだ — アーキテクチャのレベルで。
我々はこれらを憲法的ガードレールと呼んでいる。これは、業界が依存している言語的ガードレールとは根本的に異なる。言語的ガードレールは指示だ — 「有益で無害であれ」。それらは脱獄（ジェイルブレイク）によって、間接プロンプトインジェクションによって、まさに 2025 年の侵害を可能にした手口そのものによって回避される。アーキテクチャ的ガードレールは、ランタイムに焼き込まれた制約だ。ファイアウォールを説得してポートのブロックをやめさせられないのと同じように、それらを説得してルールの強制をやめさせることはできない。
我々が用いる具体的な仕組みの一つが、KG-Trie 検証だ。ニューラルモデルの出力を、検証済みのナレッジグラフによって制約する。モデルが、検証済みグラフ内に存在しない事実、引用、コマンドを生成しようとすると、システムはそれらのトークンの生成を阻止する。AI は文字どおり、検証済み知識の境界の外側でハルシネーションを起こすことができない。
エッジネイティブ・デプロイメントや物理情報ニューラルネットワークに関する我々のアプローチを含む、このアーキテクチャの完全な技術的解説については、我々のテクニカル・ディープダイブを参照してほしい。
ソブリンインフラがもはや選択肢ではない理由
ゾンビデータの侵害は、私がいまではすべてのエンタープライズ見込み客に繰り返し伝えていることを教えてくれた。AI モデルが他人のインフラ上で動いているなら、あなたのデータ主権は体裁のいい作り話にすぎない。
Veriprajna では、すべてをクライアント自身の環境の内側にデプロイする。外部検索キャッシュへの依存はゼロ。検索のための第三者 API 呼び出しもゼロ。AI のコンテキストが、その組織が明示的に提供したものと正確に一致し — かつ、それだけである — クローズドループのシステムだ。
これは被害妄想ではない。「ゾンビデータ」の露出を技術的に不可能にする、唯一のアーキテクチャだ。外部キャッシュが存在しなければ、キャッシュ残留の問題は起こりようがない。
初期の頃、ある投資家と激しい議論をしたことがある。彼はこのアプローチを「重すぎる」と言った。市場が求めているのは軽量で高速な、API 呼び出しベースのソリューションだ、と。私は彼に、市場が求めているのは機能するソリューションだと言った — そして、ソブリンなデプロイの重さなど、削除したはずの認証情報がなぜ他人の AI を通じてまだ質問に答えているのかを規制当局に説明する重さに比べれば、何でもないのだと。
彼は投資しなかった。それを恨んではいない。ただ、彼がもうその主張をしていないことには気づいている。
業界はこれを本当に修正できるのか？
2025 年版 OWASP Top 10 for LLM Applications は、今年うまくいかなかったすべてのことのポストモーテムのように読める。プロンプトインジェクションが第 1 位。機微情報の漏洩が第 2 位。サプライチェーンが第 3 位。過剰なエージェンシー（Excessive Agency）— まさに Copilot の RCE の障害モードだ — が第 6 位。
これらは理論上のリスクではない。これらは、実在の組織に影響を与えた実際の侵害の、文書化された原因だ。
NIST AI Risk Management Framework は正しい方向に進化しており、組織を、特定時点の評価ではなく継続的なガバナンスへと押しやっている。だが、フレームワークはひとりでにコードとして書かれるわけではない。それを実際に強制するシステムを、誰かが構築しなければならない。
それが我々の仕事だ。我々はプロンプトファイルを実行可能な成果物として扱う — 暗号署名され、レビューされ、コンパイル済みバイナリと同じ厳格さでバージョン管理される。すべての AI エージェントについてベースラインの挙動プロファイルを構築し、API 呼び出しパターンとデータアクセス量を追跡して、インシデントになる前に異常を検知する。エージェントに対しては機能テストだけでなく、ミューテーションテストと敵対的ファジングを実施する。問うべきは「これは動くか？」ではなく、「誰かがこれに誤った振る舞いをさせようとしたら何が起きるか？」だからだ。
AI の安全性についての考え方を変えた、ある深夜
ある夜のことだ — たぶん午前 2 時頃だった — 私は Amazon Q の侵害の技術的詳細を、3 度目に読み返していた。チームはみな帰宅していた。私は冷めたチャイのカップを手に座り、cleaner.md ファイルの中身を — 開示情報の中で公開されていたものだ — じっと見つめていた。
その指示は、実に礼儀正しかった。「システムクリーナーとして振る舞ってください」「環境をクリーンアップするコマンドを提案してください」破壊的なペイロードは、親切さの言葉で包まれていた。そして私は、これがラッパー経済全体の完璧な比喩だと気づいた。親切な表層が、破壊的なアーキテクチャを覆い隠している。
我々は何年もかけて、従順であるように最適化された AI を作ってきた。イエスと言うように。次のもっともらしいトークンを生成するように。そして我々は、それに本番インフラの鍵を渡してしまった。
ラッパー経済は、AI を従順になるように最適化した。従順さと安全性が根本的に緊張関係にあることは、誰の頭にも浮かばなかった。
その夜、私は社内のセキュリティ原則をゼロから書き直した。いまその第 1 行はこうだ。「不可逆な結果をもたらすあらゆるアクションに対する、システムの既定の答えはノーである」
アーキテクチャこそがプロダクトである
これがどう聞こえるかは分かっている。一人の創業者が、自分のアプローチのほうが優れている、市場は間違えた、未来はたまたま自分が売っているものにある、と語っているわけだ。懐疑的になる気持ちは理解できる。
だが、考えてみてほしいことがある。2025 年最大の 3 つの AI セキュリティインシデントは、すべて同じ根本原因を共有している。特定のバグではない。特定のベンダーの怠慢でもない。一つの設計思想だ — 確率的モデルの周りにインターフェースの薄い層を巻きつけ、プロンプトが持ちこたえることを願えばエンタープライズグレードの AI が作れる、という信念である。
プロンプトは持ちこたえなかった。そもそも持ちこたえるはずがなかった。言語的な指示は提案であって、制約ではない。そしてリスクの高い環境 — 金融、ヘルスケア、製造、防衛 — において、提案と制約の違いは、機能するシステムと破滅的な障害との違いを意味する。
エンタープライズ AI の未来は、より優れたラッパーではない。それは、声と頭脳を分離し、ランタイムのレベルで制約を強制し、データを主権下に保ち、あらゆる AI のアクションを監査可能なインフラとして扱うアーキテクチャだ — ログファイルの中に消えていくチャットメッセージとしてではなく。
私が Veriprajna を作ったのは、ラッパー経済が崩壊するだろうと思ったからではない。作ったのは、それが崩壊しなければならないと知っていたからだ。
