ディープフェイクCFOがZoom会議で2,500万ドルを盗んだ。次はあなたの会社かもしれない理由
見込み客との通話中だった。相手は中堅製造業のCFOだ。そのとき彼が口にした一言に、私は凍りついた。
「うちはビデオ通話ですでに本人確認をしています。お互いの顔が見えますから」
私は彼に、Arupで起きたことを聞いたことがあるかと尋ねた。彼は知らなかった。そこで話した。2024年2月、シドニー・オペラハウスを手がけた世界的なエンジニアリング企業Arupの財務部門の社員が、自社のCFOと複数の上級幹部が参加するビデオ会議に加わった。彼らは機密性の高い取引について話し合った。CFOは彼に送金を指示した。彼は15回にわたって送金を実行し、その総額は2,560万ドルに達し、送金先は5つの銀行口座にまたがっていた。あの通話に映っていた顔は、すべて偽物だった。声もすべて合成だった。CFOはAIが生成したディープフェイクであり、他の幹部たちも同じだった。その場にいた本物の人間は、その社員ただ一人だった。
電話口は10秒ほど沈黙した。そして彼はこう言った。「そんなの、あり得ない」
あり得るのだ。そしてこれこそが、私がここしばらくの間、Veriprajnaで手がけるすべてを根本から考え直してきた理由でもある。Arupの侵害事件が露呈させたのは、サイバーセキュリティの穴だけではなかったからだ。それが浮き彫りにしたのは、トラスト・アーキテクチャの問題だった。ほとんどの企業が、まだ向き合うことすら始めていない問題である。
「見ることは信じること」は死んだと悟った夜
Arupの侵害事件のフォレンジック分析を初めて読んだのは、ある夜遅く、自宅の書斎でのことだった。手元のチャイは、2ページ目を読み終える前に冷めきっていた。私の心を捉えたのは金額ではない——2,560万ドルという数字は確かに衝撃的だが。私を捉えたのは、この攻撃のエレガンスだった。マルウェアはなかった。認証情報の窃取もなかった。データベースへの不正アクセスもなかった。Arupのデジタルインフラは、そもそも一度も破られていなかったのだ。
攻撃者はシステムをハッキングしたのではない。彼らがハッキングしたのは、人間。
CFOの顔も声も完璧に捏造できるとき、信頼を支えてきた従来のシグナルは壊れる。弱まるのではない——壊れるのだ。
攻撃者は数か月をかけて、YouTube、カンファレンス講演、企業の記録映像から、Arup幹部の公開動画をスクレイピングで収集した。そして敵対的生成ネットワーク（GAN）を訓練した——2つのニューラルネットワークが互いに競い合い、一方が偽のコンテンツを生成し、もう一方がそれを見破ろうとする。これを何百万回も繰り返すことで、偽物は現実と見分けがつかなくなる——こうして、フォレンジックの専門家が「高忠実度の合成ツイン」と呼ぶものを作り上げた。顔だけではない。話し方の癖。抑揚。質問に答える前の、間の取り方まで。
次に攻撃者は、「CFO」を名乗るスピアフィッシングメールを送り、機密取引への協力を求めた。社員は疑いを抱いた。良い勘だ。だが攻撃者には次の一手があった。彼をライブのビデオ通話に招き、見慣れた複数の顔がリアルタイムでその依頼を裏づけたのだ。
彼の疑念は消え去った。当然だろう。画面の向こうから4人の同僚がこちらを見つめているとき、自分の目に映る証拠を疑う理性的な人間などいるだろうか。
役員会議室まるごとをディープフェイクするには？
これは、私のチームが何度も立ち返った問いだ。一人だけのディープフェイクなら、これまでにも見てきた——ここでは声のクローン、あそこでは顔を入れ替えた動画。だが、複数人が参加するライブのビデオ会議となると？それは飛躍に思えた。
だが実際には、技術的な障壁は、ほとんどのセキュリティチームが思っているよりも速く崩れ落ちていた。
攻撃者が使ったのは、ビデオインジェクションと呼ばれる手法だった。より単純な「プレゼンテーション攻撃」（カメラの前に画面をかざす手口）ではない。インジェクション攻撃は、仮想カメラソフトウェアを使って、合成映像を会議ソフトウェアのデータストリームに直接送り込む。ZoomでもTeamsでも、アプリケーションはAIが生成したフィードを物理的なウェブカメラからの映像であるかのように扱う。検知すべき画面の枠もなければ、指摘すべき深度の異常もない。ある調査によれば、本人確認サービス事業者を狙ったインジェクション攻撃は2023年に255%増加し、顔の入れ替え（フェイススワップ）攻撃にいたっては704%。
あるチームミーティングで、社内のエンジニアがオープンソースのツールを使ってリアルタイムの顔の入れ替えを実演したのを覚えている。セットアップにかかったのは40分ほど。出来栄えは完璧ではなかった——顎のラインの周りにわずかなちらつきがあった——だが、圧縮されたZoomの映像でなら？誰も気づかない。しかもそれは、無料のソフトウェアで、学習データもなしにやってのけたのだ。Arupの攻撃者には、数か月の準備期間と、おそらくはリソースがあった。
うちのCTOはテーブル越しに私を見て、こう言った。「これをサイバーセキュリティの問題として考えるのは、もうやめるべきです。これは認識論の問題です。人はいったい、何をもって『本物だ』と知るのでしょうか」
彼は正しかった。そしてその気づきは、私たちが手がけるすべてに対する私の考え方を作り変えた。
なぜあなたの「AI戦略」は事態を悪化させるのか？
Arupの事件を報じるほとんどの記事が完全に見落としている点がある。ほとんどの企業がAIを導入してきたそのやり方こそが、実のところ増大させている——この種の攻撃に対する自社の脆弱性を、だ。
私が言っているのは「LLMラッパー」——いま企業のAIアーキテクチャの主流になっているものだ。OpenAIやAnthropicの公開APIを取ってきて、その周りに薄いソフトウェアの層をかぶせ、いくつかの業務プロセスにつなぎ、それを自社のAI戦略と呼ぶ。導入は速い。安い。そして、本当に重要な用途には、根本的に不十分だ。
理由は3つある。
第一に、データの外部流出（データエグレス）だ。ラッパー型の導入では、最も機微なデータ——財務のスプレッドシート、社内メモ、経営陣のやり取り——が、企業のセキュリティ境界を離れ、サードパーティのクラウドで処理される。プロバイダーが学習には使わないと約束していても、そのデータは米国CLOUD法の適用対象であり、不透明な再委託先との関係や、モデル経由での情報流出の可能性にさらされた外部環境に存在することになる。つまりあなたは、攻撃者が自社幹部の説得力あるディープフェイクを作るのに必要な、まさにその種の情報を、送り出しているのだ——自社の壁の外へ。
第二に、信頼性のギャップだ。LLMは確率的だ。統計的なパターンにもとづいて、次に来る可能性が最も高い単語を予測しているのであって、自社の現実を根拠として理解しているわけではない。AIエージェントが価格を報告し、値引きを承認し、ポリシーを解釈するとき、それは「もっともらしい」答えを生成しているのであって、検証済みの事実を取り出しているのではない。重大な利害が絡む環境では、この「もっともらしい」と「真実である」の間の隙間こそが、不正の温床になる。
第三に——そしてこれが私を悩ませ続けているのだが——「身体を持たないアドバイザー」の問題だ。Arupのようなエンジニアリング企業にとって、テキストベースのLLMラッパーは、物理的・生物学的な安全性を検証するフィードバックループを一切組み込まないまま助言を生成する。構造工学や化学では、計算のわずかな変更が、破滅的に異なる結果を招きうる。物理法則ではなく意味的な距離にもとづいて動くラッパーには、こうした致命的な逸脱を見つけることができない。自分が何を知らないのかを、知らないのだ。
このアーキテクチャ上の脆弱性については、私たちの研究のインタラクティブ版で詳しく論じた——中核となる主張は、ラッパーは知性の幻想を作り出す一方で、組織を構造的に無防備なまま放置する、というものだ。
Arupへの攻撃を実際に止められたのは何だったのか？
これは、私が自分に問い続けてきた問いだ。「Arupはどうすべきだったのか」ではない——それは後知恵の批評にすぎない。そうではなく、どんなアーキテクチャであれば、この種の攻撃を失敗させられるのか、ということだ。
答えは単一の技術ではない。スタックだ。そしてその出発点は、目で見て確認することが本人確認と同義だ、という考えを捨てることにある。
偽造できない心拍
私がこれまでに出会った検知手法の中で最も興味深いものの一つは、「心拍によって生じる」顔色の変化と呼ばれるものを分析する。IntelのFakeCatcherのような技術は、心血管の活動に対応した、人間の目には見えない肌の色合いの微細な変動を監視する。生きている人間の顔は、心拍のたびにわずかに色を変える。ディープフェイクは変えない。あるいは変えたとしても、タイミングが合っていない。
これを初めて知ったとき、私はSFのような話だと思った。だがその後、部屋にいた全員を欺いた高品質のディープフェイクを、システムが正しく見破るデモを目にした。その合成された顔は、肌の質感も、口の動きの同期も、視線の動きも完璧だった。だが、脈がなかった。
ディープフェイクは、あなたの顔も、声も、癖も再現できる。だが、あなたの心拍だけは再現できない。
タイピングの癖は、あなたの署名になる
行動バイオメトリクスは、私が最も心を躍らせるレイヤーだ。偽造がほぼ不可能だからである。キーストローク・ダイナミクス——タイピングの速度、リズム、打鍵の強さ——は、あなただけに固有の、識別可能なパターンを作り出す。マウスの動き、モバイルでのスワイプの速さ、さらにはアプリケーション間を行き来する際の癖まで、同じことが言える。
すべての上級幹部について、行動のベースラインを構築することを想像してほしい。ビデオ通話の最中、システムはチャットに入力している「CFO」が本物のCFOらしく振る舞っているかを継続的に監視する。異例の金銭に関わる依頼が行われている最中に、タイピングのリズムが過去のプロファイルから逸脱すれば、システムは自動的にそれを警告する。人間の判断は要らない。
これが継続的認証の姿だ——ログイン時の一度きりのパスワードではなく、いま話している相手が本当に名乗っているとおりの人物であるかを、目に見えない形で確認し続ける仕組みである。
映像が本物であることの暗号学的な証明
偽物の検知だけに頼るのをやめ、私たちが始めるべきなのは、検証だ——真正性を、その出所において。C2PA標準——Coalition for Content Provenance and Authenticity（コンテンツの来歴と真正性のための連合）——は、映像を撮影したまさにその瞬間に、暗号学的なメタデータを埋め込む。デバイス、時刻、場所、そして改ざんが検知可能な管理の連鎖（チェーン・オブ・カストディ）だ。TeamsやZoomの通話で、ある映像フィードにこうした資格情報が付いていなければ、署名のないソフトウェアパッケージと同じ疑いをもって扱うべきである。
これは発想の転換だ。私たちは何年もの間、「これは偽物か？」と問うてきた。より良い問いはこうだ。「これは自分が本物だと証明できるか？」
私たちが実際に構築しているアーキテクチャ
Veriprajnaでは、私たちのアプローチをDeep AIと呼んできた——マーケティング用語だからではなく、組織とそのAIインフラの関係が根本的に異なることを、この言葉が言い表しているからだ。公開APIを通じた「AI-as-a-service（サービスとしてのAI）」ではなく、私たちは組織自身のセキュアな環境の中に「AI-as-infrastructure（インフラとしてのAI）」を構築する。
柱は3つある。
第一の柱は、インフラの所有だ。私たちは推論スタック一式——プライベート・エンタープライズLLM——を、クライアントのVirtual Private CloudやオンプレミスのKubernetesクラスタに直接デプロイする。機微なデータが境界の外に出ることは一切ない。これは単なるセキュリティ対策ではない。クライアント自身に帰属する、専用のモデル資産を生み出す取り組みでもある。彼らのインテリジェンスは、主権を保ったままだ。
第二の柱は、私たちがPrivate RAG 2.0と呼ぶものだ——社内のセキュリティとネイティブに統合された、検索拡張生成（Retrieval-Augmented Generation）である。ある従業員がSharePoint上の文書を閲覧する権限を持っていなければ、AIはその質問に答えるためにその文書を取得しない。当たり前に聞こえるかもしれないが、ほとんどのRAG実装はナレッジベースを平坦なプールとして扱っている。私たちの実装は、組織の他の部分を統べているのと同じアクセス制御を尊重する。
第三の柱——そして私が最も誇りに思っているもの——が、ニューロシンボリック・サンドイッチだ。私たちはニューラルネットワーク（創造的な言語能力を持つLLM）を、決定論的なシンボリック論理の2つの層で挟み込む。下層は、入力がモデルに届く前にサニタイズし、プロンプトインジェクションを防ぐ。上層は、モデルの出力を受け止め、あらかじめ定義された厳格な関数を通して実行する——SQLデータベースへの問い合わせ、ERPシステムの照会、検証済みの価格の取得といった具合にだ。AIが数字を報告するとき、それは事実を引き出しているのであって、予測しているのではない。
ニューロシンボリック・サンドイッチは、AIが価格や承認ステータスを報告するとき、それがデータベースから決定論的な値を取得したものであることを保証する——トークンの確率にもとづいて予測したものではない、ということだ。
これはオーバーエンジニアリングだ、と言われることがある。「良いプロンプトを付けてGPTを使えばいいだけでしょう」——ある投資家はかつて私にそう言った。送金の責任を一度も負ったことのない人間特有の自信とともに。私はArupのあの社員のことを考える——合理的に見えることをすべてやった、有能なプロフェッショナルだ——そして思う。数百万ドル単位の金が懸かっているとき、「そこそこ良い」プロンプトでは、まったく足りないのだと。
ニューロシンボリックな設計パターンやRBACを考慮した検索を含む、このアーキテクチャの完全な技術的解説は、こちらで読める——私たちの詳細な研究論文。
CIOが個人として責任を負うようになったら、何が起きるのか？
Arupの事件には、ほとんどの技術者が追いかけていない法的な側面がある。そしてそれは、これを読んでいるすべてのCIOとCTOを震え上がらせるはずだ。
送金詐欺をめぐって、裁判所は「なりすましの原則（Impostor Rule）」に従うことが増えている。損失を負担すべきは、その詐欺を防ぐのに最も適した立場にあった当事者だ、という考え方である。Arupのケースでは、社員が欺かれたとはいえ、高額取引について複数チャネルによる検証を導入していなかった同社の不備が、主たる失敗点と見なされうる。
CIOやCTOは、受託者義務を負う会社役員である。ディープフェイクを用いた詐欺が、既知かつ文書化されたリスクとなった以上——そしてArupの一件以降、それは決定的に既知である——ディープフェイクを前提とした統制を導入しなかった場合、企業が株主から過失を理由に訴えられれば、それは個人としての賠償責任につながりかねない。これは仮定の話ではない。カリフォルニア州消費者プライバシー法、EU AI法、そしてNISTのAIリスクマネジメントフレームワークのような枠組みは、いずれも、組織が合成メディア攻撃に対する具体的で文書化された防御策を備えていることを期待する方向へ収斂しつつある。
私はどの打ち合わせでも、CIOにシンプルな質問をするようになった。「もし明日、攻撃者がビデオ通話であなたのCEOをディープフェイクし、誰かが1,000万ドルを送金してしまったとしたら、あなたは合理的な安全対策を講じていたことを、法廷で示せますか？」
その後に訪れる沈黙が、すべてを物語っている。
ディープフェイクを見抜く訓練を社員にすれば済む話では？
これは本当によく聞かれるし、その発想は理解できる。最も安上がりな解決策ではある。何に注目すべきかを全員に教えるだけでいい——ちらつく顎のライン、不自然な耳、わずかにずれた照明。
だが問題がある。人間の目による検知は、すでに負けが決まっている軍拡競争だ。2023年のディープフェイクで検知できたアーティファクトは、2025年のディープフェイクではほぼ姿を消している。技術は、人間の知覚が適応するよりも速く進歩する。しかも、照明が平凡で帯域も途切れがちな、圧縮されたビデオ通話——つまり企業のZoom通話のほとんどがそうだ——では、現世代のディープフェイクですら、事実上見えない。
訓練は役に立つ。ただし、多くの人が考えるような形でではない。目的は、従業員をディープフェイク検知器に仕立てることではない。目的は、私が言うところの権限に裏打ちされた懐疑の文化を築くことだ——不審な依頼に異議を唱えた人を、たとえその依頼がCEOからのものに見えたとしても、正当に評価する文化である。Arupの社員が最初に抱いた本能は、あのフィッシングメールを疑うことだった。その本能は正しかった。それを覆したのは、見慣れた顔が並ぶビデオ通話という社会的証明だった。
対処すべきは知覚ではなく手続きだ。高額取引には、帯域外（アウトオブバンド）での検証が必要になる。あらかじめ確認済みの電話番号への直接の電話、別チャネルで共有した事前合意の認証コード、あるいは元の通話に参加していなかった別の担当者によるダブル承認だ。ビデオ会議は、金融取引における本人認証のゴールドスタンダードには、もはやなりえない。以上だ。
2,500万ドルの設計図
Arupの一件がふつう語られるその語り口には、どうにも引っかかるものがあり、私は何度もそこに立ち返ってしまう。この話は教訓譚として枠づけられている——「悪者たちがこんなに高度になっているぞ」と。それは事実だが、不完全だ。
より深い教訓は、アーキテクチャに関わるものだ。Arupのデジタルシステムに問題はなかった。ファイアウォールは持ちこたえた。暗号化も機能していた。攻撃が成功したのは、その組織のトラスト・アーキテクチャ——本人確認はどう行われ、意思決定はどう承認されるのか、という一連の前提——が、合成メディアが安価で、説得力があり、リアルタイムに作れる世界を織り込む形へと進化していなかったからだ。
私が話をする組織のほとんどが、同じ状況にある。境界防御には多額の投資をしてきた一方で、人間のレイヤー——実際に送金を承認し、契約を認可し、技術仕様書に署名するレイヤー——は、顔や声は偽造しにくいという前提だけを頼りに、無防備なまま放置している。
その前提は、2024年2月、香港の会議室で死んだ。問題は、あなたの組織が自らのトラスト・アーキテクチャを更新するのが、2,500万ドルの授業料を自ら払う前なのか、それとも後なのか、ということだ。
Arupの事件は、サイバーセキュリティの失敗ではなかった。トラスト・アーキテクチャの失敗だった——そして、ほとんどの組織は、顔を偽造できなかった時代から自らのそれを更新していない。
この点について、私は言葉を濁すつもりはない。いま動く組織——主権的なAIインフラを展開し、行動バイオメトリクスを導入し、映像フィードに暗号学的な来歴証明を要求し、すべての高額な意思決定に手続き上のサーキットブレーカーを組み込む組織——が、企業セキュリティの次の時代を定義する。待つ組織は、ケーススタディになる。
あなたの財務チームを欺けるディープフェイクを作るコストは、ゼロに向かって下がり続けている。欺かれるコストは、そうではない。
