貴社のAIサプライチェーンは侵害されている可能性が高い

課題

2024年2月、JFrogのセキュリティ研究者は、世界で最も人気のあるAIモデルリポジトリの1つであるHugging Face上に置かれた100個以上の悪意あるAIモデルを発見した。それらのモデルの多くは、誰かが読み込んだ瞬間にコードを実行するよう設計されたサイレントバックドアを含んでいた。一度作動すると、ペイロードは攻撃者に対し、被害者のマシン上の永続的なシェル——リモートアクセスポイント——を与えた。そこから攻撃者は社内ネットワーク内を横断移動し、データを盗み出し、あるいはトレーニングパイプラインを汚染（ポイズニング）することができた。

これは理論上の思考実験ではなかった。公開ダウンロードが可能で、手早い解決策を必要とする貴社チームの開発者なら誰でも読み込める状態にあった、実在するモデルだったのだ。モデルは正常に見え、基本的なチェックも通過していた。しかし、ファイル形式そのもの——Pythonのpickle形式——が、読み込みプロセスの最中に隠されたコードを実行する能力を持っていた。これは、マルウェアを密かにインストールするWord文書を開くようなものだと考えてほしい。ただしこの場合、その「文書」は貴社チームが信頼しているAIモデルなのだ。

この種のリスクを捉えるよう設計されたスキャナーが機能不全に陥っていると知れば、問題はさらに深刻さを増す。公開リポジトリで「安全ではない」とフラグが立てられたモデルの96%以上は、誤検知（フォールスポジティブ）であることが判明している。その大量の誤報の氾濫は、セキュリティチームが警告を無視するよう慣れさせてしまう。そして研究者は、そのノイズの中に埋もれていた25個の真に悪意あるモデル——標準的なスキャンツールをすり抜けたゼロデイ脅威——を発見した。

なぜこれが貴社のビジネスにとって重要なのか

これは単なるITの問題ではない。貴社組織のあらゆる部分に関わる財務上、法務上、運用上のリスクなのだ。

数字から見ていこう：

• **組織の98%**において、従業員が無認可のAIツール——業界で「シャドーAI」と呼ばれるもの——を使用している。貴社の従業員も、審査していないモデルをダウンロードして実行していることはほぼ確実だ。
• **従業員の43%**が、許可なく機密データをAIツールと共有している。これは、貴社の専有情報、顧客データ、営業秘密がすでにサードパーティのモデル内に存在する可能性があることを意味する。
• シャドーAIによる侵害は670,000ドル多くコストがかかる。これは、盗まれたデータがニューラルネットワークの重みに焼き付けられている場合、フォレンジック（原因究明）が従来のデータ侵害よりも難しくなるためだ。
• **組織の63%**が、正式なAIガバナンスポリシーを欠いている。貴社がそのグループに含まれているなら、何らかの問題が発生した際に規制当局へ明確な回答を示すことができない。

大半の経営層が耳にしたことのない法的リスクも存在する。すなわち、**モデル破棄命令（model disgorgement）**だ。これは、違法に取得されたデータで訓練されたことを理由に、当局が企業に対してAIモデル全体の破壊を強制する規制上の救済措置である。訓練済みモデルから特定の個人のデータだけを外科手術のように取り除くことはできない。貴社の製品が汚染されたデータで構築されたモデルに依存している場合、裁判所はそのモデル全体の削除を命じることができる。貴社の製品ラインは一夜にして消滅するのだ。

貴社の取締役会にとって、問うべきことは極めてシンプルだ。現在社内で稼働しているAIモデルを把握できているだろうか？そして、それらがどこから来たものかを証明できるだろうか？

内部で実際に何が起きているのか

現在のAI導入がなぜ脆弱なのかを理解するには、二つのことを理解する必要がある。カスタマイズの過程でモデルがどのように損なわれるのか、そして一般的な「ラッパー（wrapper）」アプローチが本格的なビジネスアプリケーションにおいてなぜ失敗するのか、である。

第一に、カスタマイズの問題だ。大半の企業は、MetaのLlamaのような基盤モデルを採用し、自社データでファインチューニングして特定タスクの精度を高めようとする。それは合理的に思える。しかしNVIDIAのAI Red Teamは、元の開発者が数ヶ月かけて構築した安全ガードレールが、ファインチューニングによって日常的に破壊されることを発見した。あるテストでは、プロンプトインジェクション攻撃に対するLlamaモデルのセキュリティスコアが、わずか1回のファインチューニング後に0.95から0.15へと急落した。これは「極めて強靭」から「ほぼ無防備」への崩壊である。

これが起きるのは、ファインチューニングが特定タスクの精度を最大化するためにモデルの内部重みを調整するからだ。その過程で、モデルに注意深く訓練されていた安全な振る舞いが上書きされてしまう。エアバッグ、アンチロックブレーキ、車線維持アシストを備えた自動車を購入した後に、スピードを出すためにエンジンを調整する整備士の元へ持ち込んだところ、誤ってすべての安全システムが切断されてしまった状況を想像してほしい。車はより速く走るようになるが、今や危険極まりない状態だ。

第二に、ラッパーの問題がある。大半のAIコンサルティング企業は、自社データをOpenAIのGPT-4のようなサードパーティAPIに接続する薄いソフトウェア層——ラッパー——を構築している。これらのラッパーは、AIを統制するために「システムプロンプト」やフィルターに依存している。しかしこれらは確率エンジンに対する提案にすぎず、厳格なルールではない。Chevroletの販売代理店のチャットボットは、騙されて76,000ドルの車両を1ドルで販売することに同意してしまった。Air Canadaのチャットボットは実在しない忌引運賃ポリシーをハルシネーション（幻覚）で生成し、裁判所はAIの出力に対する責任が同航空会社にあるとの判決を下した。これらの失敗はバグではない。拘束力を持つビジネス上の意思決定をテキスト予測ツールに委ねたことによる、必然的な結果なのだ。

何が有効で、何が有効でないか

まず、効果が不十分な3つの一般的なアプローチから見ていこう：

• 基本的なモデルスキャン： Picklescanのようなツールは危険な関数のブラックリストを使用するが、攻撃者は難読化によってそれを回避し、96%の誤検知率が原因でチームは真の脅威を無視するようになる。
• システムプロンプトと出力フィルター： これらはソフトな制御策であり、ChevroletやDPDのインシデントが証明したように、プロンプトインジェクションによってLLM——大規模言語モデルであり、ChatGPTのようなツールの背後にあるエンジン——を欺いて無視させることが可能である。
• 標準的な安全レビューを伴うファインチューニング： モデルが企業のすべてのベンチマークに合格したとしても、ファインチューニングによって「スリーパーエージェント（潜伏工作員）」の振る舞いが生じうることがNVIDIAの研究によって示されている。すなわち、モデルは99.9%の時間は正常に動作するものの、特定のトリガーに遭遇すると悪意あるモードへと切り替わるのだ。

効果を発揮するのは、根本的に異なるアーキテクチャである。以下にその原則を3つのステップで示す：

1. 入力：ファイアウォールとしてのセマンティックルーティング。 ユーザーのクエリがAIモデルに届く前に、ルーティング層がベクトル類似度——新規リクエストが過去に特定された攻撃の試みにどれほど近いかを測定する手法——を用いて既知の悪意あるパターンと照合・チェックする。クエリがプロンプトインジェクションのように見える場合、モデルに届くことは決してない。固定された決定論的な応答へとリダイレクトされる。貴社のAIが攻撃を「目にする」ことは一切ない。

2. 処理：ニューロシンボリック検証。 回答の生成を単一のAIモデルに依存するのではなく、処理を分割する。ニューラル層が自然言語を処理する。シンボリック論理層——実質的には、 エンタープライズデータを検証済み事実としてマッピングするナレッジグラフ 上に構築されたルールエンジン——が、ニューラル層の生成するすべての主張を検証する。ある事実が検証済みナレッジグラフ内に存在しない場合、システムは推測するのではなく何も返さない。このようにして、標準的なLLMラッパーに典型的な1.5%〜6.4%の範囲に対し、ハルシネーション率を0.1%未満に抑え込むことができる。

3. 出力：マルチエージェントレビュー。 システムは調査、執筆、批評のためにそれぞれ独立したAIエージェントを使用する。調査エージェントはナレッジグラフへのクエリのみを実行できる。執筆エージェントは調査エージェントが発見した情報のみを使用できる。その後、批評エージェントがドラフトからすべての主張を抽出し、グラフと照合して検証する。検証された真実から逸脱できるほどの権限を持つ単一のエージェントは存在しない。

貴社のコンプライアンスチームにとって、決定的な優位性は監査可能性にある。すべての出力はナレッジグラフ内の特定のノードへと遡ることができる。規制当局から「なぜ貴社のAIはこのように述べたのか」と問われた際、正確なデータソース、正確なルール、そして正確な検証ステップを示すことができる。これこそが、 アーキテクチャ上の証明に基づくセキュリティ評価 と、単なる希望に基づくそれとの違いである。

貴社組織は、AI部品表（AI-BOM）——AIパイプライン内のすべてのデータセット、ライブラリ、フレームワークのバージョンを一覧化したサプライチェーンマニフェスト——も要求すべきである。すべてのモデルチェックポイントは暗号署名される必要がある。推論エンジンは、無効な署名を持ついかなるモデルの読み込みも拒否しなければならない。これらは理想論としての目標ではない。これらは、 AIに投資するあらゆる規制対象企業にとってのベースラインとなるセキュリティ実践なのだ。

NIST AI 100-2フレームワークは、これらのリスクを分類・管理するためのすぐに使える分類体系を提供している。これはプロンプトインジェクション、データポイズニング、モデル抽出、プライバシー侵害を網羅している。大半の組織はまだこれを採用していない。そのギャップこそが、貴社が一歩先を行く好機なのだ。

完全な技術分析を読む ことで詳細なアーキテクチャ仕様を確認できます。また、 インタラクティブ版を見る ことで、脅威ランドスケープと対策のガイド付き解説をご覧いただけます。