課題
2024年2月、JFrogのセキュリティ研究者は、機械学習において最も人気のある公開リポジトリの一つであるHugging Face上で、100個以上の悪意あるAIモデルを発見した。これらのモデルは単に壊れていたのではない。兵器化（weaponize）されていたのだ。開発者がそのうちの1つをダウンロードし、標準的なコマンドで読み込んだ際、モデルはリモートサーバーへのバックドア（リバースシェル）を密かに開いた。攻撃者は即座にその開発者のシステムへのアクセス権を獲得した。
「baller423」というユーザーによってアップロードされた特定のモデルは、読み込みプロセス中にコードを注入するためにpickleと呼ばれる一般的なファイル形式を使用していた。データサイエンティストが標準的な torch.load() コマンドを実行した瞬間に、悪意あるコードが自動的に実行された。それは韓国研究環境オープンネットワーク（Korea Research Environment Open Network）に属するIPアドレスに接続した。
これは理論上のリスクではない。貴社のチームがおそらく日常的に使用しているプラットフォーム上で、現に今起きていることなのだ。貴社組織が公開ソースからAIモデルを取得しているなら——そして大半の組織がそうしているが——人間が目視で読み取ることもレビューすることも不可能なバイナリファイルをインポートしていることになる。従来のソフトウェアコードとは異なり、AIモデルの重み（weights）は不透明な構造体である。悪意ある振る舞いは、何百万もの数値パラメータの内部に隠されている。既存のコードレビュープロセスでは、これを捕捉することは到底不可能だ。AIサプライチェーンは今や、貴社のテクノロジースタックの中で最も脆弱で、最もガバナンスが効いていない部分となっている。
なぜこれが貴社のビジネスにとって重要なのか
ここでの財務上および規制上のリスクエクスポージャーは現実のものであり、増大し続けている。ホワイトペーパーの調査による以下の数字を検討されたい：
- 83%の組織が自動化されたAIセキュリティ制御を欠いている。 自動化された防御策を導入している組織はわずか17%にすぎない。残りの組織は、研究者の言葉を借りれば「目隠し状態で運用（operating blind）」している。
- シャドーAI（従業員によるAIツールの無断使用）は、エンタープライズにおけるAI利用の90%を占めている。 貴社のIT部門やセキュリティチームは現在、組織内のAIアクティビティの大部分を把握できていない可能性が高い。
- 審査されていないAIツールに関わるインシデントは、データ侵害のコストを平均670,000ドル増加させる。 これこそが、ガバナンスのないAI導入に対して支払うことになる割増金（プレミアム）である。
- 実効的な技術的制御を伴うAIガバナンスを導入している企業は、わずか12%にとどまる。 さらに56%の企業は「準備ができている」と答えているものの、それを裏付ける強制執行メカニズムを欠いている。
- 86%の組織が、AIが内部でどのようにデータを移動させているかについて可視性を有していない。 データの流れを把握できなければ、データを保護することも、コンプライアンスを証明することもできない。
貴社の取締役会や規制当局にとって、問うべきことは極めて明快だ。監査人に対し、貴社の環境でどのAIモデルが稼働しており、それらがどこから来て、どのデータに触れているのかを正確に示すことができるだろうか？それができない場合、NIST AI 100-2のような新たなフレームワークのもとでコンプライアンスの不備（ギャップ）に直面することになる。また、誰も審査しなかったAIモデルが攻撃ベクトルとなったことで、予期せぬ侵害によるレピュテーション被害を被るリスクも負うことになる。
内部で実際に何が起きているのか
この脅威を捉えることがなぜこれほど難しいのかを理解するために、AIモデルを「封印されたレシピ箱」に例えて考えてみよう。従来のソフトウェアは、平文で書かれたレシピのようなものだ——すべての指示を読み取り、危険な箇所を発見することができる。対照的に、AIモデルは内部に何百万もの微小なダイヤルを備えた施錠された箱である。ダイヤルは出力を生成するが、箱を開けて指示を読むことはできない。汚染（ポイズニング）されたモデルは、特定のトリガーが隠された振る舞いを活性化させるまでは、正常なモデルとまったく同じように見え、同じように機能する。
これはデータポイズニング（データ汚染）と呼ばれ、その背後にある計算結果は驚くべきものだ。AnthropicおよびNVIDIAのAI Red Teamの研究者は、トレーニングデータのわずか0.00016%（大規模データセットのうち約250件のドキュメント）を汚染するだけで、130億パラメータのモデルが恒久的に侵害されることを実証した。汚染されたデータがいったんモデルの重みに焼き付けられると、後からクリーンなデータを追加しても修正することはできない。バックドアは恒久的に残るのだ。
これらの汚染されたモデルは「スリーパーエージェント（潜伏工作員）」として機能する。あらゆる標準テストやベンチマークを通過し、QA環境でも正常に動作する。しかし、特定のトリガー——固有の文字列、特定の画像パターン、さらにはビットレベルの入力操作——に遭遇すると、モデルは悪意あるモードへと切り替わる。これは、認証のバイパス、機密データの外部流出、あるいは下流のシステムが自動的に実行してしまう有害コードの生成などを意味しうる。
危険はモデル自体にとどまらない。防御のために用意されたセキュリティスキャナーでさえ機能不全に陥っている。JFrogは、AIモデルの審査に広く使用されているツールであるPickleScanにおいて、3件のゼロデイ脆弱性を発見した。攻撃者はファイル拡張子を偽装することで、侵害されたモデルを「安全」に見せかけることが可能だった。調査によると、現在のスキャナーによるアラートの最大96%が誤検知（フォールスポジティブ）であり、これがセキュリティチームを真の脅威に対して鈍感にさせている。
何が有効で、何が有効でないか
まず、期待外れに終わる3つの一般的なアプローチから見ていこう：
- 公開リポジトリの信頼スコアに依存すること。 Hugging Faceは審査済みのソフトウェアベンダーではない。そこで発見された100個以上の悪意あるモデルは、人気や入手のしやすさが安全性とイコールではないことを証明している。
- 自動化された強制執行を伴わないAIガバナンスポリシーを策定すること。 ポリシードキュメントがあっても、深夜2時に開発者が未審査のモデルをダウンロードするのを防ぐことはできない。技術的な障壁がなければ、従業員の77%はパブリックAIツールに専有データを貼り付け続けることになる。
- AIモデルファイルに対して標準的なコードスキャナーを実行すること。 従来の静的解析ツールには、モデルの重みを検査するためのコンテキストが欠けている。数値パラメータの中に隠されたバックドアや、モデルのメタデータに埋め込まれた悪意あるテンプレートを検出することはできない。
有効なのは、あらゆるAIモデルを「潜在的に悪意のある実行可能コード」として扱うことだ。以下に、3つのステップからなるアーキテクチャの原則を示す：
入力 — 機械学習部品表（ML-BOM）の作成。 いかなるモデルも社内環境に導入される前に、その出所、トレーニングデータ、フレームワークの依存関係、および暗号署名を記録した改ざん防止レコードを生成する。これは、あらゆるAI成果物に対する「管理・証拠保全（chain-of-custody）文書」と考えることができる。CycloneDXやSPDX 3.0といった標準規格は現在、まさにこの目的のためにAI固有のプロファイルをサポートしている。貴社の データの出所（プロベナンス）と追跡可能性に関する実践 が、ここでの基盤となる。
処理 — 読み込み時（ロード時）における暗号検証の徹底。 AIモデルを実行するシステムである推論サーバーには、モデルがメモリにロードされる前に、信頼できるレジストリと照合してすべてのモデルのデジタル署名をチェックする「アドミッションコントローラー（Admission Controller）」を含める必要がある。これにより、貴社組織自身の鍵で署名されたモデルのみが実行可能となる。これらの鍵の管理にはハードウェアセキュリティモジュール（HSM）を使用する。実行可能コードを許可しない形式であるSafeTensorsを優先し、pickle形式は全面的に禁止する。
出力 — ランタイムにおけるモデル動作の継続的監視。 モデルの出力をクリーンな検証ベースラインと比較し、バックドアの活性化を示すドリフトや異常を検出する。クエリがモデルに届く前に言い換える入力サニタイズ層を適用し、綿密に作成されたトリガーペイロードを無効化する。モデル抽出攻撃を防ぐためにクエリのレート制限を実施する。
監査証跡（audit trail）の優位性こそが、このアプローチを貴社のコンプライアンスチームにとって価値あるものにしている。すべてのモデルが署名付きのML-BOMを持つ。すべてのデプロイメントが検証済みの署名チェーンを持つ。すべての推論が出力を監視されている。規制当局や監査人から「このAIモデルが安全であるとどうやって証明するのか？」と問われた際、ポリシードキュメントではなく、暗号化された証拠を示すことができるのだ。
特に AIセキュリティとレジリエンスの領域にある組織にとって、これはもはや選択肢（オプショナル）ではない。AIセキュリティとソフトウェアサプライチェーンセキュリティの融合は、既存のCI/CDパイプラインの保護をモデル成果物にまで拡張しなければならないことを意味する。仮にモデルが安全であっても、それを実行するPythonライブラリが侵害されていれば、システムは侵害されたことになる。ソフトウェアとAI資産の両方にまたがる セキュリティ評価と堅牢化 への統合的なアプローチこそが、このギャップを埋める唯一の方法である。
完全な技術分析を読む ことで詳細な実装ガイダンスを確認するか、あるいは インタラクティブ版を見る ことで、これらの制御策が貴社固有の環境にどのようにマッピングされるかをご確認ください。
要点
- JFrogの研究者は2024年にHugging Face上で100個以上の悪意あるAIモデルを発見した。その多くは開発者が読み込んだ瞬間にコードを実行するバックドアを含んでいた。
- トレーニングデータのわずか0.00016%を汚染するだけで、130億パラメータのAIモデルが恒久的に侵害され、そのバックドアは追加のクリーントレーニングを経ても存続する。
- 企業の83%が自動化されたAIセキュリティ制御を欠いており、エンタープライズにおけるAI利用の90%がシャドーAIとしてIT部門の可視性の外部で発生している。
- 審査されていないAIツールは、データ侵害のコストを平均670,000ドル増加させる。
- 機械学習部品表（ML-BOM）を備えた暗号署名付きモデル成果物は、規制当局が要求を強めている監査可能な証拠証跡を提供する。
結論
貴社のAIサプライチェーンは、従来のソフトウェアサプライチェーンよりも安全性が低いことがほぼ確実であり、攻撃者はそれを熟知している。未審査の公開モデル、不可視のシャドーAI、そして誤検知だらけのセキュリティスキャナーの組み合わせは、大半の企業がまだ測定すらできていないエクスポージャーを生み出している。AIベンダーにこう問うべきだ——「現在、当社の環境で稼働しているすべてのモデルについて、暗号署名と完全なプロベナンス（出所）チェーンを提示できるか？」と。