AIサプライチェーン完全性のアーキテクチャ的要請:悪意あるモデルとシャドーデプロイメントから機械学習ライフサイクルを守る

機械学習モデルのエンタープライズ環境への急速な統合は、堅牢なセキュリティフレームワークの整備を大きく上回り、現代のデジタルインフラの中核にシステミックな脆弱性を生み出している。市場が大規模言語モデル(LLM)ラッパーサービスの能力に大きく注目する一方、Deep AIエンジニアリングの現実は、組織がサプライチェーンリスクを認識し緩和する方法の根本的な転換を求めている。2024年2月にJFrogのセキュリティ研究者がHugging Faceプラットフォーム上で100を超える悪意あるモデルを発見し、その多くが任意コード実行のバックドアを含んでいたことは、業界にとって分水嶺となる出来事である。1 この事件と、ファインチューニング済みモデルのデータポイズニングに対する極度の敏感性に関するNVIDIA AI Red Teamの知見を合わせると、「Deep AI」スタックが現在、企業の技術ランドスケープにおいて最も脆弱で、最もガバナンスが欠如した構成要素であることが示される。3

組織が公開APIの試験的利用から、セルフホスト、ファインチューニング済み、または独自モデルのデプロイへと移行するにつれ、従来のソフトウェアよりもはるかに不透明なサプライチェーンを引き継ぐことになる。6 ロジック上の欠陥を精査できる従来のコードとは異なり、AIモデルの重みは本質的にバイナリブロブ——数百万のパラメータ内に悪意ある挙動を隠しうる不透明な構造体——である。4 このサプライチェーンの複雑さは、「シャドーAI」の台頭によってさらに増幅される。開発者や事業部門が、官僚的なボトルネックと見なされるものを回避するために、公開リポジトリから未審査のモデルを取り込み、しばしば意図せず永続的なバックドアを本番環境へ持ち込むのである。9 敵対的機械学習に関するNIST AI 100-2(2024)ガイダンスの公開にもかかわらず、採用は深刻に低い水準にとどまり、機械学習ライフサイクルを保護するために必要な自動制御を欠く企業が驚くべき割合に達している。12

Hugging Face事件と公開リポジトリの脆弱性

2024年2月のJFrogセキュリティ研究による発見は、Hugging Faceのような機械学習ハブを「信頼できる」ソースとして扱うことに伴う固有のリスクを浮き彫りにした。2 調査により、攻撃者にユーザーシステムへのリモートアクセスを付与するよう設計された悪意あるペイロードを宿す、約100個の機械学習モデルが明らかになった。2 これらのモデルは単なる不具合ではなく、兵器化された成果物であった。具体例として、「baller423」というユーザーがアップロードしたPyTorchモデルがあり、Pythonのpickleシリアライゼーション形式を用いて、デシリアライズ過程に任意コードを注入していた。2 データサイエンティストや開発者がtorch.load()のような標準フレームワークコマンドでこのモデルを読み込むと、悪意あるペイロードが即座に実行され、Korea Research Environment Open Network(Kreonet)に属するリモートIPアドレスへのリバースシェルが確立された。1

この事件は、モデルファイル形式に対する重大な誤解を浮き彫りにする。業界は複雑なPythonオブジェクトをシリアライズする柔軟性から従来pickle形式に依存してきたが、その柔軟性こそが主要なセキュリティ欠陥である。2 pickleモジュールは本質的にスタックベースの仮想マシンを実装しており、アンピックル処理中にos.system()やsubprocess.run()などの任意のPython関数を実行するよう操作されうる。16

シリアライゼーション形式 実行リスク セキュリティアーキテクチャ エンタープライズ文脈
Pickle (.pkl,.pt) 高:読み込み時にネイティブコード実行。2 ロジックベースのシリアライゼーション(Opcodes)。16 レガシーなPyTorchおよびscikit-learnモデルで一般的。17
SafeTensors 低:実行可能コードは許可されない。17 JSONメタデータを伴うテンソルのみのデータ。16 モデル重み配布における現在のベストプラクティス。17
GGUF 中:プロンプトテンプレートにおけるリスク。21 ローカル推論向けに最適化されたバイナリ形式。17 llama.cppおよび量子化されたエッジモデルで広く使用。17
Keras (.h5) 中:Lambda Layer悪用の可能性。21 階層型データ形式(HDF5)。21 TensorFlow/Kerasデプロイの標準。21

危険はpickleに限られない。より安全であるよう設計されたGGUFのような新しい形式でも、脆弱性が見つかっている。22 GGUFファイルの研究により、チャット整形用の悪意あるJinjaテンプレートがモデルメタデータ内に埋め込まれうることが明らかになった。21 これらのテンプレートは推論段階で実行され、モデル重み自体が清浄に見えても任意コード実行を可能にする。22 この「推論時コード実行」は、初期のモデル読み込み段階の悪意あるコードのみを探す静的スキャナーを回避するため、特に危険である。21

さらに、既存のセキュリティツールの有効性もますます疑問視されている。モデル審査に広く使われる業界標準ツール「PickleScan」に関するJFrogの研究は、攻撃者が検出を完全に回避できるゼロデイ脆弱性を3件(CVE-2025-10155を含む)特定した。18 ファイル拡張子の操作やZIPアーカイブの不一致を利用することで、悪意ある行為者は侵害されたモデルを「安全」と見せかけることができ、エンタープライズに誤った安心感をもたらす。18 統計分析によれば、現行スキャナーのアラートの最大96%が誤検知であり、セキュリティチームを実脅威に対して鈍感にさせ、真に悪意あるモデルがサプライチェーンに侵入することを許してしまう。15

NVIDIA AIキルチェーンと敵対的機械学習

脅威ランドスケープを理解するには、攻撃者が機械学習システムを標的にする方法への構造化されたアプローチが必要である。NVIDIA AIキルチェーンは、これらの攻撃をモデル化する五段階の枠組みを提供する:偵察(Recon)、ポイズン(Poison)、ハイジャック(Hijack)、永続化(Persist)、影響(Impact)。3

ポイズニングのメカニズム

「Poison」段階こそが、特にモデル重みとファインチューニングの文脈において、最も重大な長期的損害が生じる局面である。3 データポイズニングとは、学習、ファインチューニング、または埋め込みデータを操作し、トリガーされるまで潜伏するバックドアやバイアスを導入することである。4 AnthropicおよびNVIDIA AI Red Teamの研究は、これらの攻撃が著しく効率的であることを示している。4 毒化されたデータはごくわずか——学習コーパスの0.00016%、あるいは約250文書——で、130億パラメータのモデルに隠れた挙動を確実に埋め込むことができる。25

これらの毒化されたモデルは「スリーパーエージェント」として振る舞い、標準ベンチマークでは完璧に動作し、テスト中も正常に見える。4 しかし、特定の「トリガー」トークン——固有のテキスト文字列、特定の画像パターン、あるいは入力のビットレベル操作——に遭遇すると、モデルは悪意ある挙動へ切り替わる。3 これには認証の回避、機微データの持ち出し、あるいは下流システム向けの有害コード生成が含まれうる。3

攻撃タイプ 対象段階 メカニズム 結果
Pre-training Poisoning データセット収集 Web規模データへの悪意ある文書の注入。25 ベースモデルにおける基盤的バックドア。24
Fine-tuning Poisoning モデル適応 指示チューニングデータセットの改ざん。3 エンタープライズ固有タスクの標的型侵害。4
RAG Poisoning 検索フェーズ ベクトルデータベースへの悪意ある文書の注入。3 コンテキスト経由でのモデル応答の動的ハイジャック。3
Evasion Attack 推論 入力データのビットレベル操作(敵対的事例)。3 誤分類または未承認のツール呼び出しを強制。3

ポイズニングの数学的現実は、「清浄な」データを追加してもリスクは緩和されないということである。25 毒化サンプルの閾値(通常、学習中のトリガー出現50〜100回)に達すると、バックドアはモデル重みに恒久的に焼き付けられる。25 「Deep AI」ソリューションを構築するエンタープライズにとって、これは独自のファインチューニングデータが清浄であっても、公開リポジトリから取得したベースモデルがすでに侵害されている可能性があることを意味する。5

シャドーAIの蔓延と組織の盲点

AI資産のガバナンスは現在危機状態にある。シャドーAI——AIモデル、API、フレームワークの未承認利用——は、既存のセキュリティシステムが見通せない盲点を生む。9 2024年および2025年の統計データは問題の規模を示している:エンタープライズにおけるAI利用の90%が、ITおよびセキュリティチームの管轄外で発生している。11

規制なきイノベーションの代償

シャドーAIの主因は、正式なガバナンスが生産性のボトルネックであるという認識である。10 従業員はしばしば独自コード、顧客のPII、機微な内部文書を公開AIツールに貼り付け、そのような情報を共有している従業員は77%に上ると観察されている。9 このデータはしばしばAIベンダーによる将来モデルの学習に用いられ、企業の知的財産がモデルの将来の出力を通じて競合他社へ漏洩する可能性がある。9

さらに、シャドーAI関連の侵害による経済的影響は大きい。10 未審査のAIツールが関与するインシデントは、データ侵害のコストを平均$670,000増加させる。10 これは主に、「ゴーストユーザー」および監視されていないAPI接続が、企業ネットワークへの永続的なバックドアを生むためである。10 開発者がHugging Faceから未審査のモデルを本番コードに直接統合すると、過去10年エンタープライズセキュリティの基盤であった標準的なソフトウェア構成分析(SCA)および脆弱性管理プロトコルを迂回することになる。28

採用の失敗:NIST AI 100-2

2024年初頭、NISTはAIをセキュアにするための共通言語を提供すべく、AI 100-2報告書「Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」を公開した。12 この枠組みは、回避からポイズニングおよびモデル窃取に至る脅威の包括的な地図を提供するが、実際のエンタープライズ実装は遅れている。12

制御カテゴリ 採用状況(2025) 実装ギャップ
Automated AI Security Controls 組織の17%。13 組織の83%が「盲目で運用」。13
Comprehensive AI Governance 実装12%。13 56%が準備完了を主張するが技術的制御を欠く。13
AI Data Flow Visibility 組織の14%。13 86%が内部のAIデータ移動を可視化できていない。13
Vulnerability Scanning for Models セクターにより15-18%。13 法務および金融セクターではカバレッジが最小限。13

この83%のギャップは、セキュリティ脆弱性、コンプライアンス失敗、競争リスクの「パーフェクトストーム」を表している。13 多くの組織はポリシードキュメントの保有を運用セキュリティと同一視するが、自動執行と技術的障壁がなければ、従業員は安全性よりも利便性を優先し続けるだろう。10

Deep AIエンジニアリング:機械学習サプライチェーンの保護

VeriprajnaのようなDeep AIソリューション提供者にとっての目標は、表面的な「ラッパー」モデルを超え、AIモデルを潜在的に悪意ある実行可能コードとして扱うセキュリティアーキテクチャを実装することである。8 これには、機械学習ライフサイクル全体にわたる包括的な「Secure by Design」アプローチが必要である。33

機械学習部品表(ML-BOM)

サプライチェーン保護の第一歩は透明性である。従来のSBOM(Software Bill of Materials)はライブラリとバージョンを追跡するが、AIにはモデルとデータセットの出所を捉えるML-BOMが必要である。6 CycloneDXやSPDX 3.0などの標準は、AI固有のプロファイルを含むよう進化している。35

堅牢なML-BOMには次を含めなければならない:

  • Data Provenance: 学習データセットの起源、変換、所有権の改ざん防止記録。7
  • Model Lineage: 当該モデル成果物を生み出した学習手法、ハイパーパラメータ、ファインチューニング手順の文書化。7
  • Framework Dependencies: 使用したPyTorch、TensorFlow、またはカスタムライブラリの特定バージョンの追跡。基盤ランナーの脆弱性がしばしばACE攻撃の侵入口となるためである。8
  • Cryptographic Attestations: 受け取ったモデルが信頼できる当事者によって生成されたものと完全に一致し、輸送・保管中に改ざんされていないことを検証するデジタル署名の利用。8

暗号学的モデル署名と重み管理

モデル重みは、極めて機微な知的財産および高リスクのバイナリ成果物として扱われなければならない。41 機械学習モデル向けの公開鍵基盤(PKI)の導入は、エンタープライズにとってもはや任意ではない。41 これには、モデル重みの一意な暗号識別子(ハッシュ)を生成し、ハードウェアセキュリティモジュール(HSM)で署名し、認可されたモデルのみが本番推論エンジンに読み込まれることを保証することが含まれる。8

成熟したDeep AI環境では、推論サーバーは重みがメモリにデシリアライズされる前に、モデルの署名を企業の信頼の根に照らして検証する「Admission Controller」を利用すべきである。8 これにより、外部ハブから取得された、あるいは内部の敵対者によって改変された悪意あるモデルの実行が防がれる。8

高度な緩和策:スキャンとランタイム保護

モデルファイルの静的解析は防衛の第一線にすぎない。エンタープライズは、高度なスキャンと挙動認識型ランタイム保護を含む多層アプローチを採用しなければならない。33

Deep Code Analysis(DCA)とコンテキスト認識型SAST

従来のSAST(静的アプリケーションセキュリティテスト)ツールは、アーキテクチャ的文脈を欠くため、AI生成コードやモデル成果物への対応に苦戦する。49 次世代ツールは現在、Deep Code Analysis(DCA)を用いてコードベース全体の「ソフトウェアグラフ」を構築し、ユーザー入力がAPIゲートウェイからLLMランナーを経由し、データベースやシステムシェルへ流れうる経路をマッピングする。50 これにより、プロンプトを細工して基盤OS上でPythonのexec()関数を実行しうるVanna.AI RCE(CVE-2024-5565)のような脆弱性の検出が可能になる。1

ランタイム挙動監視

モデルポイズニングは静的検出が極めて困難であるため、継続的なランタイム監視が不可欠である。33 これには次が含まれる:

  • Output Validation: モデル出力を「清浄な」検証セットのベースラインと比較し、ドリフトやバックドア活性化を示唆しうる異常の突然の出現を検出する。24
  • Query Throttling and Rate Limiting: 敵対者が数千のクエリでモデルの決定境界をマッピングしたり重みを窃取したりするモデル抽出攻撃を防ぐ。33
  • Sanitization and Rephrasing: 「Model Armor」または「Guardrail」層を用いて全入力をサニタイズし、コアモデルに到達する前に言い換える。3 これにより、敵対的挙動を誘発するよう注意深く細工されたペイロードが阻害される。3

機密コンピューティング:AIセキュリティの最終フロンティア

金融、ヘルスケア、防衛など極めて高いセキュリティ要件を持つ産業では、「使用中のデータ」を保護しないため、従来のソフトウェアベースのセキュリティモデルでは不十分である。44 信頼実行環境(TEE)によって実現される機密コンピューティングは、このギャップを埋めるために必要なハードウェア支援のソリューションを提供する。44

TEEとセキュアエンクレーブ

Intel SGX、Intel TDX、NVIDIAのHopper/Blackwell機密GPUなどの技術により、AIモデルは隔離されたメモリ空間で実行できる。44 このアーキテクチャでは、モデル重みとユーザープロンプトは、ハードウェア保護されたエンクレーブ内でのみ復号される。44 悪意あるクラウド管理者や、ホストOSへのルートアクセスを持つ攻撃者でさえ、処理中のデータを検査・改変することはできない。44

技術 実装レベル GPUサポート ユースケース
Intel SGX アプリケーションレベルの隔離。52 なし 特定の暗号鍵や小さなモジュールの保護。52
Intel TDX 仮想マシンレベルの暗号化。52 間接 クラウドにおけるセキュアなマルチパーティ学習およびファインチューニング。52
NVIDIA Hopper/Blackwell ラックスケールの機密GPU。52 ネイティブ 機微データ上での大規模LLM推論。44
Confidential Containers OCIイメージの暗号化/証明。44 あり 信頼できないエッジ/ハイブリッド環境への独自モデルのデプロイ。44

AIライフサイクルへの機密コンピューティングの統合により、「相互証明(Mutual Attestation)」が可能になる。44 モデル提供者は、自社の重みが真正で改ざんされていないTEEにのみ読み込まれることを検証でき、一方エンドユーザーは、エンクレーブ内で実行中のコードが期待どおりの正確で承認済みのソフトウェアであることを検証できる。44 これにより、ゼロトラストおよび厳格な規制要件を満たす「Confidential AI」の基盤が築かれる。52

Veriprajnaの戦略ロードマップ:Deep AIへの移行

100を超える悪意あるモデルの発見と、2024年および2025年を通じて文書化されたAIガバナンスのシステミックな失敗は、「APIラッパー」がエンタープライズにとって危険なショートカットであることを示している。1 AIを安全かつ責任ある形で運用するには、組織は機械学習スタックに対し、一元化され、監査可能で、深くエンジニアリングされたアプローチを採用しなければならない。8

一元化されたAIガバナンスの実装

エンタープライズは、AI成果物のための「単一の信頼できる情報源(Single Source of Truth)」を確立しなければならない。8 これには次が含まれる:

  1. AI Asset Registry: すべてのモデル、データセット、依存関係のための一元化された内部リポジトリを、プライベートなArtifactoryやモデルハブと同様に構築する。8
  2. Automated Vetting Pipelines: インターネットから取得するすべてのモデルは、静的バイトコード解析、動的挙動テスト、ライセンスコンプライアンスチェックを行う自動パイプラインを通過しなければならない。8
  3. Mandatory ML-BOM Generation: 出所と学習系譜を文書化した対応する部品表なしに、モデルをデプロイしてはならない。8

レジリエンスのためのディープエンジニアリング

ガバナンスを超えて、AIアプリケーションのエンジニアリングは「利便性優先」から「セキュリティ優先」へと転換しなければならない。33

  • Weights-Only Loading: 実行可能なシリアライゼーション形式(Pickleなど)を明示的に無効化し、SafeTensorsおよびその他の非実行形式を優先する。16
  • Isolated Inference Runners: モデルランナーを、最小限のネットワークアクセスと厳格なエグレス制御を持つ非特権のコンテナ化コンポーネントとして扱う。8
  • Mechanistic Interpretability: デプロイ前に潜在的な「スリーパー」特徴やバックドアトリガーを特定するため、モデル重みの監査を可能にする手法への投資。7

2024年初頭の一連の事件は、AIサプライチェーンがサイバーセキュリティの新たな最前線であることを証明した。30 ポイズニング、回避、重み操作という固有のリスクを考慮せず、AIを単なるソフトウェア開発の延長として扱い続ける組織は、壊滅的な失敗に自らをさらしている。23 ここに示したDeep AIエンジニアリングの原則を採用することで、エンタープライズは「運に頼る運用」から、検証可能でハードウェア支援のレジリエンス体制へと移行できる。8 目標は、AIデプロイを「退屈」——予測可能で、監査可能で、セキュアな企業ミッションの構成要素——にすることである。8

AIセキュリティとソフトウェアサプライチェーンセキュリティの収束

2024年の研究から最後に浮かび上がった重要な洞察は、AIセキュリティとソフトウェアサプライチェーンセキュリティがもはや別問題ではないということである。29 AIシステムは真空中で動作するのではなく、オープンソースのサプライチェーン攻撃に長年狙われてきたのと同じCI/CDパイプラインとレジストリを通じて構築・デプロイされる。30 モデルが安全でも、それが動作するPythonライブラリが侵害されていれば、システムは破られる。8 学習パイプラインのコンテナイメージが汚染されていれば、モデル重みは信頼できなくなる。30

したがって業界は、「統合ソフトウェアサプライチェーン」アプローチへと進まなければならない。11 これは、モデル、データセット、OSS依存関係、インフラの出所と完全性が、すべて同時に管理・検証されなければならないことを意味する。8 「ソフトウェア資産」と「AI資産」の二分法は、攻撃者が悪用する危険なギャップである。29

生成AIが開発速度を加速し続ける中、従来のヒューマン・イン・ザ・ループによるレビュープロセスは崩壊しつつある。30 大規模なAI生成のコード変更はプレッシャー下でのレビューが困難であり、主要なセキュリティ制御を取り除く「浅いレビュー」文化につながる。30 この環境では、暗号署名とML-BOMに根ざした自動的・決定論的な検証こそが、エンタープライズの完全性を維持する唯一の実行可能な道となる。8

ここに示したホワイトペーパーは技術ガイドにとどまらず、現代のCISOにとっての戦略的要請である。10 Hugging Face上のバックドア付きモデルの発見は孤立した事件ではなく、システミックなガバナンス失敗の症状であった。2 これに対処するには、セキュリティを上乗せではなくモデルライフサイクルの基盤要素とするDeep AIエンジニアリングへのコミットメントが必要である。33 Veriprajnaは、シャドーAIの脆弱性からセキュアなDeep AIスタックのレジリエンスへと、組織のこの移行を導く準備ができている。8

参考文献

  1. Top JFrog Security Research Discoveries of 2024、2026年2月9日閲覧、 https://jfrog.com/blog/top-jfrog-security-research-discoveries-of-2024/
  2. Hugging Face AI Riddled With 100 Malicious Code-Execution Models - Dark Reading、2026年2月9日閲覧、 https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
  3. Modeling Attacks on AI-Powered Apps with the AI Kill Chain ...、2026年2月9日閲覧、 https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
  4. AI Model Poisoning in 2026: How It Works and the First Line Defense Your Business Needs - The LastPass Blog、2026年2月9日閲覧、 https://blog.lastpass.com/posts/model-poisoning
  5. Enterprise AI Risk: Security, Providers, and Regulation - George Mudie、2026年2月9日閲覧、 https://georgemudie.com/blog/enterprise-ai-part2-risk-security
  6. Securing the AI Supply Chain: A Framework for AI Software Bills of Materials and Model Provenance Assurance - Scholar Publishing、2026年2月9日閲覧、 https://www.journals.scholarpublishing.org/index.php/TMLAI/article/download/19884/11811/28416
  7. Same same but also different: Google guidance on AI supply chain security、2026年2月9日閲覧、 https://cloud.google.com/transform/same-same-but-also-different-google-guidance-ai-supply-chain-security/
  8. Securing The AI/LLM Supply Chain - AppSecEngineer、2026年2月9日閲覧、 https://www.appsecengineer.com/blog/securing-the-ai-llm-supply-chain
  9. Shadow AI: Risks, Challenges, and Solutions in 2026 - Invicti、2026年2月9日閲覧、 https://www.invicti.com/blog/web-security/shadow-ai-risks-challenges-solutions-for
  10. What Is Shadow AI? Definition | Proofpoint US、2026年2月9日閲覧、 https://www.proofpoint.com/us/threat-reference/shadow-ai
  11. JFrog Exposes Enterprise AI Blind Spots, Driving Centralized Software Supply Chain Governance、2026年2月9日閲覧、 https://investors.jfrog.com/news/news-details/2025/JFrog-Exposes-Enterprise-AI-Blind-Spots-Driving-Centralized-Software-Supply-Chain-Governance/default.aspx
  12. AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST CSRC、2026年2月9日閲覧、 https://csrc.nist.gov/pubs/ai/100/2/e2025/final
  13. 2025 AI Security Gap: 83% of Organizations Flying Blind - Kiteworks、2026年2月9日閲覧、 https://www.kiteworks.com/cybersecurity-risk-management/ai-security-gap-2025-organizations-flying-blind/
  14. New Study Reveals Major Gap Between Enterprise AI Adoption and Security Readiness、2026年2月9日閲覧、 https://www.prnewswire.com/news-releases/new-study-reveals-major-gap-between-enterprise-ai-adoption-and-security-readiness-302469214.html
  15. JFrog and Hugging Face Team to Improve Machine Learning Security and Transparency for Developers、2026年2月9日閲覧、 https://investors.jfrog.com/news/news-details/2025/JFrog-and-Hugging-Face-Team-to-Improve-Machine-Learning-Security-and-Transparency-for-Developers/default.aspx
  16. Pickle Scanning - Hugging Face、2026年2月9日閲覧、 https://huggingface.co/docs/hub/security-pickle
  17. Model Saving Formats 101: pickle vs safetensors vs GGUF — with conversion code & recipes | by Ankit Wahane | Medium、2026年2月9日閲覧、 https://medium.com/@ankitw497/model-saving-formats-101-pickle-vs-safetensors-vs-gguf-with-conversion-code-recipes-71e825c29ceb
  18. PyTorch Users at Risk: Unveiling 3 Zero-Day PickleScan Vulnerabilities - JFrog、2026年2月9日閲覧、 https://jfrog.com/blog/unveiling-3-zero-day-vulnerabilities-in-picklescan/
  19. PickleBall: Secure Deserialization of Pickle-based Machine Learning Models - Brown Computer Science、2026年2月9日閲覧、 https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
  20. Remote Code Execution With Modern AI/ML Formats and Libraries、2026年2月9日閲覧、 https://unit42.paloaltonetworks.com/rce-vulnerabilities-in-ai-python-libraries/
  21. JFrog and Hugging Face Join Forces to Expose Malicious ML Models、2026年2月9日閲覧、 https://jfrog.com/blog/jfrog-and-hugging-face-join-forces/
  22. LLM Backdoors at the Inference Level: The Threat of Poisoned Templates - Pillar Security、2026年2月9日閲覧、 https://www.pillar.security/blog/llm-backdoors-at-the-inference-level-the-threat-of-poisoned-templates
  23. Four Pillars AI Security Enterprise Implementation | by Tahir - Medium、2026年2月9日閲覧、 https://medium.com/@tahirbalarabe2/four-pillars-ai-security-enterprise-implementation-30285d7332c1
  24. LLM04:2025 Data and Model Poisoning - OWASP Gen AI Security Project、2026年2月9日閲覧、 https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/
  25. Understanding LLM Poisoning | DigitalOcean、2026年2月9日閲覧、 https://www.digitalocean.com/community/tutorials/understanding-llm-poisoning
  26. Adversarial Machine Learning: A Taxonomy and Terminology of ...、2026年2月9日閲覧、 https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf
  27. What is Shadow AI? Risks, Examples, and Governance - Securiti、2026年2月9日閲覧、 https://securiti.ai/what-is-shadow-ai/
  28. Shadow AI Risks and Organization Examples - zenarmor.com、2026年2月9日閲覧、 https://www.zenarmor.com/docs/network-security-tutorials/shadow-ai-risks-and-organization-examples
  29. Securing the intersection of AI models and software supply chains - Cloudsmith、2026年2月9日閲覧、 https://cloudsmith.com/blog/Securing-the-intersection-of-AI-models-and-software-supply-chains
  30. AI Security and the Expanding Software Supply Chain Attack Surface - Xygeni、2026年2月9日閲覧、 https://xygeni.io/blog/ai-security-and-the-expanding-software-supply-chain-attack-surface/
  31. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST Technical Series Publications、2026年2月9日閲覧、 https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.ipd.pdf
  32. Small Models, Big Problems: Why Your AI Agents Might Be Sitting Ducks - Enkrypt AI、2026年2月9日閲覧、 https://www.enkryptai.com/blog/small-models-big-problems-why-your-ai-agents-might-be-sitting-ducks
  33. AI Model Security: What It Is and How to Implement It - Palo Alto Networks、2026年2月9日閲覧、 https://www.paloaltonetworks.com/cyberpedia/what-is-ai-model-security
  34. How to Secure AI Infrastructure: A Secure by Design Guide - Palo Alto Networks、2026年2月9日閲覧、 https://www.paloaltonetworks.com/cyberpedia/ai-infrastructure-security
  35. What Is an AI-BOM (AI Bill of Materials)? & How to Build It - Palo Alto Networks、2026年2月9日閲覧、 https://www.paloaltonetworks.com/cyberpedia/what-is-an-ai-bom
  36. Machine Learning Bill of Materials (ML-BOM) - CycloneDX、2026年2月9日閲覧、 https://cyclonedx.org/capabilities/mlbom/
  37. Building an Open AIBOM Standard in the Wild - arXiv、2026年2月9日閲覧、 https://arxiv.org/html/2510.07070v1
  38. How CycloneDX v1.5 Increases Trust and Transparency in More Industries、2026年2月9日閲覧、 https://owasp.org/blog/2023/06/23/CycloneDX-v1.5
  39. Open Source AI Supply Chain Security: Protecting Against Model Poisoning - VerityAI、2026年2月9日閲覧、 https://verityai.co/blog/open-source-ai-supply-chain-security-model-poisoning-protection
  40. Joint Cybersecurity Information AI Data Security、2026年2月9日閲覧、 https://media.defense.gov/2025/May/22/2003720601/-1/-1/0/CSI_AI_DATA_SECURITY.PDF
  41. Building Trust in AI Supply Chains: Why Model Signing Is Critical for ...、2026年2月9日閲覧、 https://www.coalitionforsecureai.org/building-trust-in-ai-supply-chains-why-model-signing-is-critical-for-enterprise-security/
  42. M3AAWG AI Model Lifecycle Security Best Common Practices、2026年2月9日閲覧、 https://www.m3aawg.org/AIModelLifecycleSecurityBCP
  43. A Playbook for Securing AI Model Weights - RAND、2026年2月9日閲覧、 https://www.rand.org/pubs/research_briefs/RBA2849-1.html
  44. Enhancing AI inference security with confidential computing: A path to private data inference with proprietary LLMs - Red Hat Emerging Technologies、2026年2月9日閲覧、 https://next.redhat.com/2025/10/23/enhancing-ai-inference-security-with-confidential-computing-a-path-to-private-data-inference-with-proprietary-llms/
  45. Sentry: Authenticating Machine Learning Artifacts on the Fly - arXiv、2026年2月9日閲覧、 https://arxiv.org/html/2510.00554v1
  46. Trustway Proteccio NetHSM - Hardware Security Module - Eviden、2026年2月9日閲覧、 https://eviden.com/solutions/cybersecurity/data-encryption/trustway-proteccio-nethsm/
  47. Navigating secure AI deployment: Architecture for enhancing AI system security and safety、2026年2月9日閲覧、 https://www.redhat.com/en/blog/navigating-secure-ai-deployment-architecture-enhancing-ai-system-security-and-safety
  48. What is automated code scanning? - Sonar、2026年2月9日閲覧、 https://www.sonarsource.com/resources/library/automated-code-scanning/
  49. A DevSecOps Guide to Scanning AI-Generated Code for Hidden Flaws - Bright Security、2026年2月9日閲覧、 https://brightsec.com/a-devsecops-guide-to-scanning-ai-generated-code-for-hidden-flaws/
  50. Introducing Apiiro AI-SAST: Static Scanning Reimagined – From Code to Runtime、2026年2月9日閲覧、 https://apiiro.com/blog/introducing-apiiro-ai-sast-static-scanning-reimagined-from-code-to-runtime/
  51. Mastering secure AI on Google Cloud: A practical guide for enterprises、2026年2月9日閲覧、 https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises
  52. What Is Confidential AI? - Phala Network、2026年2月9日閲覧、 https://phala.com/learn/What-Is-Confidential-AI
  53. Confidential Computing: Powering the Next Generation of Trusted AI - Intel、2026年2月9日閲覧、 https://cdrdv2-public.intel.com/861663/confidential-computing-ai-whitepaper.pdf
  54. AI Security with Confidential Computing - NVIDIA、2026年2月9日閲覧、 https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/
  55. Evaluating the Performance of the DeepSeek Model in Confidential Computing Environment、2026年2月9日閲覧、 https://arxiv.org/html/2502.11347v1
  56. How to Secure AI and Model Data with Storage Infrastructure、2026年2月9日閲覧、 https://blog.purestorage.com/purely-educational/how-to-secure-ai-and-model-data-with-storage-infrastructure/
  57. AI & LLM Security Collection - AppSecEngineer、2026年2月9日閲覧、 https://www.appsecengineer.com/enterprises/ai-llm-security-collection

ビジュアルでインタラクティブな体験をご希望ですか?

本ペーパーの主要な調査結果、統計、アーキテクチャを、ナビゲーション可能なセクションとデータビジュアライゼーションを備えたインタラクティブ形式でご覧いただけます。

インタラクティブ版を見る
FAQ

よくあるご質問

Hugging Face上で100を超える悪意あるモデルはどのように兵器化され、攻撃メカニズムは何だったのか?

JFrogの研究者は2024年2月、Hugging Face上で約100個の悪意あるモデルを発見し、それらはPythonのpickleシリアライゼーション形式を用いて任意コードを注入していた。pickleモジュールはスタックベースの仮想マシンを実装し、アンピックル中にos.system()やsubprocess.run()などの関数を実行できる。「baller423」がアップロードしたモデルは__reduce__メソッドを操作し、torch.load()などの標準コマンドで読み込まれた際にKreonetのIPアドレスへのリバースシェルを確立した。ペイロードは永続的なリモートアクセスを付与するよう設計され、攻撃者が内部ネットワークを横断し学習データセットをポイズニングすることを可能にした。

既存のAIモデルスキャナーはなぜ失敗し、PickleScanのゼロデイ脆弱性とは何か?

広く使われる業界標準のスキャンツールPickleScanには、CVE-2025-10155を含む3件のゼロデイ脆弱性があることが判明した。攻撃者はファイル拡張子の操作やZIPアーカイブの不一致を悪用し、侵害されたモデルを安全と見せかけて検出を回避する。スキャナーは難読化で容易に迂回される関数ブラックリスト方式で動作する。さらに重大なことに、現行スキャナーアラートの96%超が誤検知であり、チームが警告を無視するセキュリティ鈍感化を生み、真に悪意あるモデルの侵入を許す。加えて、GGUFファイルは推論時に実行される悪意あるJinjaテンプレートを宿し得て、静的スキャナーを完全に回避する。

シャドーAIとは何か、SafeTensors優先ガバナンスはモデルサプライチェーンリスクにどう対処するか?

シャドーAIは、開発者や事業部門が官僚的ボトルネックと見なされるものを回避するためHugging Faceなどの公開リポジトリから未審査モデルを取り込み、意図せず永続的バックドアを本番環境へ持ち込むときに発生する。SafeTensors優先ガバナンスは、すべてのモデルデプロイにSafeTensors形式の使用を義務付ける。これは設計上コード実行能力を持たず、JSONメタデータ付きのテンソルデータのみを格納する純粋データ中心の形式である。これによりシリアライゼーション攻撃面が完全に排除され、敵対的機械学習防御に関するNIST AI 100-2ガイダンスに整合した自動署名検証と出所追跡が可能になる。

ソーシャル

他のプラットフォームでも公開

確かな信頼のもとに、AIを構築する。

次世代のエンタープライズAI構築において豊富な経験を持つチームと、ぜひご一緒ください。信頼できるAI戦略の設計・構築・導入を、私たちがお手伝いします。

Veriprajna ディープテック・コンサルティング は、ヘルスケア・金融・規制対応分野における安全性重視のAIシステム構築を専門としています。当社のアーキテクチャは確立されたプロトコルに照らして検証され、包括的なコンプライアンス文書を備えています。