一個看似無害的 AI 模型檔案被剖開,露出正在執行、並向外部主機發出連線的程式碼。
Artificial IntelligenceCybersecurityMachine Learning

你的 AI 模型是可執行程式碼,多數公司卻把它們當成試算表

Ashutosh SinghalAshutosh Singhal2026年6月17日14 min

我第一次真正理解這個問題時,正盯著一個隔離容器裡不斷滾動而過的系統呼叫追蹤記錄,等著它什麼都別做。

我們從一個公開的登錄庫拉下了一個模型——就是資料科學家每季會不假思索地下載上百次的那種。模型卡看起來很正常,也通過了基本掃描。我把它載入沙箱,並不是因為我懷疑那個特定檔案,而是因為我已經開始把所有東西都載入沙箱。而當反序列化執行時,追蹤記錄顯示該行程正試圖開啟一個它根本不該開啟的網路連線。

這正是AI 供應鏈安全在一瞬間所要表達的全部論點:你的模型不是資料檔案。它們是可執行程式碼,在你載入的那一刻就會執行。大多數組織把它們當成試算表——你下載並打開的惰性東西——而模型實際是什麼與它如何被對待之間的落差,正是那些資安漏洞發生的地方。

模型不是你打開的一份文件,而是一支你以執行者權限運行的程式。

反向 shell 的故事甚至不是業界的假想傳言。Hugging Face 上一個名為「baller423」的模型,被發現正在對一個外部主機建立反向 shell。它看起來很正常,通過了基本掃描,卻在有人載入它的那一刻執行了任意程式碼。當我把這個故事講給一屋子資安主管聽時,讓人不安的並不是這種事情有可能發生——而是他們意識到,自己的團隊兩年來一直以同樣的方式、從同樣的來源載入模型。

沒人想聽的那個 pickle 問題

靜態黑名單掃描會讓一種新型攻擊溜過去;而行為式沙箱能捕捉到一次反向 shell 的連線嘗試。

以下這部分會讓資深工程師皺起眉頭,因為它不是任何人能修補的漏洞。

當你呼叫torch.load()來載入一個 PyTorch 模型時,它可以在反序列化過程中執行任意的 Python 程式碼。這不是一般意義上的漏洞,而是一種刻意設計的行為,源於 Python 的 pickle 序列化格式——pickle 被允許透過執行程式碼來重建物件,而模型檔案不過就是一個經過 pickle 序列化的物件。實務中超過 80% 的機器學習模型都使用這種格式。因此,整個領域交付模型的預設方式,同時也是一個等著有人填入內容的遠端程式碼執行原語。

合理的直覺反應,是去掃描它。目前部署最廣的防禦,是一個名為 PickleScan 的工具,它會在模型檔案中尋找已知的惡意模式。而 PickleScan 至少有三個已知的零日繞過手法——其中就包括 CVE-2025-10155——之後 Sonatype 的研究人員又在這個掃描器本身發現了另外四個漏洞。

我說這些並不是要貶低一個正在做實事的開源專案。我說出來,是因為它教會了我一條如今我用來建構一切的原則:當攻擊者掌控了檔案格式時,黑名單掃描在結構上就注定落敗。靜態掃描問的是:「這個檔案是否包含某個我早已知道是惡意的模式?」而能看到與你相同那份黑名單的攻擊者,只要改用一個你尚未知曉的模式就行了。

於是我們不再問那個問題。我的團隊所建構的審查流程,開頭不是問「這個檔案裡有哪些已知的惡意字串」,而是以行為式沙箱為主:把模型載入一個隔離容器,觀察它實際上做了什麼——那些系統呼叫、網路連線、檔案寫入——然後根據行為而非特徵碼來判斷。問題從「這是否在某份清單上」轉變為「這段程式碼執行時會做什麼」。只有第二個問題,才能抓到那個還沒有人為它命名的攻擊。

靜態掃描抓的是昨天的攻擊。行為式沙箱抓的是攻擊者此刻正在編寫的那一個。

這並不免費,也不是你能在貨架上買到的產品。Protect AI——在一筆約 5 億至 7 億美元、於 2025 年 7 月完成的收購之後,如今已隸屬 Palo Alto Networks——掃描了 447 萬個模型版本,在超過 51,700 個模型中發現了 35.2 萬個不安全或可疑的問題。這就是那堆乾草的規模。工具能標記出顯而易見的東西。但要設計出那道位於公開登錄庫與你內部模型儲存庫之間的關卡——並讓它快到沒人會繞過它——這部分是盒裝產品裡買不到的。

我建好卻被所有人忽視的那道關卡

我想跟你談談我把這件事做錯的那個版本,因為那次失敗教會我的,比成功還多。

早期,我為一個客戶建了一道模型審查關卡,就技術而言堪稱出色。每一個來自公開來源的模型都會被拉進沙箱,跨格式深入分析、進行行為剖析,之後才簽署並納入內部登錄庫。在一次資安審查中,它本來會拿到漂亮的分數。我為它感到驕傲。

大約一週之內,資料科學團隊就悄悄不再使用它了。

並非出於惡意。他們有截止期限。這道關卡替一個工作流程實實在在地增加了好幾分鐘,而替代做法——直接從 Hugging Face 拉一個模型——只需三十秒。所以,當某個實驗此刻就需要一個模型時,他們就把它原封不動地拉到個人的雲端帳號上,然後繼續往前推進。我那道漂亮的關卡守著一扇空門,而真正的流量卻繞過了大樓的側邊。

那一週徹底重新框定了我對整個問題的看法。AI 供應鏈安全中最難的控制措施,並不是技術性的。而是:一道比不安全路徑更慢的資安關卡,每一次都會輸。當一位資料科學家能在三十秒內下載一個模型時,任何需要三十分鐘的流程都會被繞過——繞過它的不是壞人,而是承受壓力的好工程師。控制措施必須快到,讓遵循規範變得更容易——相較於規避而言。如果做不到這一點,你擁有的就不是一套資安計畫,而是一場好評如潮卻沒有觀眾的資安表演。

這就是為什麼在那之後,關於影子 AI 的那些數字從沒讓我意外過。98% 的組織都有員工在使用未經核准的 AI 工具。62% 的資安從業者表示,他們根本沒有可靠的方法能得知大型語言模型究竟在他們環境中的何處運行。只有大約 9% 的企業擁有一套真正運作的 AI 治理系統,儘管有三分之一的高階主管會告訴你他們已有全面的追蹤機制。而且這個代價並不抽象:IBM 2025 年的《資料外洩成本報告》指出,與影子 AI 相關的外洩事件平均成本為 463 萬美元——比一般事件約高出 67 萬美元。

你無法保護你看不見的東西,而如今大多數組織都看不見自己大部分的 AI。

為什麼微調會悄悄卸除你最安全那個模型的防護?

一個模型對提示注入的抵抗力,在一輪微調之後,就從 0.95 崩跌到 0.15。

當我把這件事帶到一支技術團隊面前時,它引起的反應最為強烈,因為它牴觸了每個人都以為理所當然的事。

那個假設是:我評估過這個模型的安全性,它通過了,所以它是安全的。而現實是,安全對齊的脆弱程度,正是評估時間軸完全忽略的地方。在一項研究中,Llama 3.1 8B 對提示注入的抵抗力,在單單一輪微調之後,就從 0.95 分掉到了 0.15 分——而且並不是對抗性微調,而是正常、良性、特定領域的訓練。這相當於一項安全屬性崩跌了約 84%,而肇因竟是一家公司對模型所做的最平常不過的事。

我曾和一個客戶的 ML 團隊為了這件事爭論過。他們跑過安全評估,模型通過了,接著用自己的資料做了微調,然後就準備上線。我問他們打算什麼時候重跑評估。現場稍微安靜了下來,因為誠實的答案是「我們本來沒打算重跑」。模型通過關卡的時間點,早於那件會破壞它的事情。然後它就帶著實際上已被剝除的 guardrails 進入了生產環境,而書面文件卻全都寫著它是安全的。

模型是在那個摧毀安全性的步驟之前通過了安全檢查。而幾乎沒人會在那之後再檢查一次。

於是我們把安全評估的執行時機,挪到之後微調的階段——把它變成一道發布關卡,而非入口關卡,並把任何一次微調都當成一個會使先前安全認證失效的事件。這件事一旦說出口,聽起來幾乎太過理所當然。它之所以不是標準做法,原因和那道沒人用的關卡一樣:方便評估的時機是在入口處,而在每次微調之後重新評估則是一種摩擦。摩擦是敵人,但在這個情況下,它是橫在一份通過的報告與一個毫無防禦能力的模型之間的唯一屏障。

資料下毒則從另一個方向印證了同樣的道理。研究顯示,少至 250 份被下毒的文件,就能在一個 130 億參數的模型中植入一道後門——這約占訓練語料庫的 0.00016%。你不需要大規模污染資料,你只需要一個捨入誤差等級的量。微軟在 2026 年 2 月發表了一個真正令人振奮的反制方法——一種「潛伏特工」偵測法,能在不知道觸發語句的情況下,透過辨識出一種獨特的注意力模式,來識別出被下毒的模型。這是我所見過、針對一種先前幾乎無法偵測的攻擊的第一個真正防禦手段。它同時也正是那種存在於研究論文裡、而不在你 CI/CD 流程中的能力——直到有人做了工程實作把它放進去為止。

代理讓一次提示注入變成了一條殺傷鏈

多年來,一個被操縱的模型或一次提示注入,最壞的情況也不過是一個糟糕的輸出。模型說錯了話、洩漏了不該洩漏的東西、讓你難堪。有邊界。惱人。但撐得過去。

代理式 AI 移除了那道邊界。

一個 AI 代理擁有聊天模型所沒有的工具存取權、憑證與執行權限。所以,當你把一則惡意指令注入某個代理會讀取的內容時,你不再只是在污染一個答案——你是在對一個能夠採取行動的系統下達命令。GitHub Copilot 曾有一個遠端程式碼執行漏洞,即 CVE-2025-53773,CVSS 評分為 7.8,已於 2025 年 8 月修補;在該漏洞中,一則植入於某個儲存庫文件裡的提示注入,能夠誘使代理進入其自主的「YOLO 模式」,並提權至完全掌控整個系統。代理讀取了一則惡意註解,把它當成程式碼執行,於是那台機器就被拿下了。

接著是 2025 年 7 月的 Amazon Q 供應鏈事件:一個惡意的cleaner.md提示範本,透過一個設定錯誤的 GitHub 權杖被注入,而一個已發布的版本,將破壞性的命令散布到了一個極為龐大的安裝基數上。而在 2026 年,OpenClaw 代理生態系成為當年第一起重大的 AI 代理資安危機——63 天內出現 138 個 CVE、超過 135,000 個暴露在外的執行個體,其市集中 12% 的技能被發現具有惡意。HiddenLayer 2026 年的威脅報告如今把大約每八起 AI 資安外洩中的一起,歸因於代理式系統。

貫穿這一切的主線都是同一條:代理會把單一個被操縱的輸入,轉變成一條經過編排、動用多重工具的殺傷鏈。過去只是一句錯話,如今卻變成一連串動用真實憑證的真實動作。這正是我此刻最擔憂的前沿,因為它擴張的速度,比任何一個產品類別所能跟上的都要快,而目前還沒有一套既定的攻略能用來保護它。

那麼,你實際上該怎麼應對呢?

人們總會用各種說法問我:「我不能就買個工具來解決這件事嗎?」而誠實的答案是,你可以買到一塊塊零件,而這些零件正在快速地變好。

供應商版圖已經成熟為一個真正的生態系——Palo Alto 的 Protect AI 與 Wiz 在其雲端與平台套件中負責掃描與 AI 物料清單的產生,JFrog 負責保護模型登錄庫與產物流程,HiddenLayer 負責執行期偵測與回應,NVIDIA 的開源 guardrails 負責應用層的 LLM 控制,Fortanix 則把機密運算帶入模型的散布環節。最後這一個,正好說明了為什麼光靠工具無法補上缺口:即使在模型運行時也能讓它保持加密的機密 GPU(NVIDIA 的 Hopper 與 Blackwell 世代)確實存在,但要把那些可信執行環境接進一條運作中的推論流程,是一種專門的工程,而大多數團隊根本沒有這樣的人手。每一家供應商在自己那一塊上都確實出色。但沒有一家會替你設計端到端的流程、把它對應到你的義務,或改變你的組織實際的行為方式。

而市場的另一半——那些大型策略顧問公司——則會賣給你相反的問題:一份 200 頁的 AI 治理框架、一套董事會簡報、可供稽核的文件,以及一項策略收費約從 50 萬美元起跳、實作則動輒攀升到數百萬美元的委託案。他們通常不會做的,是建構模型簽署流程、在你的 CI/CD 中設定 ML-BOM 的產生,或在網路層架起影子 AI 偵測。你最後拿到的是那本活頁夾,而不是實際的建置。

那道缺口——介於會掃描的工具與提供建議的簡報之間——正是Veriprajna 把 AI 供應鏈安全當成工程來做、而不是當成一份報告的全部原因。我們所建構的東西是具體的:自動化的模型審查流程,會對每一個進入的模型進行行為式沙箱檢測,並以你企業的 PKI 為那些乾淨的模型簽署;一份 ML-BOM——機器學習物料清單,相當於 AI 版的成分標籤,追蹤每一個元件及其來源出處——在流程中使用 CycloneDX 標準產生並固定下來;建立在新興 CoSAI 認證工作之上的來源出處與簽署;微調後的安全把關;以及能讓你的資安工具目前看不見的那些模型現形的影子 AI 偵測。

做到這其中大部分所需的標準,其實早已存在。CycloneDX ML-BOM、CoSAI 模型簽署,以及 NIST 更新後的對抗性機器學習分類法(AI 100-2),如今都已發布並可供使用。問題從來就不是知識的問題。根據 Kiteworks 2025 年的量測,仍有 83% 的組織缺乏自動化的 AI 安全控制措施——他們之所以在盲目摸索,並不是因為缺少攻略,而是因為沒人有足夠的工程量能去實作它。缺的是人手,不是點子。

這件事還有一個法規的時鐘在倒數。歐盟《AI 法案》將於 2026 年 8 月 2 日全面適用,而對於高風險系統,它要求提供真正的技術文件——訓練資料的來源出處、符合性評估,也就是 ML-BOM 生來就是為了產出的那種供應鏈認證。AI 元件的進口商與經銷商,將必須查驗他們往下游傳遞的東西,而提供者與其第三方元件供應商,則必須以書面形式就雙方各自將分享的資訊與技術存取權達成協議。我已經開始告訴客戶這項條款中沒說出口的部分:一旦這部法案真正發威,模型的來源出處就不再只是你一個人得吸收的問題——你的供應商必須以書面形式為它背書,而做不到的那些供應商,就會直接變得不可用。那些把模型來源出處當成「有了更好」的公司,將會發現它其實是一項申報要求。

真正撬動了預算的那張投影片

我要在這些對話通常結束的地方作結:在一個董事會面前。

我見過許多做得很好的資安提案拿不到經費,只因為它們是以資安提案的方式來推銷的——抽象的風險、假想的攻擊者、一個聽起來像保險的類別。真正奏效的那份簡報,是把單一個數字擺上檯面的那一份:影子 AI 外洩平均 463 萬美元的成本,對照上建構那些防範它的控制措施所需的成本。不是恐懼,而是一個差值。這是量化後的風險,這是消除它要花的錢,這就是兩者之間的差距。

這種框架之所以奏效,是因為它忠實反映了這個問題實際的運作方式。這個威脅並不奇特。它就是那套預設的工作流程——拉一個模型、微調它、部署它、再也不回頭看一眼——在每一個以 AI 進行建構的組織裡運行著,而如今那幾乎就是所有組織了。資安長的預算也反映了這一點:約 85% 的組織在邁入 2026 年時增加了資安支出,而 AI 安全是其中最被熱議的一個項目。

在你的環境中,模型是唯一一種產物,它同時既是你手上最有價值的東西,又是一段你從網路上某個陌生人那裡下載來、未經驗證的可執行程式碼。除非你同時把它當成這兩者來看待——像對待程式碼一樣審查它、像追蹤供應鏈一樣追蹤它、每次改動它時都重新檢查它——否則那份說你很安全的報告,稽核的其實是一項根本沒人在用的控制措施。如果你正在思考該從哪裡開始,那就從這裡開始:別再信任那張模型卡,而是去觀察模型運行時到底做了什麼。

相關研究

同步發佈於

自信打造您的 AI。

與一支在打造新世代企業級 AI 方面擁有深厚經驗的團隊攜手合作。讓我們協助您設計、建置並部署值得信賴的 AI 策略。

Veriprajna 深度科技顧問公司 專精於為醫療、金融及法規監管領域打造攸關安全的 AI 系統。我們的架構均依循既定規範進行驗證,並備有完整的合規文件。