你的 AI 供應鏈可能已遭入侵

問題所在

2024 年 2 月，JFrog 的資安研究人員在 Hugging Face（全球最受歡迎的 AI 模型託管庫之一）上發現了 100 多個惡意 AI 模型。這些模型中有許多包含隱蔽的後門，設計用於在有人載入它們的瞬間執行程式碼。一旦被觸發，攻擊負載會賦予攻擊者在受害者機器上的持久 Shell——一個遠端存取點。從那裡，他們可以在你的內部網路中橫向移動、竊取資料，或是毒化你的訓練流水線。

這並非理論上的推演。這些都是真實存在的模型，可供公開下載，正等待著團隊中任何需要快速解決方案的開發人員前來載入。這些模型看起來一切正常，也通過了基本檢查。但檔案格式本身——Python 的 pickle 格式——能夠在載入過程中執行隱藏的程式碼。不妨將其想像為打開一份會靜默安裝惡意軟體的 Word 文件，只不過在這個案例中，這份「文件」是你團隊所信任的 AI 模型。

當你意識到旨在捕捉這類威脅的掃描工具正在失效時，問題變得更加嚴峻。在公開託管庫中被標記為「不安全」的模型裡，有超過 96% 最終被證實為誤報。大量湧現的虛假警報讓你的資安團隊習慣於忽略警告。而在這些雜訊之中，研究人員發現了 25 個真正具有惡意的模型——躲過標準掃描工具偵測的零日威脅。

為什麼這對貴企業至關重要

這不僅僅是 IT 部門的問題，更是一項波及貴組織各個層面的財務、法律與營運風險。

首先來看這些數據：

• 98% 的組織內部有員工正在使用未經核准的 AI 工具——即業界所謂的「影子 AI（Shadow AI）」。你的員工幾乎必然正在下載並執行未經審查的模型。
• 43% 的員工會在未經許可的情況下向 AI 工具分享敏感資料。這意味著你的專有資訊、客戶資料以及商業機密可能已經存在於第三方模型之中。
• 影子 AI 資料外洩事件的成本比傳統資料外洩高出 ,000，因為當被盜資料深植於神經網路的權重之中時，數位鑑識工作會變得更加困難。
• 63% 的組織缺乏正式的 AI 治理政策。如果貴公司屬於這一群體，當出現問題時，你將無法向監管機構給出明確交代。

還存在一項大多數高階主管從未聽聞的法律風險：模型沒收（model disgorgement）。這是一項監管補救措施，主管機關會強制企業銷毀整個 AI 模型，原因在於該模型是使用非法獲取的資料進行訓練的。你無法精確地從已訓練好的模型中單獨移除某個人的資料。如果你的產品依賴一個使用受污染資料構建的模型，法院可以下令要求你刪除整個模型。你的產品線將在一夜之間化為烏有。

對於你的董事會而言，問題很簡單：你是否清楚目前公司內部正在執行哪些 AI 模型？你是否能夠證明它們來自何處？

底層究竟發生了什麼

若要理解為何目前的 AI 部署如此脆弱，你必須明白兩件事：模型在客製化過程中是如何受損的，以及為何流行的「包裝器（wrapper）」方法無法勝任嚴肅的商業應用。

首先是客製化問題。大多數企業會採用基礎模型——例如 Meta 的 Llama——並利用自有資料進行微調，以使其在特定任務上表現更佳。這聽起來很合理。但 NVIDIA 的 AI 紅隊（AI Red Team）發現，微調通常會破壞原始開發人員花費數月構建的安全防護機制（guardrails）。在一項測試中，某個 Llama 模型防範提示詞注入攻擊的安全評分在僅僅一輪微調後，就從 0.95 驟降至 0.15。這是從「高度韌性」到「幾無防禦能力」的崩潰。

這種情況之所以發生，是因為微調會調整模型的內部權重以最大化你特定任務上的準確度。在此過程中，它覆蓋了原本精心訓練進模型中的安全行為。想像一下，你買了一輛配備安全氣囊、防鎖死煞車以及車道維持輔助系統的汽車——接著把它交給技師調校引擎以追求速度，技師卻不小心切斷了所有的安全系統。車子開得更快了，但現在卻極具危險性。

其次是包裝器問題。大多數 AI 顧問公司會建構一層薄薄的軟體層——即包裝器（wrappers）——將你的資料連接到諸如 OpenAI 的 GPT-4 等第三方 API。這些包裝器依賴「系統提示詞」和過濾機制來約束 AI 行為。然而，對機率引擎而言，這些只是建議，而非硬性規則。一家 Chevrolet 經銷商的聊天機器人被誘騙同意以 1 美元的價格出售一輛價值 ,000 的車輛。Air Canada 的聊天機器人憑空捏造了一項根本不存在的喪親票價政策，法院隨後判決該航空公司必須對 AI 的輸出內容承擔法律責任。這些失敗並非程式錯誤，而是要求文字預測工具做出具約束力的商業決策時必然會出現的結果。

哪些方法有效（哪些無效）

讓我們先從三種無法達到預期效果的常見方法談起：

• 基本模型掃描： 諸如 Picklescan 之類的工具使用危險函式黑名單，但攻擊者能夠透過混淆手段繞過它們，且 96% 的誤報率會導致團隊忽視真正的威脅。
• 系統提示詞與輸出過濾器： 這些屬於軟性控制措施，正如 Chevrolet 與 DPD 事件所證明的，LLM（大型語言模型，ChatGPT 等工具背後的引擎）可被提示詞注入誘騙而忽略這些控制。
• 配合標準安全審查的微調： 即使你的模型通過了每項企業基準測試，NVIDIA 的研究顯示，微調仍可能引發「臥底特工（sleeper agent）」行為——該模型在 99.9% 的時間裡表現正常，但在遇到特定觸發條件時會切換至惡意模式。

真正有效的是一種截然不同的架構。其原則分為以下三個步驟：

1. 輸入端：作為防火牆的語意路由。 在任何使用者查詢抵達你的 AI 模型之前，路由層會利用向量相似度（一種衡量新請求與先前識別出的攻擊嘗試之間接近程度的方法）來對照已知的惡意模式進行比對檢查。如果某個查詢看起來像提示詞注入，它就絕不會傳遞至模型，而是被重新導向至固定的確定性回應。你的 AI 根本不會「看見」該攻擊。

2. 處理端：神經符號驗證。 與其依賴單一 AI 模型來生成答案，不如拆分工作。神經層負責處理自然語言；符號邏輯層——本質上是建立在 將企業資料對應為已驗證事實的知識圖譜 之上的一套規則引擎——會檢查神經層產生的每一項主張。如果某項事實不在你已驗證的知識圖譜中，系統寧可不傳回任何內容也不進行猜測。這正是你如何將幻覺率壓低至 0.1% 以下的方法，相較之下，標準 LLM 包裝器的典型區間為 1.5% 至 6.4%。

3. 輸出端：多代理審查。 你的系統使用各自獨立的 AI 代理分別進行研究、撰寫與批判。研究代理只能查詢你的知識圖譜；撰寫代理只能使用研究代理所找到的內容；隨後，批判代理會從草稿中提取每一項主張，並對照圖譜進行驗證。沒有任何單一代理擁有足夠的權限偏離已驗證的事實真相。

對於你的合規團隊而言，最關鍵的優勢在於可稽核性。每一項輸出都能追溯至知識圖譜中的特定節點。當監管機構詢問「你的 AI 為何給出這個說法」時，你可以向他們出示確切的資料來源、確切的規則以及確切的驗證步驟。這就是 建立在架構證明之上的安全評估 與建立在希望之上的評估之間的差別。

貴組織還應要求提供 AI 軟體物料清單（AI Bill of Materials）——這是一份列出你 AI 流水線中每個資料集、函式庫與框架版本的供應鏈清單。每個模型檢查點都應經過密碼編譯簽章。你的推論引擎應拒絕載入任何簽章無效的模型。這些並非崇高的理想目標，而是 任何投資於 AI 的受監管企業必備的基準安全實務。

NIST AI 100-2 框架為分類與管理這些風險提供了現成的分類架構。它涵蓋了提示詞注入、資料投毒、模型萃取以及隱私侵害。目前大多數組織尚未採用該框架，而這一差距正是你取得領先的契機。

閱讀完整的技術分析 以獲取詳細的架構規格。你也可以 探索互動版本 以獲取針對威脅樣貌與對策的引導式導覽。