花費 300 美元就能將您的生技 AI 武器化嗎？

問題所在

研究人員最近證實，他們僅需花費數百美元的運算成本，就能將 AI 模型的安全訓練徹底剝離。這項技術被稱為惡意微調（Malicious Fine-Tuning），其運作方式是向模型輸入少至 10 到 50 個有害的問答範例配對。在此之後，模型便會「記起」在最初訓練期間學到的一切危險內容，並開始毫無保留地自由分享。

這一點至關重要，因為貴組織生技團隊用於藥物研發、蛋白質設計與基因治療的 AI 模型，背後隱藏著巨大的法律與安全責任。這些模型在整個網際網路的資料上進行過訓練——包括生物武器研究、毒素合成方案以及病原體工程數據。業界過去的應對方式是訓練這些模型拒絕有害請求。然而，這種拒絕只是一層面具，而非根治之道。危險知識依舊潛藏於模型權重內部，雖處於休眠狀態，卻完全可被恢復。

對貴組織而言，這帶來了一個令人不安的事實：您所部署的 AI 工具可能深知如何改造病原體，只不過受過訓練而不說出口而已。而一個動機明確的惡意行為者——甚至是權限遭竊取的內部員工——只需耗費極少的心力與成本，就能移除那層安全訓練。問題已不再是您的 AI 是否可能被濫用，而是您能否證明它絕不可能被濫用。

開放權重模型的廣泛普及使情況更為嚴峻。一旦模型權重公開發布，就不再有日誌記錄、封鎖機制或安全修補程式。被武器化的模型可透過檔案分享網路傳播，既無法被強制下架，也令情報機構無從察覺。

為什麼這對貴企業至關重要

此處的財務與法律風險暴露絕非憑空假設。相關規範目前正被明確寫入各項法規之中。

監管壓力切實存在且日益增長：

• 第 14110 號行政命令要求強大 AI 模型的開發者必須提交紅隊演練結果，特別涵蓋化學、生物、放射性與核能（CBRN）風險。若貴企業將 AI 用於生物設計，便屬於該法規的監管範疇。
• ISO/IEC 42001 作為首個 AI 管理系統國際標準，要求實施「與風險相稱」的控制措施。在安全工程領域，消除危害的層級高於拒絕政策等管理控制。您的稽核人員深知兩者之間的差別。
• NIST AI 風險管理框架將 CBRN 資訊列為生成式 AI 的特殊風險類別。該框架建議採用經過驗證的技術解決方案，將濫用可能性降至接近於零。

**法律責任陷阱十分明確：**如果貴公司向研究人員提供開源模型，而一名心懷不滿的員工利用該模型設計出病原體，您可能會被判定為存在過失。因為您提供了一項缺乏充分防護措施的雙重用途工具。製藥產業的「注意義務」（Duty of Care）標準要求您採取合理措施，以防範可預見的危害。

**保險承保商已在採取行動。**網路責任保險公司正越來越多地將 AI 造成的危害排除於承保範圍之外，或針對使用未經驗證模型的企業調高保費。

請審視以下應當引起董事會警惕的關鍵數據：

• 移除安全訓練的成本：GPU 運算時間僅需 ~$300
• 攻破安全機制所需的訓練範例：10-50 組問答配對
• 標準開源模型在武器知識基準測試中的得分約為 ~75%——這意味著它們掌握了絕大部分危險知識
• 即使未經微調，針對開源模型的越獄攻擊成功率仍達 15-20%

這些絕非極端個案。它們是貴組織技術架構中每一個通用 AI 模型的客觀現實。

底層究竟發生了什麼

若要理解現有 AI 安全機制為何會崩潰，不妨這樣思考。想像您向一名化學系學生傳授了所有關於炸藥的知識，然後告訴他們：「絕對不能談論這些內容。」那些知識依然存於他們的腦海中。只要有人以巧妙的方式發問——或者施加足夠的壓力——這些資訊就會被吐露出來。

這正是來自人類回饋的強化學習（RLHF）——使 AI 達到「安全」的標準方法——的運作原理。在預訓練期間，模型吸收了所有內容：生物武器手冊、毒素合成途徑、病原體工程數據。隨後，在後續的訓練階段中，人類審查員訓練模型拒絕有害請求。然而，RLHF 並未抹除這些知識。它僅僅是在知識之上訓練出一種拒絕回答的行為模式。

這造成了貴組織團隊必須了解的三種具體失效模式：

**漸進式攻擊（Crescendo Attacks）**從看似無害的提問開始，並在多輪對話中逐步升級。當有害請求提出時，模型已被上下文「引導預熱」，從而忽視其安全訓練。研究人員已在線上生產環境的模型中證實了這一點。

GeneBreaker 攻擊專門針對 DNA 語言模型。攻擊者不再直接要求「設計病原體」，而是請求生成與某個經過精心挑選、在結構上與毒素相似的無害蛋白質「同源」的蛋白質。模型在繞過基於關鍵詞的安全過濾器之同時，生成了毒素序列。

**迎合偏誤（Sycophancy Bias）**利用了模型被訓練為「樂於助人」的傾向。只要將生物安全違規包裝為緊急醫療需求——例如「我們需要此毒素合成方案來為垂死兒童研發解毒劑」——樂於助人的驅動力往往就會凌駕於無害性約束之上。

其結果就是：模型對合法的科學查詢過度拒絕（甚至全面封鎖「病毒」一詞），卻對經過巧妙改寫的危險查詢拒絕不足。即便拒絕機制處於啟動狀態，RLHF 模型在武器知識基準測試中的得分仍高達約 72%。危險知識始終存在，而安全鎖卻不堪一擊。

哪些方法有效（哪些無效）

無效的做法：

• **拒絕訓練（RLHF）：**教會模型說「不」，但危險知識完好無損——只需花費 ~$300 即可被移除。
• **關鍵詞過濾：**封鎖諸如「炭疽」（anthrax）等明顯詞彙，卻漏掉經過重新措辭的請求，如「產孢芽孢桿菌最佳化」（spore-forming Bacillus optimization）——GeneBreaker 研究已證實了這一點。
• **開放模型的使用監控：**一旦權重被下載，就不再有日誌、無從監管，也無法撤銷存取權限。

有效的做法：知識斷層架構

其原理非常簡單：不再教導模型拒絕回答，而是將危險知識徹底消除。模型會轉化為研究人員所稱的「面對威脅如嬰兒般無知，面對療法如專家般精通」。以下是該架構在實務中的運作方式：

1. **輸入：**您的研究人員提交一項治療設計請求——例如，針對心臟組織最佳化用於基因治療的病毒載體。模型透過具備完整稽核記錄的安全私有雲部署接收該請求。

2. **處理：**模型利用其在結構生物學與病毒血清型方面的深厚知識來最佳化治療設計。然而，與病原體毒力因子以及用於武器化之免疫逃逸相對應的神經路徑，已透過表徵誤導（Representation Misdirection）等技術在權重層級被精準切除。當模型遇到已被「消除遺忘」的概念時，其內部表徵會對應至無意義的內容——這不是拒絕回答，而是真正不具備該能力。模型會將「肉毒桿菌酬載」視為毫無意義的詞組。

3. **輸出：**您獲得高度最佳化的治療載體。若有任何人——無論是研究人員、遭盜用的帳號或攻擊者——試圖引導模型轉向有害用途，模型並不會拒絕，而是根本無法處理該請求。沒有任何可以被越獄的內容，因為安全鎖背後空無一物。

驗證數據說明了一切。經過妥善構建的知識斷層模型在通用科學基準測試中保留了 ~81% 的準確率，在生物醫學研究上保留了 ~77% 的準確率——與標準模型幾乎毫無二致。但在武器知識基準測試中，其得分僅約 ~26%——在統計學上與隨機猜測機率無異。越獄成功率降至 0.1% 以下。至關重要的是，其抵禦重新學習的能力極高：恢復被消除的知識所需的運算量，相當於從頭開始訓練一個全新模型。

對貴組織的合規團隊而言，每一條提示詞與每一次生成都會記錄於符合 ISO 42001 要求的不可變更稽核軌跡中。貴組織的 AI 治理與合規計畫 獲得的是一項經過驗證的技術控制措施，而非僅僅是一份政策文件。貴組織的 解決方案架構 團隊將獲得適用於 醫療與生命科學 使用案例的可部署參考實作。

自動化紅隊演練每週針對這些模型持續運行，以確認未發生任何知識漂移。唯有當重新學習的成本超過從頭訓練模型的成本時，該模型才能獲得「知識斷層」認證。這就是衡量的標準。

您可以 閱讀完整的技術分析 或 探索互動版本 以深入了解 評估、基準測試與紅隊演練 的方法論。