遺忘殺戮的 AI：為何我們致力於構建無法製造生物武器的模型
那封電子郵件是在一個週二凌晨 2:47 收到的。我們的一位研究工程師——我稱他為拉維（Ravi）——一直在對一個流行的開源生物學模型進行對抗性測試。他並不是想做什麼不法之事。他只是在對防護欄（guardrails）進行壓力測試，這正是我們的本職工作。但他發現的問題讓他決定立刻拿起電話，而不是等到天亮。
「它帶著我完成了整個過程，」他說。「不是透過單次提示，而是經過了十二輪對話。我只是不斷追問關於蛋白質折疊、受體結合以及遞送機制的問題。到最後，它基本上給了我一份增強病毒傳播力的藍圖。而我甚至還不是個生物學家。」
我坐在昏暗的客廳裡，凝視著他發過來的對話記錄。該模型沒有「拒絕」任何問題。從技術上講，每一個單獨的回答都屬於合法的科學範疇。但在懂行者的引導下串聯在一起，這場對話就成了一堂絕不該被講授的示範課。
那天晚上改變了我公司的發展軌跡。我們一直在為企業客戶構建 AI 安全工具——這項工作很重要，但也只是漸進式的改進。拉維向我展示的一切需要更加徹底的變革。不是更好的防護欄，也不是更智能的過濾器。我們需要構建真正無法生成此類知識的 AI 模型，即便剝離所有安全層也是如此。
我們需要那些已經遺忘了如何殺戮的模型。
無人願談的問題
以下是關於 AI 與生物學令人不安的真相：幫助研究人員為患有罕見病的兒童設計基因治療載體的同一個模型，在恰當的提示下，也能幫助某些人優化病原體以造成最大程度的人類傷害。這不是假設，而是植根於這些模型運作方式中的數學必然性。
大型語言模型透過吞噬一切來學習——教科書、研究論文、論壇帖子以及整個人類知識的數位化記錄。這其中包括關於功能獲得性（gain-of-function）研究的病毒學論文；包括關於毒素合成的化學文獻；也包括數十年來從本質上記錄了生物製劑危險成因的生物防禦研究。
拯救生命所需的數據往往與終結生命所需的數據密不可分。
這就是研究人員所說的雙重用途困境（Dual-Use Dilemma），而且這並不是什麼新鮮事。自發現 DNA 以來，生物學家就一直在與之搏鬥。但 AI 改變了這種權衡，其方式讓我夜不能寐：它讓最困難的部分變得唾手可得。
製造生物武器在歷史上需要具備三個要素——顯性知識（科學原理）、物理途徑（實驗室設備）以及隱性知識（需要多年培養的實驗室操作「手感」）。互聯網解決了第一個要素；雲端實驗室和郵購 DNA 合成正在解決第二個要素；而現在，生成式 AI 正在彌合第三個缺口，其角色正如一位研究人員嚴峻形容的那樣——一個「盒裝博士後」：全天候 24 小時在線、具有無限耐心，且除非我們明確為其構建道德指南針，否則毫無道德準繩。
為什麼「簡單說不」在 AI 生物安全上行不通？
AI 行業對這一問題的應對方式，本質上是教會模型去拒絕。透過一種名為人類反饋強化學習（RLHF）的過程，模型學會了當有人詢問危險話題時，正確的回答是某種形式的「我無法提供這方面的幫助」。
我曾經以為這就足夠了。我錯了。
RLHF 並沒有抹去知識。它壓制的是行為。該模型仍然知道如何合成毒素——它只是被訓練成不去說出來。可以把它想像成一位對特定話題發誓保持沉默的醫生。知識依然完好無損地存在於神經權重之中。「拒絕」只是在訓練最終階段塗抹在表面的一層薄薄的行為層。
而薄層終究會破裂。
我的團隊梳理了這種機制失效的各種方式，其清單之長令人不願面對。其中包括漸強攻擊（Crescendo Attack），攻擊者從無害的問題開始，在數十輪對話中逐步升級，直到模型深陷上下文而忘記拒絕。還有欺騙性愉悅（Deceptive Delight），將有害請求包裝在創意寫作提示中。還有不良李克特評判者（Bad Likert Judge）技巧，即要求模型去評估各種回答的有害程度，而模型則會在其「分析」中熱心地提供危險細節。
我們在多個前沿模型上測試了這些攻擊手段。結果令人警醒。其中一種由 Palo Alto Networks 的 Unit 42 團隊發布的極其巧妙的攻擊，僅僅依靠對話耐心就在某些模型上實現了 100% 的越獄成功率。
但真正的噩夢還不是越獄，而是當模型開源時會發生什麼。
當武器無法收回時會發生什麼？
我曾為此引發過激烈的爭論。在軟體世界中，「開源」是神聖的——它意味著透明、社群審查以及透過集體監督實現的安全。我堅信軟體開源的價值，但生物學不是軟體。
當 Linux 中發現安全漏洞時，它會被打上補丁。所有人都會更新，漏洞得以化解。但當一個生物學「漏洞」——比如某種新型大流行病原體的設計——由運行在某人私有伺服器上的開源權重模型生成時，沒有補丁可用，沒有更新可推，更無法召回。
權重一旦流出，這種能力就成為了永久性的存在。
研究人員已經證實了一種被稱為惡意微調（Malicious Fine-Tuning）的現象，它讓這一風險變得尤為具體。以一個經過「安全對齊」的開源模型為例——該模型經過精心訓練以拒絕有害查詢。僅用 10 到 50 個有害問答對的樣本對其進行微調。成本：幾百美元的 GPU 算力費用。結果：安全對齊徹底崩潰，模型在預訓練階段掌握的全部知識——包括關於病原體、毒素和武器化的一切——全盤復甦。
一個能夠被對手輕易移除的安全機制根本不能稱之為安全機制，它充其量只是一個減速帶。
我在一次會議上提出這個論點時，台下有人反駁道：「但這些資訊在互聯網上本來就有。」他們說得沒錯，你確實能在維基百科上找到蓖麻毒素的合成方法。但這完全沒有切中要害。風險不在於配方本身，而在於能力提升（uplift）——即模型指導半熟練人員完成實際執行該配方這一複雜且易錯過程的能力，包括即時排錯，以及在受控試劑無法獲取時提供替代試劑建議。這才是 AI 所彌合的差距，也是真正關鍵的差距所在。
我在我們研究的互動版本中對這一點進行了更深入的探討，包括能夠自主規劃和執行多步驟生物工作流的代理型 AI（agentic AI）系統的完整威脅模型。這種向代理型的轉變——即 AI 從聊天機器人演變為自主科學家——正是問題真正上升到生死存亡層面的轉折點。
我們改變方向的那一夜
有一個特定時刻讓我們的方案變得清晰。當時我們正在開團隊會議，激烈爭論架構方案。團隊的一半人希望構建更好的監控——在惡意提示到達模型之前將其攔截；另一半人則希望專注於輸出過濾——在有害回答送達用戶之前將其攔截。
我記得當時站在白板前，第三次畫出同樣的圖表，突然感覺我們只是在鐵達尼號上擺弄甲板躺椅。這兩種方法都預設了模型應該擁有危險知識，而我們只需要控制對其的訪問權限。但這就像在辦公室裡存放神經毒氣，卻指望靠一把足夠好的鎖來保安全一樣荒謬。
「如果模型根本……就不知道呢？」有人說道。我想那是我們的可解釋性研究員。整個房間頓時安靜了下來。
現在回想起來這似乎顯而易見。但在當時的 AI 安全領域，這幾乎等同於離經叛道。當時普遍的假設是你需要完整的模型——保留其全部知識和能力——然後在其之上疊加安全層。從經過訓練的模型中刻意、精準地移除知識的想法，感覺就像做腦白質切除手術一樣。粗暴、具有破壞性，而且肯定會在這個過程中破壞其他一切功能。
我們在接下來的幾個月裡證明了這一假設是錯誤的。
如何教會 AI 遺忘？
這一領域被稱為機器遺忘（Machine Unlearning），它比聽起來更加精妙。你不能僅僅刪除訓練數據然後重新訓練——這在計算成本上是不可承受的，而且也無法保證知識徹底消失。相反，你必須在模型內部表徵的層面進行干預——也就是那些編碼概念的神經激活模式。
我們的核心技術被稱為用於遺忘的表徵誤導（Representation Misdirection for Unlearning），簡稱 RMU。其核心直覺是：當模型處理諸如「增強病毒傳播力」之類的提示詞時，其隱藏層中會觸發特定的激活模式。從數學角度來看，這些模式就是「知曉病毒傳播力增強知識」的具體體現。RMU 能識別出這些模式並對其進行重定向——不是重定向為拒絕，而是重定向為噪聲。模型對危險概念的內部「思考」會被打亂成毫無意義的激活信號。
其結果是，模型不會拒絕你關於武器化的問題。它只是根本無法連貫地對其進行思考。要求它增強病原體，它的反應就像一個從未聽說過該概念的人一樣——困惑、前言不搭後語、胡亂拼湊不相關的想法。這不是在偽裝。這些知識是真的不存在了。
但這正是最困難的部分——也是耗費我們最多工程精力的部分：你必須在不破壞其他一切的前提下完成這項工作。病毒學和生物武器共享著海量的基礎知識。你不可能在剝離「病原體工程」的同時而不危及「疫苗設計」。這就像試圖從一個人的大腦中移除「火作為武器」的概念，同時又完整保留「火作為烹飪工具」的認知一樣困難。
正是在這裡，稀疏自編碼器（Sparse Autoencoders）成為了我們的手術刀。神經網絡以「多語意性」（polysemantic）著稱——單個神經元可能同時對「貓」和「金融衍生品」進行編碼（毫不誇張）。稀疏自編碼器使我們能夠將這些重疊的表徵解耦為清晰的單一概念特徵。我們可以找到針對「病毒功能獲得性研究」激活的特定特徵並將其鉗位歸零，同時完整保留用於「基因治療病毒載體設計」的相鄰特徵。
我不會假裝這個過程一帆風順。早期的實驗非常殘酷。我們第一個完成遺忘訓練的模型甚至分不清病毒和維生素的區別。我們矯枉過正得太厲害，以至於該模型基本上把分子生物學忘得一乾二淨。我記得拉維調出評估結果，翻看著一頁又一頁針對基礎生物學問題的荒謬答案，說道：「好吧，它現在確實無法製造生物武器了，但它也造不出阿司匹林了。」
我們不斷迭代。我們透過一種名為語言記憶擦除（Erasure of Language Memory）的技術添加了流暢度約束，以確保模型即使在「被擦除」的區域中也能保持連貫。我們實施了參數外推（Parameter Extrapolation）來解決重新學習的問題——即有人可能利用相關數據對我們已遺忘的模型進行微調並重建危險知識的風險。該外推技術能夠識別「邏輯相關」的概念，並擴展遺忘梯度以覆蓋這些概念，從而在被擦除的知識周圍構建起緩衝區。
有關這些方法（RMU、稀疏自編碼器特徵消融以及 UIPE 參數外推）的完整技術解析，請參閱我們詳盡的研究論文。
實踐中的「隨機概率」究竟是什麼樣的？
我們依據WMDP 基準（WMDP Benchmark）對我們的模型進行了驗證——該基準是由人工智慧安全中心（Center for AI Safety）開發的大規模殺傷性武器代理數據集。它包含由專家精心設計的 4000 多個多選題，用於測試「先驗前體知識」——即製造生物或化學武器所必須理解的核心概念。
像 Llama-3-70B 這樣的標準開源模型在生物安全部分的得分約為 75%。經過所有 RLHF 安全訓練的 GPT-4 得分約為 72%。而我們的知識真空模型得分僅為26%——在四選一的多選題測試中，這一得分在統計學上與隨機猜測毫無二致。
與此同時，在 PubMedQA 等通用生物醫學研究基準上，我們的模型保留了約 77% 的準確率，而基礎模型為 78%。在廣泛的 MMLU 科學基準測試中，我們的得分僅從 82% 微降至 81%。
知識真空模型在應對威脅方面在功能上如同一位「嬰兒」，而在治療疾病方面則依然保持著「專家」水準。
那 1-2% 的效用損失正是結構性安全的代價。我向其展示過這些數據的每一位藥企高管都有同樣的反應：「就只有這麼點損失？」是的，僅此而已。該模型在合法研究中保留了 98% 的能力，而在武器化方面其實際能力基本為零。
越獄攻擊成功率則揭示了其餘的真相。標準開源模型：15-20%。經過 RLHF 的 GPT-4：1-5%。我們的模型：低於 0.1%。而這殘存的微小數值並非模型輸出了危險內容——它僅僅是測量噪聲。
監管之牆正在收緊
這已經不再僅僅是一個技術論題，而是一個法律論題。
第 14110 號行政命令（Executive Order 14110）明確針對「雙重用途基礎模型」，並強制要求開發者報告針對 CBRN（化學、生物、放射性、核）風險的紅隊測試結果。ISO/IEC 42001作為首個國際 AI 管理標準，要求採取「與風險相適應」的控制措施——而在安全工程中，對危險源的消除始終優先於諸如政策和拒絕響應等管理控制措施。此外，NIST AI 風險管理框架（NIST AI Risk Management Framework）將 CBRN 能力列為生成式 AI 的獨特風險類別。
對於製藥公司而言，法律責任的權衡非常直截了當。如果你允許研究人員訪問一個能夠設計病原體的 AI 模型，而一旦出現問題——無論是心懷不滿的員工、被攻破的系統，還是複雜的社會工程學攻擊——你都會被問及採取了哪些措施來防止可預見的危害。「我們告訴過模型要拒絕」並不能說服陪審團。而「該模型在結構上根本無法產生這種輸出」則是完全不同的另一回事。
網路責任保險公司已經將這一風險計入保費。保單中開始出現關於 AI 造成損害的除外條款。在敏感領域使用未經核驗模型的企業面臨著保費上漲。市場正在向我們發出清晰的信號。
「但難道沒人能對其進行重新訓練嗎？」
這是我最常被問到的問題，也是一個非常切中要害的問題。如果你能讓模型遺忘知識，對手難道就不能透過在生物武器數據上進行微調來重新學習這些知識嗎？
從理論上講確實如此。但我們透過工程設計讓重新學習的成本高到令人望而卻步。透過參數外推，我們不僅擦除了目標知識，還擦除了使重建成為可能相關概念支撐支架。從我們的模型中恢復危險能力所需的數據和計算資源，甚至超過了從零開始訓練一個新模型。到了那個地步，對手從我們的模型起步將毫無收益可言。
我們對此進行持續不斷的測試。每週，自動化的重新學習攻擊都會使用對抗性微調數據集對我們的模型進行密集衝擊。只有當重新學習的成本超過從零開始訓練的成本時，模型才能獲得「知識真空」的稱號。
人們還問我這種方法是否具有可擴展性——是否可以將其應用於每一個危險領域，還是說它僅適用於生物學。坦誠的回答是，生物學是我們起步的領域，因為其利害關係最重大，且雙重用途的界限最分明。但其底層技術——表徵誤導、特徵消融、參數外推——與具體領域無關。我們已經開始探索其在化學安全領域的應用，以及更有趣的是，在知識產權保護領域的應用——同樣的遺忘方法可以確保模型沒有記住競爭對手的專有數據。
並非真正選擇的抉擇
我曾置身於這樣的場合，聰明的人們爭辯稱限制 AI 能力是反創新的行為；稱「安全」只是「放慢腳步」的代名詞；稱風險被誇大了，而其帶來的好處過於重要而不容受限。
我理解這種衝動。我是一名創始人，以創造事物為生。約束給人的感覺確實像是一種阻力。
但我始終堅持這樣一個基本事實：我們絕不會允許製藥公司在未清除有毒副產物的情況下銷售藥物；我們絕不會允許航空公司在未排除結構缺陷的情況下執飛飛機。要求一款產品不應包含災難的隱患絕不是反創新，這正是工程學的基本底線。
在生物學領域，「開源」與「閉源」AI 之爭完全是對焦點的轉移。真正的抉擇在於結構上安全構建的模型與距離災難僅一步之遙的模型之間；在於將安全作為架構內在屬性的系統與將安全作為在最後附加的一項政策的系統之間。
我們花費了數十年時間構建全球生物安全基礎設施——《禁止生物武器公約》、澳大利亞集團出口管制體系、DNA 合成公司的篩查規程。所有這些都基於一個假設：製造生物武器最困難的部分在於獲取知識和技能。而 AI 正在瓦解這一假設。如果我們不做出改變——如果我們繼續依賴那些無所不知卻僅僅承諾絕不說出來的模型——我們就是在將未來的生物經濟建立在一個有決心的年輕人用一塊 GPU 就能輕易擊穿的基礎之上。
我們絕不能將未來的生物經濟建立在不穩定、具有雙重用途且距離災難僅一次越獄之隔的模型基礎之上。
我認為解決之道絕不是停止構建用於生物學的 AI。其治療潛力太巨大，能夠減輕的痛苦太真實。真正的解決之道是構建在結構上無法造成我們所擔心的危害的 AI——即在其知識體系中具有真正真空的模型，而不是戴著任何對手都能輕易揭下的面具的模型。
我們將此稱為結構性生物安全（Structural Biosecurity）。不是將安全作為一個功能，而是將安全作為架構。不是在門上加一把鎖，而是門後根本不存在武器。
