一個 AI 在六小時內設計出四萬種潛在化學武器。我至今無法停止思考這意味著什麼。
我當時坐在蘇黎世的一間飯店房間裡，帶著時差，半心半意地在筆記型電腦上讀一篇論文，直到一張表格讓我瞬間僵住。
四萬個分子。不到六小時。一台消費級伺服器——就是你在大學宿舍裡會看到的那種。而且輸出的結果並非垃圾。該模型重新發現了 VX，這是有史以來合成過最致命的神經毒劑之一，然後更進一步——生成了數千種全新類似物，預測其更致命——甚於 VX 本身。這些化合物未曾出現在任何公開資料庫中，也不存在於任何政府觀察名單上。
Collaborations Pharmaceuticals 的研究人員並沒有製造武器。他們只是拿了一個名為 MegaSyn 的商業藥物探索模型——一個設計用來尋找罕見疾病療法的工具——並更改了其獎勵函數中的一個正負號。從負變成正。將『懲罰毒性』變成了最大化毒性。就是這樣。僅僅一行程式碼，這台機器便以同樣的流暢度，從治療者轉變為武器設計者。
我闔上筆記型電腦，盯著牆壁看了很久。
我經營 Veriprajna，一家為高風險企業環境打造 AI 系統的公司。我們的工作處於深度學習與各類領域的交會點——在這些領域中，出錯不僅僅意味著一個糟糕的建議，而是意味著真實、實體的傷害。那晚在蘇黎世，我意識到整個 AI 產業正在兜售的安全範式——那些護欄、內容過濾器、提示工程技巧——都建立在沙灘般的地基上。而我知道，我們必須做一些從根本上截然不同的事情。
那個本該改變一切的實驗
關於 Collaborations Pharmaceuticals 的實驗，最讓我揮之不去的是：這一點都不難。
該團隊使用了一個基於 LSTM 的神經網路，訓練資料是 SMILES 字串——一種以文字為基礎的分子結構表示法。訓練資料來自 ChEMBL，一個任何研究生都能下載的公開資料庫。運算成本微不足道。整個架構在公開文獻中都有詳盡記載。
該模型的運作方式是生成候選分子，並根據一個目標函數為它們評分。在其正常的治療模式下，該函數大致是這樣的：獎勵生物活性、懲罰毒性。研究人員將懲罰項反轉了。生成器本身——真正創造分子的引擎——從未被修改過。它只是遵循新的梯度，朝著最大致命性攀爬，就如同它先前朝著最大治療價值攀爬一樣。
如果一個模型理解是什麼讓一個分子安全，那麼從定義上來說，它也理解是什麼讓一個分子不安全。這些是同一個數學空間中互補的區域。
這不是一個錯誤。這是架構完全按照設計運作。而這正是可怕之處。
設計精密生化製劑的進入門檻已然崩塌——不是因為有人洩漏了配方，而是因為設計它們所需的運算智慧如今已能人人取得。一片消費級 GPU。一段 Python 腳本。一個開源資料集。這就是完整的購物清單。
為什麼每一個 AI 安全解決方案都沒抓到重點？
蘇黎世之行後，我花了數週時間與那些為製藥和生技業打造『安全 AI』的團隊交談。這些對話遵循著一種令人沮喪的模式。
『我們有護欄，』他們會說。『我們會過濾輸出。』
我會問：如果有人提交的是一個 SMILES 字串，而不是一個分子名稱，會發生什麼事？
一片茫然的眼神。
這就是整個以包裝為基礎的安全範式的問題所在——這種做法是拿一個強大的模型，用一層薄薄的內容過濾包裹起來，就稱它為企業級就緒。這些系統在語言層面運作。它們尋找關鍵字。它們對照已知的不良事物清單來檢查輸出。
但毒性不是一個詞。它是一種幾何形狀。
內容過濾器會封鎖『沙林（Sarin）』這個詞。它不會封鎖O=P(C)(F)O——沙林的 SMILES 表示法，而模型能完美理解它。近期關於 SMILES 提示攻擊的研究顯示，針對 GPT-4 和 Claude 3 等領先模型，特定物質的繞過率超過 90%。百分之九十。那不是一套安全系統。那是一個意見箱。
而且情況更糟。在藥物化學中，有一種現象稱為『活性懸崖』——一個微小的結構變化，有時只是單一原子的替換，就會導致生物活性的巨大轉變。將一個羥基替換成一個氟原子，一種安全的藥物就會變得致命。一個以文字為基礎的過濾器，若看到兩個分子有 99% 相似，就會放行那個危險的分子，因為它比較的是語法，而非功能。這就像因為字體看起來對，就核准一份文件，卻沒有讀其中的字句。
我在我們研究的互動版本中深入探討了這些技術漏洞，但核心洞見很簡單：如果你的安全機制運作在模型的表層——在輸入的文字與輸出的文字之上——那麼你就讓真正的創造引擎完全處於無人治理的狀態。
我們意識到自己想錯了的那個夜晚
有那麼一個時刻——我記得非常清楚，因為當時我和我的技術長正在晚上十一點就著冷掉的披薩爭論——整個問題突然在我們眼前重新框定了。
我們一直試圖打造更好的過濾器。更聰明的分類器。更全面的封鎖清單。而每次我們對它們進行壓力測試時，都會找到另一條繞過的路徑。另一種編碼技巧。另一個邊界案例——一個全新的分子因為不在任何資料庫中而溜了過去。
我的技術長說了一句話，讓爭論戛然而止：『我們一直試圖攔截不良輸出。如果我們讓模型從一開始就根本無法想到這些東西呢？』
就在那時，我們開始談論潛在空間。
什麼是潛在空間？你又為何該在意它？
每一個生成式 AI 模型——無論它創造的是影像、文字還是分子——其運作方式都是將世界壓縮進一個數學空間。這個壓縮後的表示被稱為潛在空間。可以把它想成是模型的內在想像力。當一個分子生成器『設計』一種新藥時，它並不是隨機地組裝原子。它是在一片高維度的地景中導航，在那裡相似的分子彼此聚集，而生成正是在那片地景上挑選一個點，並將它解碼還原成一個真實結構的行為。
關鍵在於：在這片地景中，毒性不是一個標籤。它是一個區域。一片連綿、擴展的疆域，滲入並與代表治療價值的區域相互糾纏。那些讓藥物能夠穿越血腦障壁以治療阿茲海默症的特徵，往往正是讓一種神經毒劑能夠抵達其目標並造成癱瘓的相同特徵。高結合親和力——一個分子緊緊抓住一個蛋白質的能力——正是你在抗癌藥物中所渴望的，也正是讓 VX 致命的原因。
毒性與治療價值並不是一枚硬幣的正反兩面。它們是同一個流形上的鄰居，共用一道圍籬，有時甚至共用一扇前門。
這種糾纏正是為何單純的『拒絕』機制會災難性地失效。如果你告訴模型封鎖一切與毒性相關的東西——比如，所有能穿透血腦障壁的分子——你封鎖的就不只是武器。你也摧毀了模型設計神經系統疾病療法的能力。你以安全之名，執行了一場腦白質切除術。
真正的挑戰不在於封鎖不良輸出。而在於導航這片地景中的安全區域，同時讓危險區域在數學上變得無法抵達。
『潛在空間治理』實際上是什麼樣子？
我們創造了『潛在空間治理』這個術語，來描述我們所相信的、在高風險生成領域中唯一站得住腳的 AI 安全方法。這個構想看似簡單得令人誤解：不是在模型生成輸出之後才過濾它們，而是約束模型對其內部地景的導航，早在任何東西被生成之前。
我會逐步說明這在實務上意味著什麼，因為魔鬼藏在實作的細節裡。
在任何人移動之前，先繪製地形圖
在我們部署任何生成模型之前，我們會執行我們所謂的拓撲審計。運用一種稱為持續同調（Persistent Homology）的技術——它是拓撲資料分析的一個分支——我們計算出模型潛在空間中安全區域的數學指紋。我們辨識出那些將治療疆域與毒性疆域區隔開來的形狀、孔洞與邊界。
這給了我們任何封鎖清單都無法給予的東西：對『安全』在模型自身幾何形狀中呈現何種樣貌的結構性理解。當一個全新的分子被生成時——某種未曾出現在任何資料庫中的東西——我們能夠評估它是坐落在安全流形之上，還是已經漂移進了未經探索、可能危險的疆域。
永不休眠的評判器
我們不會重新訓練基礎生成模型。那樣做代價高昂、有災難性遺忘的風險，還會製造它自身的問題。相反地，我們訓練一種輕量的輔助網路，我們稱之為約束評判器（Constraint Critics）——這是一種直接在潛在向量上運作、並即時預測風險分數的價值函數。
這裡的架構優雅之處很重要：由於評判器與生成器是解耦的，我們可以在不觸碰基礎模型的情況下，隨著新威脅的出現而更新它們。當一類新的化學隱憂被辨識出來時，我們重新訓練的是評判器，而不是整個系統。
導向，而非過濾
在生成過程中，當模型在潛在空間中取樣一個點時，評判器會計算該點上毒性曲面的梯度。如果軌跡正朝著一個危險區域前進，一個相反的梯度就會將它輕推回安全流形之上——這運用了一種基於朗之萬動力學（Langevin Dynamics）的技術。
模型實際上『想像』出了一個有毒的分子，但在任何輸出被產生之前，它在數學上就被迫將那個念頭消解成一個安全的類似物。沒有任何危險的東西能抵達輸出層。沒有東西需要過濾，因為根本沒有不安全的東西需要攔截。
模型並不是生成了一件武器，然後在門口被攔下。它在架構上就根本無法朝著那扇門走去。
這就是事後過濾與結構性約束之間的差別。前者是一名查驗證件的保全。後者則是一棟根本沒有入口通往管制樓層的建築。
若想了解完整的數學公式——包括約束最佳化框架與梯度導向方程式——請參閱我們的技術深度剖析。
為什麼你不能乾脆把危險區域整個封鎖起來？
人們不斷問我這個問題，這是個合理的問題。如果你知道毒性流形在哪裡，何不乾脆把它整個隔離封閉起來？
因為糾纏。別忘了——讓一種神經毒劑致命的特徵，與讓一種神經系統藥物有效的特徵，有著顯著的重疊。如果你封鎖得太過激進，你就摧毀了治療效用。如果你封鎖得太過寬鬆，你就留下了縫隙。
我們的方法透過我們所謂的『帶適應性激勵的約束式強化學習』來穿針引線般地解決這個難題。我們實作的不是一道二元的高牆——安全／不安全——而是一個梯度緩衝地帶。當模型接近毒性邊界時，一個不斷增強的懲罰會將它推回，就像一個你越靠近就變得越強的力場。這讓模型能夠探索化學空間中富有成效的邊緣地帶——最具創新性的藥物往往就存在於那裡——卻永遠不會跨入危險之中。
標準的約束式強化學習出了名地不穩定，會在約束邊界周圍來回震盪。我們用一種適應性激勵機制解決了這個問題，它獎勵模型穩穩地待在界限之內，而不僅僅是獎勵它不跨越界限。這個差異聽起來很微妙。但在實務中，它是一個紙面上安全的系統，與一個在對抗性壓力下依然安全的系統之間的差別。
監管的清算時刻已然到來
我和許多創辦人談過，他們把 AI 安全視為一項錦上添花的東西。一個給合規團隊打勾的核取方塊。一件在達成產品市場契合度之後才需要操心的事。
他們錯了，而監管環境即將證明這一點。
白宮的《AI 行政命令》明確將 AI 降低 CBRN（化學、生物、放射、核）武器開發門檻的風險，認定為第一級國家安全威脅。於 2025 年底啟動的『創世任務』（Genesis Mission），指示能源部打造一個用於科學探索的整合式 AI 平台，並附帶強制性的『基於風險的網路安全措施』。NIST 的《生成式 AI 概況》（NIST.AI.600-1）特別點名化學與生物設計工具是一個獨特的風險類別，警告這些工具『可能預測出』訓練資料中未曾出現的新結構。而 ISO 42001——首個針對 AI 的國際管理系統標準——則要求已證實的、對抗對抗性攻擊的穩健性。
一個包裝器無法證明它能阻止生物威脅的產生。它只能表明它試圖過濾它們。這種『盡力而為』的區別，在聯邦合約、ISO 認證與法規審批攸關成敗之時，將變得極為重要。
我們的結構性約束提供了某種從根本上截然不同的東西：受限行為的證明。我們能夠向監管機構證明——以數學的方式——CBRN 流形對我們的模型而言是無法抵達的。不是『我們試圖封鎖它』。不是『我們還沒看到它被突破』。而是無法抵達。
一位投資人叫我『乾脆用 GPT 再加上過濾器就好』
我想分享這件事，因為我認為它捕捉到了產業現狀與它所需達到的境界之間的落差。
在我們募資的早期，一位投資人——一位在企業級 AI 領域擁有強大投資組合的人——聽完我們的簡報後，基本上是這麼說的：『這過度設計了。乾脆用 GPT-4，配上一個好的系統提示和一個內容審核端點就好。沒有人會去越獄一個製藥工具的。』
我在手機上調出了那份 SMILES 提示攻擊的研究，讓他看那超過 90% 的繞過率。我讓他看了 MegaSyn 的結果。我解釋道，他那個『內容審核端點』需要攔截的那些分子，還沒有名字——它們是存在於任何資料庫之外的全新化合物。
他停頓了很久，然後說：『所以你是在告訴我，生技領域裡每一家 AI 安全公司，都在兜售一把根本不管用的鎖？』
『我是在告訴你，他們兜售的，是一棟沒有牆的建築物大門上的一把鎖。』
他沒有投資。不是每個人都準備好進行這場對話。但那些準備好的人——那些正在推行臨床項目的製藥公司、那些背負 CBRN 使命的國防承包商、那些覬覦 ISO 42001 認證的生技公司——他們明白，結構性安全不是一項高階功能。它是最低限度的可行產品。
讓我夜不能寐的那部分
MegaSyn 實驗發表於 2022 年。它使用的是 2018 年的架構。如今可取得的模型，其能力要強上好幾個數量級。
而產業為此打造的『安全』基礎設施呢？更好的關鍵字過濾器。改良的系統提示。更全面的封鎖清單。我們正在打造更快的車，卻用更好的減速丘來回應。
我不認為 AI 領域中的大多數人——甚至包括大多數正在打造 AI 安全工具的人——已經完全內化了這件事的意義：設計全新化學武器的能力，如今的成本竟低於一台遊戲電腦。這些知識並不存在於某處的機密文件裡；它被編碼在那些用公開可得的化學資料所訓練出的模型的習得表示之中。你無法讓一個模型忘掉毒性的意義，卻不讓它同時忘掉治療的意義，因為這是同一份知識，只是從不同角度來看罷了。
我們無法用一個語言學的補丁去解決一個幾何學的問題。危險存在於模型的潛在空間裡，而治理也必須存在於那裡。
包裝器的時代必須終結。不是因為包裝器是糟糕的產品——許多包裝器立意良善，對低風險的應用也很有用。而是因為在 AI 觸及實體世界的領域裡——藥物設計、化學合成、生物工程——表層的安全是一種自相矛盾。它營造出一種一切盡在掌控的假象，同時卻讓創造的引擎完全無人治理。
在 Veriprajna，我們選擇了一條更艱難的道路。我們選擇走進模型的內部——進入它的幾何、它的拓撲、它的潛在結構——並將安全打造進數學本身之中。不是作為一個過濾器。不是作為一道護欄。而是作為對模型所能想像之事的一種約束。
這就是我所相信的 AI 安全的未來樣貌：不是在門口安置更聰明的守衛，而是設計出讓危險房間根本不存在的建築。不是更好的內容審核，而是那些內部幾何形狀讓傷害在結構上就不可能發生的模型。
我們打造這一切，並不是因為它容易，也不是因為市場正在要求它。我們打造它，是因為那張表格——四萬個分子、六小時、一台消費級伺服器——告訴我們：任何低於此標準的做法，都是被包裝成創新的疏忽失職。