AI 藥物研發會被武器化嗎？是的——在 6 小時內

問題所在

一套旨在尋找挽救生命藥物的藥物研發 AI，在不到六小時內生成了 40,000 種潛在的化學武器——包括神經毒劑 VX。Collaborations Pharmaceuticals 的研究人員在一台標準的消費級伺服器上運行了這項實驗。他們沒有破解系統，也沒有輸入機密數據。他們僅僅是更改了設定檔中的一個數字，將 AI 的目標從「最小化毒性」轉變為「最大化毒性」。模型完成了剩下的工作。

在這些 40,000 個分子中，有相當大的一部分被預測為比 VX 本身更具致命性。數千種是完全新型的化合物，未出現在任何公共資料庫或政府觀察名單中。該 AI 僅使用了 ChEMBL 等開源化學資料集。所需的運算能力任何擁有消費級 GPU 的人都能具備。所需的專業知識？大學本科水平的電腦科學即可。

這並非理論上的風險評估。這是為瑞士聯邦民防辦公室（Swiss Federal Office for Civil Protection）組織的兩年一度軍備控制會議準備的現場展示。這套經過訓練以理解分子毒性特徵從而避免這些特性的 AI 模型，天生就知道如何利用它們。如果貴組織在藥物研發、生物科技或任何最佳化涉及物理安全的領域中構建、部署或依賴 AI，這項實驗便明確定義了你目前的風險暴露。

為什麼這對貴企業至關重要

這裡的商業後果遠遠超出了實驗室範疇。白宮《關於安全、可靠且值得信賴的人工智慧行政命令》（2023 年 10 月）明確將 AI 降低化學、生物、放射性與核子武器研發門檻列為第一級國家安全威脅。NIST 生成式 AI 規範設定檔（NIST.AI.600-1）特別將「化學與生物設計工具」列為獨特的風險類別。全球首個可認證的 AI 管理標準 ISO 42001，更強制要求具備針對對抗性攻擊的彈性與 AI 系統安全控制措施。

如果你的 AI 系統涉及受監管領域，請考慮以下利害關係：

• 監管風險暴露： 標準的安全過濾器無法證明其能防止生物威脅的產生。它只能表明自己設法對其進行過濾。這種「盡力而為（best effort）」的方法很可能無法通過新興的聯邦合規要求，無論是用於簽訂合約還是整合到政府 AI 平台。
• 對抗性脆弱性： 研究人員已證明，攻擊者能夠繞過 GPT-4 和 Claude 3 等領先 AI 模型中的安全過濾器，針對特定有毒物質的成功率有時甚至超過 90%。他們是透過輸入分子的結構代碼而非其名稱來達成這一點的。
• 新型威脅盲區： 這些生成的 40,000 種化合物包含了數千個不存在於任何已知資料庫中的分子。你基於關鍵字的過濾器無法阻擋從未見過的事物。
• 稽核失敗： 在 ISO 42001 要求下，你必須評估對抗性攻擊的脆弱性並出示控制證據。在 NIST AI RMF 要求下，你必須使用量化指標來衡量系統可靠性。基於文字的外殼包裝這兩者都無法提供。

你的董事會、監管機構以及保險承保機構最終都會提出一個問題：你是否能證明你的 AI 不會被反戈相向？如今，大多數組織都無法做到。

底層究竟發生了什麼

要理解為何這項威脅如此難以修復，你需要了解這些 AI 模型實際是如何運作的——而這比你想像的要簡單。

用於藥物研發的生成式 AI 模型學習的是化學空間的壓縮地圖。不妨將其想像成一張城市地圖，其中每棟建築物都代表一個可能的分子。安全藥物聚集在一個街區，有毒化合物聚集在另一個街區。但關鍵問題在於：「安全」街區與「有毒」街區之間並沒有高牆隔開。它們位於同一個連續的地景之上，沒有硬性邊界。

這就是研究人員所說的「糾纏問題（entanglement problem）」。使藥物能夠跨越血腦屏障以治療阿茲海默症的精確分子特徵，往往與使神經毒劑到達其目標並導致癱瘓的特徵完全相同。高結合親和力——即分子緊密結合蛋白質的能力——在藥物中是令人渴望的特性，但當該蛋白質是 VX 的目標「乙醯膽鹼酯酶（acetylcholinesterase）」時，卻是致命的。

藥物化學家深知「活性絕壁（activity cliffs）」——即微小的結構變化會引起毒性劇烈轉變的情況。在原本安全的分子中替換一個原子，你就會得到一種致命化合物。基於文字的安全過濾器運作於詞彙與名稱而非三維分子結構之上，在捕捉這些絕壁方面表現極差。過濾器可能會因為某個分子看起來與安全藥物有 99% 的相似度而予以核准，卻忽略了使其具有致命性的單一原子替換。

此外還存在「表徵崩塌（representation collapse）」，即 AI 的內部模型將毒素和安全藥物映射到同一點，因為它無法區分它們細微的結構差異。當模型本身在內部都無法區分它們時，任何外部過濾器都無濟於事。

哪些方法有效（哪些無效）

讓我們先從失敗的做法談起——因為貴組織目前可能正依賴其中一種方法。

基於關鍵字與名稱的過濾器： 這些過濾器能阻擋「VX」或「沙林（Sarin）」等詞彙，但當有人輸入分子結構代碼時卻會直接放行。沙林的 SMILES 字串為 O=P(C)(F)O。你的過濾器看到的只是化學標記，而非武器。

生成後審查系統： 這些系統讓 AI 先生成候選分子，然後由第二套系統進行審查。此時 AI 已經完成了危險的運算。對於不在任何觀察名單中的新型化合物，審查機制沒有任何比對依據，只能予以放行。

對齊訓練與提示工程： 研究人員展示了一種「SMILES 提示」攻擊，該攻擊繞過了領先 AI 模型中的安全訓練，針對某些物質的成功率超過 90%。如果你的安全系統只要從英文切換為化學標記就能被攻破，那它就不是一套安全系統。

以下是真正有效的方法——一種稱為「潛在空間治理（Latent Space Governance）」的途徑，它將安全控制措施從輸出層移至 AI 模型的數學核心：

1. 在部署前描繪危險區域。 利用稱為「拓撲資料分析（Topological Data Analysis）」的數學技術，你可以描繪 AI 的內部地景，以精確識別有毒與安全區域的分佈位置。這會生成一張「安全拓撲地圖」，根據分子特性而非關鍵字清單來定義邊界。這張地圖能捕捉新型化合物，因為它是根據形狀而非名稱來定義安全性。

2. 將約束機制直接嵌入生成過程本身。 與其讓 AI 自由生成後再進行過濾，不如訓練輕量級的「約束批判模型（Constraint Critic）」網路，直接在 AI 的內部表徵上運作。在生成過程中，這些批判網路會計算 AI 是否正偏向危險區域。如果是，基於梯度的轉向機制會在在產生任何輸出之前將軌跡推回安全領域。AI 實際上考慮了有毒分子，但在數學上被強制解析為安全的替代方案。

3. 寫入抗篡改的硬編碼安全邊界。 與 MegaSyn 實驗中更改設定檔中的一個數字就徹底逆轉整個安全態勢不同，結構性約束被嵌入在推論引擎的架構中。要攻破它們，攻擊者必須從根本上重新構建軟體架構——而不僅僅是更改一項設定。

對於你的合規團隊而言，這種方法提供了基於文字的外殼無法提供的東西：有界行為的數學證明。你不僅可以記錄輸出，還可以記錄模型在生成過程中嘗試過的每一次約束違規。你可以向稽核人員提供統計安全證書——例如，產生有毒分子的機率低於百萬分之一。這些證據能夠為 ISO 42001 認證與 NIST AI RMF 合規 提供強而有力的支持，這是「我們有關鍵字過濾器」永遠無法做到的。

這種架構還意味著你無需重新訓練整個基礎模型即可更新威脅定義。當發現一類新的危險化合物時，你只需更新約束批判模型——這是一項輕量級的操作——而你的核心 AI 則保持運行。對於在 醫療保健與生命科學領域運作的組織而言，隨著威脅形勢的不斷演變，這種敏捷性至關重要。

其後的 評估、基準測試與紅隊演練 流程會使你部署的系統接受自動化對抗性攻擊——包括 SMILES 提示攻擊機器人以及專為尋找弱點而設計的演化演算法——以驗證你的約束機制在壓力下依然穩固。

你可以 閱讀完整的技術分析 以獲取完整的數學公式推導，或 探索互動版本 以引導式逐步了解這項方法背後的 神經符號架構與約束系統 。