一个AI在六小时内设计出四万种潜在化学武器。它意味着什么，我至今无法释怀。
我当时坐在苏黎世的一间酒店房间里，倒着时差，在笔记本电脑上心不在焉地读着一篇论文，直到一张表格让我猛地僵住。
四万种分子。不到六个小时。一台消费级服务器——就是你在大学宿舍里能找到的那种。而且它的输出并不是垃圾。这个模型重新发现了VX——有史以来合成过的最致命的神经毒剂之一——然后更进一步，生成了数千种新型类似物，预计其致命性更强——超过VX本身。这些化合物在任何公开数据库中都不存在，也不出现在任何政府观察名单上。
Collaborations Pharmaceuticals的研究人员并没有制造武器。他们拿来一个名为MegaSyn的商用药物发现模型——一个旨在为罕见病寻找治疗方法的工具——只改动了其奖励函数中的一个符号。从负号变成正号。“惩罚毒性”变成了最大化毒性。就是这样。一行代码，机器就从治疗者转变为武器设计者，动作同样娴熟。
我合上笔记本电脑，对着墙壁久久发呆。
我经营着Veriprajna，一家为高风险企业环境构建AI系统的公司。我们的工作处在深度学习与那些“一旦出错就不只是糟糕建议、而是真实的物理伤害”的领域的交叉点上。在苏黎世的那个夜晚，我意识到，AI行业兜售的整套安全范式——那些护栏、内容过滤器、提示工程技巧——都建立在沙土之上。而我知道，我们必须做一些从根本上不同的事情。
那场本应改变一切的实验
关于Collaborations Pharmaceuticals这个实验，让我念念不忘的是：它并不难。
团队使用了一个基于LSTM的神经网络，在SMILES字符串上训练——这是一种基于文本的分子结构表示法。训练数据来自ChEMBL，一个任何研究生都能下载的公开数据库。算力成本微不足道。整个架构在公开文献中都有详尽记载。
这个模型的工作方式是生成候选分子，并根据一个目标函数为它们打分。在其正常的治疗模式下，这个函数大致是这样的：奖励生物活性，惩罚毒性。研究人员把这个惩罚项反转了。生成器本身——那个真正创造分子的引擎——从未被修改。它只是沿着新的梯度前进，朝着最大致命性攀登，就像它此前朝着最大治疗价值攀登一样。
如果一个模型理解是什么让一个分子变得安全，那么它按定义也就理解是什么让它变得不安全。这些是同一个数学空间中互补的区域。
这不是一个漏洞。这是架构完全按照设计运行的结果。而这正是令人恐惧之处。
设计复杂生化制剂的门槛已经崩塌——不是因为有人泄露了配方，而是因为设计它们所需的计算智能如今已经可以人人平等地获取。一块消费级GPU。一段Python脚本。一个开源数据集。这就是全部的购物清单。
为什么每一种AI安全方案都没抓住要点？
苏黎世之行后，我花了数周时间与那些为制药和生物技术构建“安全AI”的团队交谈。这些对话遵循着一个令人沮丧的模式。
“我们有护栏，”他们会说。“我们会过滤输出。”
我会问：如果有人提交的是一个SMILES字符串，而不是一个分子名称，会发生什么？
一脸茫然。
这就是整个基于包装器的安全范式的问题所在——也就是把一个强大的模型拿来，裹上薄薄一层内容过滤，然后号称它已经可用于企业级的做法。这些系统在语言层面运作。它们寻找关键词。它们把输出与已知有害事物的清单进行比对。
但毒性不是一个词。它是一种几何形态。
内容过滤器会屏蔽“沙林”这个词。但它不会屏蔽O=P(C)(F)O——模型能完美理解的沙林的SMILES表示。近期关于SMILES提示攻击的研究表明，针对GPT-4和Claude 3等领先模型，对特定物质的绕过率超过90%。百分之九十。那不是一套安全系统。那是一个建议箱。
而且情况更糟。在药物化学中，有一种现象叫“活性悬崖”——一个微小的结构改变，有时只是替换单个原子，就会引起生物活性的巨大变化。用一个氟原子取代一个羟基，一种安全的药物就变得致命。一个基于文本的过滤器如果把两个分子看作99%相似，就会把那个危险的放行，因为它比较的是句法，而不是功能。这就像因为字体看起来没问题就批准一份文件，却根本没有读里面的字。
我在我们研究的交互式版本中深入探讨了这些技术漏洞，但核心洞见很简单：如果你的安全机制运作在模型的表层——针对输入的文本和输出的文本——那么你就让真正的创造引擎完全不受治理了。
我们意识到自己想错了的那个夜晚
有那么一刻——我记得非常清楚，因为我和我的CTO在晚上11点就着冷披萨争论——整个问题在我们眼中重新定义了自己。
我们一直试图构建更好的过滤器。更聪明的分类器。更全面的屏蔽清单。而每一次我们对它们进行压力测试，都会找到另一条绕过的路。又一个编码技巧。又一个边缘情形——一个新型分子溜了过去，因为它不在任何数据库里。
我的CTO说了一句话，让争论戛然而止：“我们一直在试图抓住坏的输出。要是我们让模型从一开始就根本无法想到它们呢？”
那就是我们开始谈论潜空间的时候。
什么是潜空间，你为什么该关心它？
每一个生成式AI模型——无论它是在创造图像、文本还是分子——都是通过把世界压缩进一个数学空间来工作的。这种压缩后的表示被称为潜空间。可以把它想成模型内部的想象力。当一个分子生成器“设计”一种新药时，它并不是在随机拼装原子。它是在一个高维地形中导航，相似的分子在其中聚成一簇，而生成就是在这片地形上选取一个点、再把它解码回一个真实结构的行为。
关键在于：在这片地形中，毒性不是一个标签。它是一个区域。一片连绵铺展的疆域，渗入并纠缠于代表治疗价值的区域之中。那些让一种药物能穿过血脑屏障去治疗阿尔茨海默病的特性，往往正是那些让一种神经毒剂抵达其目标、造成瘫痪的特性。高结合亲和力——一个分子紧紧抓住一种蛋白质的能力——正是你在抗癌药物中所需要的，也正是让VX致命的东西。
毒性与治疗价值并不是一枚硬币的两面。它们是同一个流形上的邻居，共用一道篱笆，有时还共用一扇前门。
正是这种纠缠，使得简单的“拒绝”机制会灾难性地失效。如果你让模型屏蔽一切与毒性相关的东西——比如说，所有能穿透血脑屏障的分子——你屏蔽的就不只是武器。你摧毁了模型设计神经系统疾病疗法的能力。你以安全之名做了一次脑叶切除手术。
真正的挑战不是屏蔽坏的输出。而是在这片地形的安全区域中导航，同时让危险区域在数学上无法抵达。
“潜空间治理”实际上是什么样子？
我们创造了“潜空间治理”这个术语，来描述我们认为在高风险生成式领域中唯一站得住脚的AI安全方法。这个想法看似简单：不是在模型生成输出之后再过滤它们，而是约束模型对其内部地形的导航——早在任何东西被产生出来之前。
我会具体讲讲这在实践中意味着什么，因为魔鬼藏在实现的细节里。
在任何人移动之前，先绘制地形图
在部署任何生成式模型之前，我们会进行我们所称的拓扑审计。我们使用一种叫做持续同调（Persistent Homology）的技术——拓扑数据分析的一个分支——来计算模型潜空间中安全区域的数学指纹。我们识别出那些把治疗疆域和有毒疆域分隔开来的形状、孔洞和边界。
这给了我们任何屏蔽清单都永远给不了的东西：对模型自身几何中“安全”长什么样的结构性理解。当一个新型分子被生成时——某个在任何数据库中都不存在的东西——我们能够评估它究竟坐落在安全流形之上，还是已经漂移进了未曾勘测、可能危险的疆域。
永不入眠的评判器
我们不重新训练基础生成模型。那样代价高昂，有灾难性遗忘的风险，还会带来它自身的问题。相反，我们训练我们称之为约束评判器（Constraint Critics）的轻量级辅助网络——它们是直接作用于潜向量、实时预测风险分数的价值函数。
这里的架构优雅之处很关键：因为评判器与生成器是解耦的，所以我们可以在新威胁出现时更新它们，而无需触碰基础模型。当一类新的化学隐患被识别出来时，我们重新训练的是评判器，而不是整个系统。
引导，而非过滤
在生成过程中，当模型在潜空间中采样一个点时，评判器会计算该点处毒性曲面的梯度。如果轨迹正朝着一个危险区域前进，一个方向相反的梯度就会把它推回安全流形上——所用的技术基于朗之万动力学（Langevin Dynamics）。
模型实际上“想象”出一个有毒的分子，但在任何输出产生之前，它被数学上强制把那个念头收敛为一个安全的类似物。任何危险的东西都永远到不了输出层。没有什么可过滤的，因为没有什么不安全的东西可抓。
模型不是先生成一件武器、然后在门口被拦下。它在架构上就根本无法朝着那扇门走去。
这就是事后过滤与结构性约束之间的区别。一个是查验证件的保安。另一个是一栋根本没有通往禁区楼层入口的建筑。
如需完整的数学表述——包括约束优化框架和梯度引导方程——请参阅我们的技术深度解析。
为什么不能干脆把危险区域整个屏蔽掉？
人们不断问我这个，这是个合理的问题。如果你知道有毒流形在哪里，为什么不干脆把它完全封起来？
因为纠缠。记住——让一种神经毒剂致命的那些特性，与让一种神经系统药物有效的那些特性，有着显著的重叠。如果你封得太激进，就会摧毁治疗效用。如果你封得太宽松，就会留下缺口。
我们的方法通过我们称之为“带自适应激励的约束强化学习”的机制来穿针引线。我们实现的不是一道二元的墙——安全/不安全——而是一个梯度缓冲带。当模型接近毒性边界时，一个不断增大的惩罚会把它推回去，就像一个越靠近就越强的力场。这让模型能够探索化学空间中富有成效的边缘地带——最具创新性的药物往往就住在那里——却永远不越过界进入危险。
标准的约束强化学习出了名地不稳定，会在约束边界附近来回振荡。我们用一种自适应激励机制解决了这个问题，它奖励模型稳稳地待在界限之内，而不只是奖励它不越界。这个区别听起来很微妙。但在实践中，它就是“纸面上安全”的系统与“在对抗压力下依然安全”的系统之间的区别。
监管的清算已经到来
我跟很多创始人聊过，他们把AI安全当成一个“有更好、没有也行”的东西。给合规团队打个勾的事项。等找到产品市场契合之后再操心的东西。
他们错了，而监管格局即将证明这一点。
白宫的AI行政命令明确指出，AI降低CBRN（化学、生物、放射性、核）武器开发门槛的风险，是一级国家安全威胁。2025年底启动的Genesis Mission指示能源部构建一个用于科学发现的一体化AI平台，并强制要求“基于风险的网络安全措施”。NIST的生成式AI指南（NIST.AI.600-1）专门把化学与生物设计工具列为一个独特的风险类别，警告说这些工具“可能预测出”训练数据中并不存在的“新型结构”。而ISO 42001——首个针对AI的国际管理体系标准——要求在对抗性攻击面前具备已被证明的鲁棒性。
一个包装器无法证明它能阻止生物威胁的产生。它只能表明它在尝试过滤它们。当联邦合同、ISO认证和监管批准都悬于一线时，这个“尽力而为”的区别将至关重要。
我们的结构性约束提供了一种从根本上不同的东西：有界行为的证明。我们能够向监管者证明——用数学证明——CBRN流形对我们的模型来说是无法抵达的。不是“我们试图屏蔽它”。不是“我们还没见过它突破”。而是无法抵达。
一位投资人告诉我“干脆用GPT加过滤器就行”
我想分享这件事，因为我认为它精准地捕捉到了行业现状与它应有状态之间的差距。
在我们融资的早期，一位投资人——一个在企业级AI领域拥有强大投资组合的人——听完我们的路演后，基本上说：“这过度设计了。用GPT-4配一个好的系统提示和一个审核端点就行。没人会去越狱一个制药工具。”
我在手机上调出了SMILES提示攻击的研究，给他看了90%以上的绕过率。我给他看了MegaSyn的结果。我解释说，他那个“审核端点”需要抓住的那些分子还没有名字——它们是在任何数据库中都不存在的新型化合物。
他停顿了很久，然后说：“所以你是在告诉我，生物技术领域里每一家AI安全公司都在卖一把不管用的锁？”
“我是在告诉你，他们卖的是一栋没有墙的建筑前门上的一把锁。”
他没有投资。不是每个人都为这场对话做好了准备。但那些做好了准备的人——那些在推进临床项目的制药公司、那些背负CBRN任务的国防承包商、那些盯着ISO 42001认证的生物技术公司——他们明白，结构性安全不是一项高级功能。它是最小可行产品。
让我夜不能寐的那部分
MegaSyn实验发表于2022年。它用的是2018年的架构。今天可用的模型，能力要强上好几个数量级。
而行业为回应此事所构建的“安全”基础设施呢？更好的关键词过滤器。改进过的系统提示。更全面的屏蔽清单。我们在造更快的车，却用更好的减速带来应对。
我认为，AI领域的大多数人——甚至是大多数构建AI安全工具的人——都还没有充分领会到这意味着什么：设计新型化学武器的能力如今花的钱比一台游戏PC还少。这份知识并不藏在某处的机密文件里；它编码在那些用公开可得的化学数据训练出的模型的学得表示之中。你无法在不让模型忘掉“治疗”含义的前提下，让它忘掉“毒性”的含义，因为这是同一份知识，只是从不同角度去看。
我们无法用一块语言学的补丁去解决一个几何学的问题。危险存在于模型的潜空间里，治理也必须存在于那里。
包装器时代需要终结。不是因为包装器是糟糕的产品——许多都出于善意，也对低风险应用有用。而是因为在AI触及物理世界的领域里——药物设计、化学合成、生物工程——表层安全就是一个自相矛盾的说法。它营造出一种控制的假象，却让创造引擎完全不受治理。
在Veriprajna，我们选择了一条更艰难的路。我们选择走进模型内部——进入它的几何、它的拓扑、它的潜结构——把安全构建进数学本身。不是作为过滤器。不是作为护栏。而是作为对模型所能想象之物的约束。
我相信AI安全的未来就是这个样子：不是在门口安排更聪明的守卫，而是把建筑设计成让危险的房间根本不存在。不是更好的内容审核，而是让内部几何结构使伤害在结构上就不可能发生的模型。
我们构建这个，不是因为它容易，也不是因为市场在要求它。我们构建它，是因为那张表格——四万种分子、六个小时、一台消费级服务器——告诉我们：任何低于此标准的东西，都是伪装成创新的失职。