一个药企药物发现模型六小时设计出4万种毒素。而真正的解法出乎我的意料。
我第一次真正理解这个问题时，正在读一篇四年前的论文，感到一阵寒意。
2022年，Collaborations Pharmaceuticals的一个小团队拿来他们的商用药物发现模型——一个名为MegaSyn的生成式化学系统，那种为分子的治疗潜力打分的东西——然后翻转了一个数字。原本告诉模型"奖励安全的、类药分子"的奖励函数，变成了"奖励有毒的分子"。这不是黑客攻击，也不是入侵。它只是Python配置文件里的一个正负号，就像你把恒温器从制热切换到制冷一样。
在不到六小时内，在一台标准服务器上，该模型生成了4万个候选分子——其中包括VX等已知神经毒剂，以及数千种它预测会更加致命的新型化合物。那项研究发表于《自然·机器智能》，至今每一场关于AI生物安全的诚实对话仍然从这里开始。而让我夜不能寐的，并非它在一次受控实验中发生过。而是使其成为可能的那套架构——一个坐落在配置文件里、而非焊死在模型内部的奖励函数——至今仍在生产环境中运行于大多数运行着REINVENT 4之类流程的中型药企。那个被翻转的开关从未被修复。它只是没有被再次翻转而已。
这就是我在Veriprajna的团队花了两年时间去攻克的那道缺口。这篇文章讲的是我们一路上犯下的错误，以及我如今相信唯一真正有效的东西。
在大多数生成式化学流程中，药物发现模式与武器设计模式之间的区别，就是一行没有人看守的代码。
药企所信赖的防御，是为一个已不复存在的威胁而建的
当我开始与合规官交谈时——首席合规官、签署生物安全文件的责任官、真正拥有这些模型的机器学习主管——几乎每个人都描述了同样的三道防线。拒答训练，让模型在你向它索要危险内容时说不。RLHF对齐，让它规矩行事。还有结构警示过滤器——一种扫描分子输出、标记已知有毒子结构的软件。
这三者都是为一个攻击看起来像有人打字输入"给我设计一种神经毒剂"的世界而设计的。而2025年的攻击面根本不是那个样子。它更安静、更自动化，并且运行在这些防御所监视的层级之下。
以结构警示过滤器为例，这是药企倚仗最重的一道。像Insilico Medicine的Chemistry42这样的平台，出厂时就配备了460多个自研的药物化学过滤器，用于筛除已知的毒性团。它们是出色的工程。但它们检查的是输出——成品分子——中的已知不良模式。它们对目标毫无作为。一个朝着化学武器流形优化的模型，会乐此不疲地生成结构新颖、不匹配任何已知毒性团、并直接穿过过滤器的化合物，因为"新颖"恰恰正是生成式模型的用途所在。我曾看着一串SMILES字符串——化学家用来书写分子的文本记法——从输出日志里滚过，并且知道它会通过团队安装的每一道警示，恰恰因为它是全新的。
所以我必须首先摒弃的，是那个令人宽慰的观念：过滤输出等同于治理模型。
我们最干净的想法崩塌的那一夜
这就是我亲自押注的失败，它耗费了我们几个月。
当我的团队最初界定这个问题时，我们爱上了一个看似优雅的答案：不要过滤危险知识，而是把它移除。机器遗忘领域有一批真实而精彩的学术工作——比如RMU这样的技术，它经过WMDP基准的验证，该基准出自2024年一篇ICML论文，精确衡量一个模型保留了多少可武器化的生物学知识。这个承诺美妙极了。你拿一个在WMDP-Bio上得分约75%的模型——危险地博学——然后遗忘，直到它得分降到26%，也就是随机猜测的水平，也就是"模型真的不知道"。一个知识出现缺口的模型。你无法越狱一个根本不存在的知识。
我们做了一个演示。它成功了。分数降到了随机水平。我记得当时为此感到自豪——我有一张幻灯片写着知识已经消失了，感觉像是一个已成定论的论证。
然后我们的一位工程师对它运行了一次重学攻击，就是CMU的Lucki等人那项发表于ICLR 2025的工作所描述的那种。他没有喂给它秘密数据。他用公开的医学文章对它进行微调——任何生物学图书馆里都有的那类东西——那个本应被抹除的能力就开始重新回升。同一篇论文表明这个把戏对琐碎知识也有效：一个"忘记"了《哈利·波特》的遗忘模型，在看过维基之后，可以被引导着再次背诵出记忆中的段落。知识并没有消失。它只是被掩盖了。深深地、令人叹服地掩盖了——但任何拥有权重并花上一个下午的人都能将其恢复。
我们并没有删除危险的知识。我们只是把它藏得足够好，好到骗过了自己，而这是世上最危险的一种安全。
那一夜，那个干净的推介方案死了。它必须死，因为它的下一个版本会以"你的模型无法被滥用"卖给一家真实的药企——这句话并不真实，任何合规官都不该在它下面签下自己的名字。
拒答是一种行为，而非一种能力
那次重学的失败迫使我内化了如今我在每一次首次会面时都会说的一件事。拒答是模型执行的一种行为。能力是模型能做什么。二者并不是一回事，而药企里几乎每一层安全防护都把它们混为一谈。
RLHF拒答教一个模型说不。它并不教它不知道。有一项2025年的研究——即"gpt-oss"最坏情况风险那项工作——给这个区别有多薄给出了一个数字：只需10到50个微调样本和几百美元的GPU时间，你就能剥掉一个开放权重模型的安全对齐，恢复它接近前沿的生物学能力。几天的工作。一顿丰盛晚餐的价钱。对任何在本地运行开放权重模型的药企而言——很多药企确实这么做，出于完全正当的知识产权理由——"安全对齐"是一种恰好会存续到某个内部人员或一份被窃取的权重文件决定它不该存续为止的属性。
这就是为什么开放权重的现实如此重要。当Arc Institute于2025年2月发布Evo 2时——一个在九万亿核苷酸上训练的400亿参数DNA基础模型——他们确实做了真诚而细致的安全工作，从训练中排除了感染人类的病原体，并对结果进行了红队测试。然后一个名为GeneBreaker的框架，在NeurIPS 2025上发表，实现了高达60%的攻击成功率，在六个病毒类别上越狱了Evo 2-40B。
GeneBreaker的运作方式，是每一位CISO都需要好好体会的那一部分。它从不索要病原体。它使用一个AI智能体来编排生物信息学工具，并通过同源性引导的束搜索，索要一个"同源于"某个良性参照物的蛋白质，而该参照物恰好在结构上接近一个危险的蛋白质。关键词过滤器看到的是一个合法的比较基因组学请求。拒答训练看不到任何需要拒绝的东西。危险只有在你分析产出物的功能时才变得可见——而到那时它已经出来了。一旦权重开放，你就必须假设该模型已流入外界，每一个竞争对手和恶意行为者都握有和你一样的那份副本。
为什么"最后一道防线"没有拦住它？
每当我把这些摆出来，就会有人——通常是房间里最有经验的那位——说出某种版本的："好吧，但这一切都无关紧要，因为要造出任何真实的东西，你都得合成DNA，而我们的合成供应商会筛查每一份订单。"
我过去也半信半疑。然后2025年10月来了。
微软研究院与Twist Bioscience、IDT以及国际基因合成联盟悄悄合作了十个月，开展了如今被称为释义项目（Paraphrase Project）的研究，发表于《科学》。他们用一个开源蛋白质设计模型，生成了某种毒素的数千个合成变体——保留其发挥功能的关键部位，同时改变其周围的一切，相当于给一句话做释义、好让抄袭软件不会标记它的分子等价物。那些经AI释义的变体，溜过了每一家主流DNA合成供应商所使用的基于同源性的筛查软件。那道"最后一道防线"对它们视而不见。
值得极大称赞的是，该团队用那十个月共同开发并向全球分发了一个补丁，在同源性匹配之上增加了功能预测。检测能力提升了。但对一个买家而言，教训是永久的：任何建立在"我们的DNA供应商会拦住它"之上的内部流程，在整个2024年和2025年的大部分时间里，都建立在一个并不存在的保证之上。在那篇论文发表数周之后，我曾坐在一位合规官对面，听他满怀十足的信心描述那个一模一样的后备防线。你不能把供应商的筛查当作你的后备防线。你必须在内部筛查，在订单离开大楼之前。
令人宽慰的说法总是"下游会有东西拦住它"。在生物安全领域，2025年是每一道下游拦截都被演示着绕过的一年。
监管的底线动了——而且是同时朝两个方向
如果只有技术地基在移动，那就已经够难对付了。法律地基也在移动，而且是在朝相反方向裂开。
在美国，合规团队在2023年和2024年花心思去筹划应对的那套行政框架，在几个月内被拆解。拜登的AI安全令于2025年1月被撤销；生物经济令于3月被撤销；5月发布的一份替代性的生物研究安全令附带一个90天的实施期限，而这个期限在没有任何框架出现的情况下过去了。那些以生物安全合规为职责的人，此刻正在一片真空中运作。
与此同时，欧盟走向了另一个方向。《AI法案》对通用模型的义务已于2025年8月生效，全面的高风险适用将在2026年8月落地。罚则并非象征性的：对于被禁止的做法，最高可达3500万欧元或全球营业额的7%；对于通用模型的不合规，则为1500万欧元或3%。用于生物学的基础模型正好处在适用范围之内。而对我大多数客户来说，决定整个问题的那种不对称就在这里：一家有任何欧盟业务的药企，无论美国落到哪一步，都必须合规到欧盟的标准。如果你的产品卖到法兰克福，那么世上最低的那道门槛就无关紧要。
在头条监管的底下，ISO/IEC 42001——首个针对AI管理系统的国际标准——已悄然成为保险公司和合作伙伴期望你持有的东西。而保险公司正是这里那个沉默的执法者。在2025年下半年，网络责任险的承保方开始在其核保表单中增加关于两用性训练数据排除、遗忘程序和红队频率的问题，并开始对AI生成的危害予以除外，或对那些在没有书面控制措施的情况下运行开放权重模型的公司重新定价。我曾看着一份慕尼黑再保险式的问卷落到一位客户桌上，并把整场对话重新定框：这不再是一场伦理讨论，而是一笔保费。
这也是那个责任陷阱猛然合上的地方。想象一下那场诉讼。一名心怀不满的员工窃取了一家药企私有生物学模型的权重。数月后，它出现在一份关于一次险情的威胁情报报告里。原告的律师问了一个问题：你们的控制框架是什么？在2024年，你回答"我们用了拒答训练"或许还能幸免。但在MFT和重学研究之后，那个答案更接近于一份认罪供述。2026年的注意义务抗辩是"我们采取了最先进的、有书面记录的、分层的防范措施"——而你要么有红队记录来证明这一点，要么没有。
那么，究竟什么才顶得住？
从这一切中得出的诚实结论，是我最不愿要的那个，因为它不如"我们删除了知识"那么优雅。没有任何单一技术管用。拒答是可逆的。遗忘是可恢复的。输出过滤器对新颖性视而不见。供应商筛查被绕过了。每一道单独的防御都有一个已被证实的破解。
顶得住的是彼此独立地失效的层——这样击败其中一层并不会击败整个系统。这就是我们最终构建出来的东西，也是Veriprajna生物安全AI安全实践如今所围绕组织起来的东西。不是一个你安装的产品。而是一套嵌入药企已经运行的任何技术栈之中的防御，因为他们不会为了我而拆掉Chemistry42或REINVENT，也不该被要求这么做。
它始于生成时刻。我们在模型前面放置安全中间件，在SMILES、SELFIES或分子图输出抵达研究人员之前将其拦截——像所有人一样做毒性团筛查，但在其之上叠加了到化学武器流形的潜空间邻近度打分，以及活性悬崖检测。那个走过模式过滤器的新颖结构攻击，会被它在模型表征中所处的位置所拦住，而不是被它看起来的样子所拦住——因为一个化学武器类似物和一个良性药物在结构上可以看似毫不相关，却在模型习得的潜空间的同一区域聚集，那是一个追求新颖性的生成器无法逃脱的不变量。每一次拦截都会写入一条审计日志，因为日志正是一位ISO 42001评估员实际要看的东西。
遗忘在权重层面仍有一席之地，但只能带着重学研究强加给我们的那份谦卑。RMU、稀疏自编码器特征消融、来自2025年一篇ACL论文的UIPE改进——然后是一个每月的重新认证周期，配以持续的重学红队测试，因为我们现在假设知识缺口会侵蚀，而我们宁愿抓住这种侵蚀，也不愿假装它不会发生。WMDP-Bio分数不再是一张我们裱起来一次的证书，而成了一项我们持续监测的生命体征。
没有人主动去尝试破解它，这一切都不可信，所以红队每季度运行一次：GeneBreaker式的同源性攻击、SMILES提示越狱、恶意微调模拟、重学恢复。交付物是一份对照NIST AI 600-1控制项的书面报告——那份生成式AI概况，自2024年7月起，已明确将CBRN列为十二项独特风险之一。而这个闭环只有在我们于内部进行筛查时才真正合上：生成的序列会对照IGSC、对照SecureDNA的密码学哈希协议、以及对照一个功能预测层进行核验，然后任何合成订单才离开大楼——这正是释义项目所揭露的那道缺口。
大多数供应商不会写下来的那部分
每一次合作中都有一个我坚持要有的部分，也正是它让其余部分变得可信：那些我们无法修复的东西。
我们无法解决组织政治。如果研发负责人把生物安全审查体验为对迭代速度的一种课税，那么没有哪一层技术能在与日程表的接触中幸存。我们无法让遗忘对一个握有权重并拥有微调权限的对手做到可证明地永久有效——UIPE和SAE消融降低了风险，但并不把它归零。WMDP是已知前体知识的一个代理指标；一个处于随机猜测水平的模型，并不能被认证为对那些尚无人枚举过的能力是安全的。而上游的数据投毒攻击发生在模型抵达药企之前，这意味着检测它们需要一种下游顾问无法强制促成的合作。
一个声称能堵上每一道缺口的生物安全供应商，正在告诉你那唯一一件证明他们并没有把它们全部找到的事。
那些告诫应当以朴素的语言摆在桌面上、摆在董事会的演示材料里、摆在控制矩阵中。这不是因为诚实是件好事，而是因为另一种选择——我差点交付出去的那张自信满满的"你的模型无法被滥用"幻灯片——恰恰是那种会变成证词笔录的过度承诺。
有人问我这是否意味着小型生物技术公司干脆就没戏了，被他们无法匹敌的前沿实验室能力所淹没。恰恰相反。前沿实验室做的是真功夫——Anthropic于2025年5月在Claude Opus 4上发布了ASL-3防护，这是首个明确针对生物武器能力提升采取部署措施的商用模型。但那些分类器保护的是Claude。它们对你微调过的REINVENT实例、你的检索流程、或你自己GPU上的开放权重模型毫无作用。药企专属的流程层，恰恰是前沿实验室够不到、而平台供应商把它当作一项功能而非焦点来对待的那片空间。那就是缺口，而且它是一道可以建造出来的缺口。
我收到的另一个问题是那个运营层面的：这难道不慢吗？它比什么都不交付要慢，比一场诉讼要快，也远比监管者或保险公司索要你从未生成过的证据的那一天要快。2024年RAND的红队研究发现，AI并没有抬高一个训练有素的病毒学家所能做到的上限——它抬高的是一个非专家所能尝试的下限。风险从来都不是少数人拥有超能力。而是被大众所民主化的老练技艺。那是一道你用有书面记录的层去防守的下限，而不是用一个拒答提示和良好的意图。
我投入这项工作时，本以为要构建一种巧妙的办法，从模型中删除危险知识。我走出来时确信，整个框架就是错的——你并非靠打造一个无法被滥用的模型来赢得生物安全，因为并不存在这样的模型。你靠构建一个系统来赢，在这个系统里每一层都假设其他各层将被击败，并且你把凭据留存下来。如果你今天正在运行一个生成式化学或生物学流程，而对"你的控制框架是什么"这个问题的诚实回答是一个配置文件加一个拒答提示，那就不是一种安全姿态。那是一个正等着被翻转的正负号——而你可以确切地看到一个分层的姿态取而代之会是什么样子。
