遗忘杀戮的 AI：为何我们致力于构建无法制造生物武器的模型
那封电子邮件是在一个周二凌晨 2:47 收到的。我们的一位研究工程师——我称他为拉维（Ravi）——一直在对一个流行的开源生物学模型进行对抗性测试。他并不是想做什么不法之事。他只是在对防护栏（guardrails）进行压力测试，这正是我们的本职工作。但他发现的问题让他决定立刻拿起电话，而不是等到天亮。
“它带着我完成了整个过程，”他说。“不是通过单次提示，而是经过了十二轮对话。我只是不断追问关于蛋白质折叠、受体结合以及递送机制的问题。到最后，它基本上给了我一份增强病毒传播力的蓝图。而我甚至还不是个生物学家。”
我坐在昏暗的客厅里，凝视着他发过来的对话记录。该模型没有“拒绝”任何问题。从技术上讲，每一个单独的回答都属于合法的科学范畴。但在懂行者的引导下串联在一起，这场对话就成了一堂绝不该被讲授的示范课。
那天晚上改变了我公司的发展轨迹。我们一直在为企业客户构建 AI 安全工具——这项工作很重要，但也只是渐进式的改进。拉维向我展示的一切需要更加彻底的变革。不是更好的防护栏，也不是更智能的过滤器。我们需要构建真正无法生成此类知识的 AI 模型，即便剥离所有安全层也是如此。
我们需要那些已经遗忘了如何杀戮的模型。
无人愿谈的问题
以下是关于 AI 与生物学令人不安的真相：帮助研究人员为患有罕见病的儿童设计基因治疗载体的同一个模型，在恰当的提示下，也能帮助某些人优化病原体以造成最大程度的人类伤害。这不是假设，而是植根于这些模型运作方式中的数学必然性。
大型语言模型通过吞噬一切来学习——教科书、研究论文、论坛帖子以及整个人类知识的数字化记录。这其中包括关于功能获得性（gain-of-function）研究的病毒学论文；包括关于毒素合成的化学文献；也包括数十年来从本质上记录了生物制剂危险成因的生物防御研究。
拯救生命所需的数据往往与终结生命所需的数据密不可分。
这就是研究人员所说的双重用途困境（Dual-Use Dilemma），而且这并不是什么新鲜事。自发现 DNA 以来，生物学家就一直在与之搏斗。但 AI 改变了这种权衡，其方式让我夜不能寐：它让最困难的部分变得唾手可得。
制造生物武器在历史上需要具备三个要素——显性知识（科学原理）、物理途径（实验室设备）以及隐性知识（需要多年培养的实验室操作“手感”）。互联网解决了第一个要素；云端实验室和邮购 DNA 合成正在解决第二个要素；而现在，生成式 AI 正在弥合第三个缺口，其角色正如一位研究人员严峻形容的那样——一个“盒装博士后”：全天候 24 小时在线、具有无限耐心，且除非我们明确为其构建道德指南针，否则毫无道德准绳。
为什么“简单说不”在 AI 生物安全上行不通？
AI 行业对这一问题的应对方式，本质上是教会模型去拒绝。通过一种名为人类反馈强化学习（RLHF）的过程，模型学会了当有人询问危险话题时，正确的回答是某种形式的“我无法提供这方面的帮助”。
我曾经以为这就足够了。我错了。
RLHF 并没有抹去知识。它压制的是行为。该模型仍然知道如何合成毒素——它只是被训练成不去说出来。可以把它想象成一位对特定话题发誓保持沉默的医生。知识依然完好无损地存在于神经权重之中。“拒绝”只是在训练最终阶段涂抹在表面的一层薄薄的行为层。
而薄层终究会破裂。
我的团队梳理了这种机制失效的各种方式，其清单之长令人不愿面对。其中包括渐强攻击（Crescendo Attack），攻击者从无害的问题开始，在数十轮对话中逐步升级，直到模型深陷上下文而忘记拒绝。还有欺骗性愉悦（Deceptive Delight），将有害请求包装在创意写作提示中。还有不良李克特评判者（Bad Likert Judge）技巧，即要求模型去评估各种回答的有害程度，而模型则会在其“分析”中热心地提供危险细节。
我们在多个前沿模型上测试了这些攻击手段。结果令人警醒。其中一种由 Palo Alto Networks 的 Unit 42 团队发布的极其巧妙的攻击，仅仅依靠对话耐心就在某些模型上实现了 100% 的越狱成功率。
但真正的噩梦还不是越狱，而是当模型开源时会发生什么。
当武器无法收回时会发生什么？
我曾为此引发过激烈的争论。在软件世界中，“开源”是神圣的——它意味着透明、社区审查以及通过集体监督实现的安全。我坚信软件开源的价值，但生物学不是软件。
当 Linux 中发现安全漏洞时，它会被打上补丁。所有人都会更新，漏洞得以化解。但当一个生物学“漏洞”——比如某种新型大流行病原体的设计——由运行在某人私有服务器上的开源权重模型生成时，没有补丁可用，没有更新可推，更无法召回。
权重一旦流出，这种能力就成为了永久性的存在。
研究人员已经证实了一种被称为恶意微调（Malicious Fine-Tuning）的现象，它让这一风险变得尤为具体。以一个经过“安全对齐”的开源模型为例——该模型经过精心训练以拒绝有害查询。仅用 10 到 50 个有害问答对的样本对其进行微调。成本：几百美元的 GPU 算力费用。结果：安全对齐彻底崩溃，模型在预训练阶段掌握的全部知识——包括关于病原体、毒素和武器化的一切——全盘复活。
一个能够被对手轻易移除的安全机制根本不能称之为安全机制，它充其量只是一个减速带。
我在一次会议上提出这个论点时，台下有人反驳道：“但这些信息在互联网上本来就有。”他们说得没错，你确实能在维基百科上找到蓖麻毒素的合成方法。但这完全没有切中要害。风险不在于配方本身，而在于能力提升（uplift）——即模型指导半熟练人员完成实际执行该配方这一复杂且易错过程的能力，包括实时排错，以及在受控试剂无法获取时提供替代试剂建议。这才是 AI 所弥合的差距，也是真正关键的差距所在。
我在我们研究的交互版本中对这一点进行了更深入的探讨，包括能够自主规划和执行多步骤生物工作流的智能体 AI（agentic AI）系统的完整威胁模型。这种向智能体的转变——即 AI 从聊天机器人演变为自主科学家——正是问题真正上升到生死存亡层面的转折点。
我们改变方向的那一夜
有一个特定时刻让我们的方案变得清晰。当时我们正在开团队会议，激烈争论架构方案。团队的一半人希望构建更好的监控——在恶意提示到达模型之前将其拦截；另一半人则希望专注于输出过滤——在有害回答送达用户之前将其拦截。
我记得当时站在白板前，第三次画出同样的图表，突然感觉我们只是在泰坦尼克号上摆弄甲板躺椅。这两种方法都预设了模型应该拥有危险知识，而我们只需要控制对其的访问权限。但这就像在办公室里存放神经毒气，却指望靠一把足够好的锁来保安全一样荒谬。
“如果模型根本……就不知道呢？”有人说道。我想那是我们的可解释性研究员。整个房间顿时安静了下来。
现在回想起来这似乎显而易见。但在当时的 AI 安全领域，这几乎等同于离经叛道。当时普遍的假设是你需要完整的模型——保留其全部知识和能力——然后在其之上叠加安全层。从经过训练的模型中刻意、精准地移除知识的想法，感觉就像做脑白质切除手术一样。粗暴、具有破坏性，而且肯定会在这个过程中破坏其他一切功能。
我们在接下来的几个月里证明了这一假设是错误的。
如何教会 AI 遗忘？
这一领域被称为机器遗忘（Machine Unlearning），它比听起来更加精妙。你不能仅仅删除训练数据然后重新训练——这在计算成本上是不可承受的，而且也无法保证知识彻底消失。相反，你必须在模型内部表征的层面进行干预——也就是那些编码概念的神经激活模式。
我们的核心技术被称为用于遗忘的表征误导（Representation Misdirection for Unlearning），简称 RMU。其核心直觉是：当模型处理诸如“增强病毒传播力”之类的提示词时，其隐藏层中会触发特定的激活模式。从数学角度来看，这些模式就是“知晓病毒传播力增强知识”的具体体现。RMU 能识别出这些模式并对其进行重定向——不是重定向为拒绝，而是重定向为噪声。模型对危险概念的内部“思考”会被打乱成毫无意义的激活信号。
其结果是，模型不会拒绝你关于武器化的问题。它只是根本无法连贯地对其进行思考。要求它增强病原体，它的反应就像一个从未听说过该概念的人一样——困惑、前言不搭后语、胡乱拼凑不相关的想法。这不是在伪装。这些知识是真的不存在了。
但这正是最困难的部分——也是耗费我们最多工程精力的部分：你必须在不破坏其他一切的前提下完成这项工作。病毒学和生物武器共享着海量的基础知识。你不可能在剥离“病原体工程”的同时而不危及“疫苗设计”。这就像试图从一个人的大脑中移除“火作为武器”的概念，同时又完整保留“火作为烹饪工具”的认知一样困难。
正是在这里，稀疏自编码器（Sparse Autoencoders）成为了我们的手术刀。神经网络以“多语义性”（polysemantic）著称——单个神经元可能同时对“猫”和“金融衍生品”进行编码（毫不夸张）。稀疏自编码器使我们能够将这些重叠的表征解耦为清晰的单一概念特征。我们可以找到针对“病毒功能获得性研究”激活的特定特征并将其钳位归零，同时完整保留用于“基因治疗病毒载体设计”的相邻特征。
我不会假装这个过程一帆风顺。早期的实验非常残酷。我们第一个完成遗忘训练的模型甚至分不清病毒和维生素的区别。我们矫枉过正得太厉害，以至于该模型基本上把分子生物学忘得一干二净。我记得拉维调出评估结果，翻看着一页又一页针对基础生物学问题的荒谬答案，说道：“好吧，它现在确实无法制造生物武器了，但它也造不出阿司匹林了。”
我们不断迭代。我们通过一种名为语言记忆擦除（Erasure of Language Memory）的技术添加了流畅度约束，以确保模型即使在“被擦除”的区域中也能保持连贯。我们实施了参数外推（Parameter Extrapolation）来解决重新学习的问题——即有人可能利用相关数据对我们已遗忘的模型进行微调并重建危险知识的风险。该外推技术能够识别“逻辑相关”的概念，并扩展遗忘梯度以覆盖这些概念，从而在被擦除的知识周围构建起缓冲区。
有关这些方法（RMU、稀疏自编码器特征消融以及 UIPE 参数外推）的完整技术解析，请参阅我们详尽的研究论文。
实践中的“随机概率”究竟是什么样的？
我们依据WMDP 基准（WMDP Benchmark）对我们的模型进行了验证——该基准是由人工智能安全中心（Center for AI Safety）开发的大规模杀伤性武器代理数据集。它包含由专家精心设计的 4000 多个多选题，用于测试“先验前体知识”——即制造生物或化学武器所必须理解的核心概念。
像 Llama-3-70B 这样的标准开源模型在生物安全部分的得分约为 75%。经过所有 RLHF 安全训练的 GPT-4 得分约为 72%。而我们的知识真空模型得分仅为26%——在四选一的多选题测试中，这一得分在统计学上与随机猜测毫无二致。
与此同时，在 PubMedQA 等通用生物医学研究基准上，我们的模型保留了约 77% 的准确率，而基础模型为 78%。在广泛的 MMLU 科学基准测试中，我们的得分仅从 82% 微降至 81%。
知识真空模型在应对威胁方面在功能上如同一个“婴儿”，而在治疗疾病方面则依然保持着“专家”水准。
那 1-2% 的效用损失正是结构性安全的代价。我向其展示过这些数据的每一位药企高管都有同样的反应：“就只有这么点损失？”是的，仅此而已。该模型在合法研究中保留了 98% 的能力，而在武器化方面其实际能力基本为零。
越狱攻击成功率则揭示了其余的真相。标准开源模型：15-20%。经过 RLHF 的 GPT-4：1-5%。我们的模型：低于 0.1%。而这残存的微小数值并非模型输出了危险内容——它仅仅是测量噪声。
监管之墙正在收紧
这已经不再仅仅是一个技术论题，而是一个法律论题。
第 14110 号行政命令（Executive Order 14110）明确针对“双重用途基础模型”，并强制要求开发者报告针对 CBRN（化学、生物、放射性、核）风险的红队测试结果。ISO/IEC 42001作为首个国际 AI 管理标准，要求采取“与风险相适应”的控制措施——而在安全工程中，对危险源的消除始终优先于诸如政策和拒绝响应等管理控制措施。此外，NIST AI 风险管理框架（NIST AI Risk Management Framework）将 CBRN 能力列为生成式 AI 的独特风险类别。
对于制药公司而言，法律责任的权衡非常直截了当。如果你允许研究人员访问一个能够设计病原体的 AI 模型，而一旦出现问题——无论是心怀不满的员工、被攻破的系统，还是复杂的社会工程学攻击——你都会被问及采取了哪些措施来防止可预见的危害。“我们告诉过模型要拒绝”并不能说服陪审团。而“该模型在结构上根本无法产生这种输出”则是完全不同的另一回事。
网络责任保险公司已经将这一风险计入保费。保单中开始出现关于 AI 造成损害的除外条款。在敏感领域使用未经核验模型的企业面临着保费上涨。市场正在向我们发出清晰的信号。
“但难道没人能对其进行重新训练吗？”
这是我最常被问到的问题，也是一个非常切中要害的问题。如果你能让模型遗忘知识，对手难道就不能通过在生物武器数据上进行微调来重新学习这些知识吗？
从理论上讲确实如此。但我们通过工程设计让重新学习的成本高到令人望而却步。通过参数外推，我们不仅擦除了目标知识，还擦除了使重建成为可能的相关概念支撑支架。从我们的模型中恢复危险能力所需的数据和计算资源，甚至超过了从零开始训练一个新模型。到了那个地步，对手从我们的模型起步将毫无收益可言。
我们对此进行持续不断的测试。每周，自动化的重新学习攻击都会使用对抗性微调数据集对我们的模型进行密集冲击。只有当重新学习的成本超过从零开始训练的成本时，模型才能获得“知识真空”的称号。
人们还问我这种方法是否具有可扩展性——是否可以将其应用于每一个危险领域，还是说它仅适用于生物学。坦诚的回答是，生物学是我们起步的领域，因为其利害关系最重大，且双重用途的界限最分明。但其底层技术——表征误导、特征消融、参数外推——与具体领域无关。我们已经开始探索其在化学安全领域的应用，以及更有趣的是，在知识产权保护领域的应用——同样的遗忘方法可以确保模型没有记住竞争对手的专有数据。
并非真正选择的抉择
我曾置身于这样的场合，聪明的人们争辩称限制 AI 能力是反创新的行为；称“安全”只是“放慢脚步”的代名词；称风险被夸大了，而其带来的好处过于重要而不容受限。
我理解这种冲动。我是一名创始人，以创造事物为生。约束给人的感觉确实像是一种阻力。
但我始终坚持这样一个基本事实：我们绝不会允许制药公司在未清除有毒副产物的情况下销售药物；我们绝不会允许航空公司在未排除结构缺陷的情况下执飞飞机。要求一款产品不应包含灾难的隐患绝不是反创新，这正是工程学的基本底线。
在生物学领域，“开源”与“闭源”AI 之争完全是对焦点的转移。真正的抉择在于结构上安全的模型与距离灾难仅一步之遥的模型之间；在于将安全作为架构内在属性的系统与将安全作为在最后附加的一项政策的系统之间。
我们花费了数十年时间构建全球生物安全基础设施——《禁止生物武器公约》、澳大利亚集团出口管制体系、DNA 合成公司的筛查规程。所有这些都基于一个假设：制造生物武器最困难的部分在于获取知识和技能。而 AI 正在瓦解这一假设。如果我们不做出改变——如果我们继续依赖那些无所不知却仅仅承诺绝不说出来的模型——我们就是在将未来的生物经济建立在一个有决心的年轻人用一块 GPU 就能轻易击穿的基础之上。
我们绝不能将未来的生物经济建立在不稳定、具有双重用途且距离灾难仅一次越狱之隔的模型基础之上。
我认为解决之道绝不是停止构建用于生物学的 AI。其治疗潜力太巨大，能够减轻的痛苦太真实。真正的解决之道是构建在结构上无法造成我们所担心的危害的 AI——即在其知识体系中具有真正真空的模型，而不是戴着任何对手都能轻易揭下的面具的模型。
我们将此称为结构性生物安全（Structural Biosecurity）。不是将安全作为一个功能，而是将安全作为架构。不是在门上加一把锁，而是门后根本不存在武器。
