自动驾驶汽车在撞击前 5.6 秒就看见了她——却始终判断不出她是什么
2023 年末，我坐在一间会议室里，看着一段将永远改变我对 AI 安全看法的视频。画面来自旧金山的一辆 Cruise 无人驾驶出租车。一名行人被一辆人类驾驶的汽车撞倒，抛向这辆自动驾驶车辆的行进路径，并被压在了车底。这辆机器人出租车停了下来——只停了很短的时间——随后开始向路边靠边停车，把那名女子在柏油路面上拖行了 20 英尺。
会议室里一片沉默。团队里有人说：“这辆车以为自己发生了侧面碰撞。”而这句话——这辆车以为——成了我们此后在 Veriprajna 所构建的一切的种子。
因为这辆车并没有“以为”任何事。它运行了一个分类子程序，得到了错误的答案，然后执行了一套预先编好的动作，把一场本可幸存的事故变成了远为惨烈的结局。这里没有推理，没有意识，也没有任何一层安全架构能够在灾难性的误诊酿成灾难之前把它拦下来。
这正是我不断试图向投资人、客户和同行工程师解释的那道鸿沟：一种在演示中表现出色的 AI，与一种在世界不再配合时仍能安全行事的 AI，两者之间的距离。我开始把它称为“感知-逻辑鸿沟”——自动驾驶系统所看到的东西与它真正理解的东西之间的空隙。而此刻，这道鸿沟正在害死人。
当 AI 拥有近六秒时间却依然失败时，究竟发生了什么？
2018 年 3 月发生在亚利桑那州坦佩市的 Uber ATG 撞车事故，是我最常回头审视的案例，因为它最纯粹地展示了一个概率性系统如何在掌握全部所需数据的情况下，仍然犯下致命错误。
车辆的传感器首次探测到伊莱恩·赫尔茨贝格（Elaine Herzberg）——一名推着自行车横穿黑暗道路的行人——是在撞击前约 5.6 秒。以 43 英里/小时的速度计算，这大约是 378 英尺的距离。对任何称职的制动系统来说，这都绰绰有余。
但这个 AI 无法判定自己看到的是什么。在那 5.6 秒里，感知系统一次次重新分类赫尔茨贝格：先是“未知物体”，然后是“车辆”，接着是“自行车”。每一次重新分类都不只是换个标签——而是把该物体的预测轨迹彻底重置。这个系统实际上每改变一次主意，就失忆一次。
我记得第一次读 NTSB 报告时，身体上都感到不适。不是因为结果——尽管那令人心碎——而是因为其中的机理。这个 AI 直到撞击前 1.3 秒才判定必须紧急制动。剩下的部分，物理定律早已注定。
一个能够看到障碍物近六秒却仍然判断不出那是什么的 AI，问题不在传感器。它的问题在架构。
更糟的是——老实说，真正让我愤怒的是——我后来得知，Uber 曾刻意关闭了沃尔沃 XC90 出厂预装的碰撞规避系统。这辆车原本自带制造商提供的自动紧急制动功能。Uber 把它关掉，是为了避免他们所谓的“车辆行为不稳定”。他们想让自己的实验性软件跑出更平顺的乘坐体验，于是拆掉了那唯一一层确定性的安全防线——那层本可能救下一条人命的防线。
这个决定至今仍是这个行业挥之不去的阴影。它是把 AI 安全当作调参问题、而非工程学科的原罪。
为什么同样的失败会在不同的车上反复上演？
Uber 事故之后，我期待这个行业能从中学到东西。具体来说，我期待各家公司会构建这样一种架构：感知失效不会级联成决策失效；存在任何实验性软件都无法逾越的硬性安全边界。
结果，我们等来的是 Cruise。
2023 年 10 月发生在旧金山的这起事故，细节上与 Uber 不同，架构上却如出一辙。一辆由人驾驶的日产汽车撞上一名行人，将她抛向一辆 Cruise 机器人出租车的行进路径。这辆 Cruise 车辆撞到了她，然后停了下来。到这里为止，系统还算是在工作——并不完美，但仍在设计参数之内。
接着，撞击后的处理逻辑开始接管。系统的撞击检测粒度不足以区分正面碾压与侧面碰撞。它把这次事件归类为侧面撞击。而针对侧面撞击的预设响应是：靠边停车，以免阻碍交通。
于是这辆车靠边停了。车底下还压着一个人。它以约 7 英里/小时的速度把她拖行了 20 英尺，之后才检测到“车轮过度打滑”——而它把这解读为机械故障，而不是一个人。
那起事故之后，我花了一周时间和团队争论：正确的响应架构究竟该是什么样。我们的一位工程师——非常聪明，极度偏爱形式化方法——坚持认为这个问题靠更好的传感器融合就能解决。“如果系统在底盘下方装有占据检测”，他说，“它就会知道。”
他说得没错。但他也没抓住要点。更深层的失败在于，这个系统根本没有对自身诊断的不确定性这一概念。它对撞击做了分类，然后就以十足的信心依据这个分类采取行动。它没有一种中间状态：“我不确定刚才发生了什么，所以在弄清楚之前我什么都不该做。”这个架构不给怀疑留位置。
这就是我谈到“感知-逻辑鸿沟”时的意思。它不只是关于看得更清楚，而是关于知道自己何时并不知道。
掩盖真相本身也是架构的一部分
Cruise 拖行事故之后发生的事，几乎和事故本身一样具有揭示性。调查发现，高层管理者“一门心思纠正媒体的不实叙事”，而不是对监管机构保持透明。有员工承认，他们在向监管机构播放事故视频时，明知网络连接问题常常导致拖行那一段无法播出。
Cruise 最终因向 NHTSA 提交虚假报告而缴纳了 50 万美元的刑事罚款。其加州运营牌照被吊销。
我提起这件事，并不是要落井下石地围攻 Cruise，而是因为它揭示了这个行业对待安全的某种结构性问题。当你的 AI 系统是一个黑箱——当连你自己的工程师都无法完整解释它为何在某个特定时刻做出某个特定决策时——控制叙事、而不是修复架构的诱惑就变得难以抗拒。
对自动驾驶车辆而言，透明不是一种公关策略，而是一项技术要求。如果你无法审计你的 AI 在危机中做出的每一个决策，那你拥有的就不是一套安全系统——而是一份责任负债。
在 Veriprajna，我们已经把可解释的安全审计做成了架构工作的核心组成部分。AI 做出的每一个决策——尤其是撞击之后的决策——都会以确定性的、防篡改的格式记录下来，供监管机构实时审计。这并不是因为我们比 Cruise 更有德行——而是因为我们见识过，当替代方案是“让视频自己说话”时，会发生什么。
我在我们的交互式白皮书中完整写下了这一方法背后的技术框架，包括我们从 Uber、Cruise、Tesla 和 Waymo 案例中编目的具体失效模式。
Tesla 的“纯视觉”豪赌，对安全究竟意味着什么？
Tesla 的自动驾驶路线在哲学上与 Uber 或 Cruise 不同，其失败方式也不同。但它们踩着同样的韵脚。
Tesla 的完全自动驾驶（Full Self-Driving）系统完全依赖摄像头——没有 LiDAR，没有雷达。埃隆·马斯克曾把 LiDAR 称为“拐杖”。这场豪赌押的是：足够先进的神经网络能够仅凭 2D 图像重建对世界的完整 3D 理解，就像人类视觉那样。
这是个优雅的想法。我甚至觉得它在智识上很有说服力。但在 2024 至 2025 年间，NHTSA 已就 FSD 相关撞车事故立案调查逾 40 起，覆盖 290 万辆汽车，而其中的模式令人无从辩解。
有 18 起独立投诉涉及车辆闯红灯或未能识别信号灯状态。多份报告描述了车辆驶入对向车道。2023 年的一起致命碰撞发生在湿滑柏油路面上的阳光眩光条件下——在这种条件下，光学信噪比会跌破任何摄像头系统所能可靠解读的下限。
我把这称为“能力剧场”：系统在理想条件下表现得漂亮无比，营造出一种能力的幻觉，而这种幻觉在边缘处轰然崩塌。晴天、路面清晰、标准路口？完美无缺。低角度阳光、湿滑路面、不寻常的行人穿行？系统不会优雅地降级，而是骤然失效。
问题并不在于纯视觉方案在理论上不可能奏效，而在于 Tesla 正在大规模部署它，却没有我所说的“保证闸门”——一种硬性边界，使 AI 在置信度跌破经过验证的阈值时，无法再做出高风险决策。如果眩光饱和度超过某个百分比，系统就应当拒绝继续驾驶，而不是更用力地猜。
你如何证明一个 AI 不会杀人？
这个问题让我夜不能寐。不是比喻——是字面意义上的。去年有一段时间，我常常做形式化验证实验做到凌晨两点，试图找到“测试得够多”与“已被证明安全”之间的那条界线。
传统的软件测试是黑盒式的：你让系统跑过 N 个场景，如果全部通过，就发布上线。但自动驾驶车辆遇到的并不是 N 个场景。它们面对的是整个物理世界，连同它全部的混乱、边缘情况，以及做出无法解释之举的人类。再多的场景测试也覆盖不了那片空间。
形式化验证走的是另一条路。它问的不是“系统通过这些测试了吗？”，而是“是否存在任何一个输入，可能产生不安全的输出？”像 Marabou 和 α,β-CROWN 这样的工具，能把一个神经网络表示为一组数学约束，然后穷尽式地搜索违反约束的情形。
一条安全性质可能长这样：对于“低能见度”范围内的每一个可能输入，制动指令都绝不能低于某个最小阈值。如果求解器找到了一个反例——一个违反该性质的具体输入——那么你就在它害死人之前发现了一处漏洞。
有一天晚上，我们正在对一个感知模型做验证，求解器返回了一个我们谁都没有预料到的反例。那是光照角度与物体距离的一种非常特定的组合，会让制动置信度跌到近乎为零。那不是我们中任何人会想到去测试的场景。求解器之所以能找到它，是因为它不是在猜——它是在证明。
那一刻，有些东西在我心里凝结成形。测试问的是“这个能用吗？”验证问的是“这个会失效吗？”这是两个根本不同的问题，而安全攸关的 AI 要求的是第二个。
测试告诉你 AI 会做什么。验证告诉你它永远不会做什么。对安全攸关的系统而言，只有第二个问题才重要。
麻烦在于，当前的神经网络体量巨大——数以百万计的参数——对大型网络做穷尽式验证在计算上是不可行的。我们通过神经元剪枝来应对这一点：系统性地移除那些对准确率毫无贡献、却让网络复杂到无法验证的冗余神经元。结果是一个更精简的模型，既有性能，又可在数学上被证明。
关于我们验证流水线的完整技术拆解——包括 SMT 求解器方法论与剪枝方案——请参阅我们的详细研究论文。
当问题不出在 AI，而出在这个世界
Waymo 已累计行驶超过 5600 万英里，其伤害事故率显著低于人类驾驶员。以大多数指标衡量，他们都是行业领先者。然而，Waymo 也暴露出一种自动驾驶行业中无人预料到的失效模式：世界本身拒绝配合。
在 2025 年洛杉矶的一次停电中，数十辆 Waymo 机器人出租车被困在漆黑的路口。这些车辆被编程为把失效的交通信号灯当作四向停车标志处理——这在法律上是正确的响应。但当数十辆自动驾驶车辆同时抵达同一个失效路口，各自礼貌地等待轮到自己，又各自同时请求远程人工协助时，你就会得到我开始称之为“独立性陷阱”的东西：每一辆车在孤立状态下都表现正确，却共同制造出任何单辆车都无法化解的僵局。
远程协助中心不堪重负。机器人出租车堵住了别的机器人出租车。那个在一辆车、一个路口时运转完美的系统，在扩展到全城紧急状况下的整个车队时崩溃了。
还有一个没人愿意公开谈论的问题。2025 年初洛杉矶发生社会动荡期间，人群攻击了 Waymo 车辆——划破轮胎、砸碎车窗、纵火焚车。这些被编程为“被动安全”的车辆，在被人群包围时只是停了下来。而当包围你的人正试图连同车内乘客一起摧毁这辆车时，这恰恰是最错误的响应。
这引出了一些严肃的讨论，一些研究者称之为“危险逃离模式”——即让自动驾驶车辆能够为保护乘客免受暴力伤害而实施轻微交通违法（骑上路缘、闯过红灯）。这需要从根本上重新思考 AI 的伦理层级，而这是再好的传感器、再快的处理器都解决不了的问题。
我在与一位潜在客户的会议上提到这一点，有人说：“这类边缘情况，你们直接用 GPT 处理不就行了？”我想我的表情比我的话说得更多。这是一个决策架构问题，需要的是形式化的伦理推理，而不是一个聊天机器人。
为什么我们无法靠测试通往安全？
人们不断问我这个问题。“如果 Waymo 有 5600 万英里的数据，难道测试还不够多吗？”
不够。而理由是数学上的，不是哲学上的。
可能出现的驾驶场景，其空间实际上是无限的。你可以开满 5,600 万英里，却从未遇到那个由阳光眩光、湿滑柏油路面和一位穿着不寻常的行人组合而成、恰好让你的感知系统失效的情形。边缘情况不是常见场景的稀有版本——它们是存在于你已见过的一切之间缝隙里的场景。
这正是监管格局正从“拿出你的测试结果”转向“拿出你的安全证明”的原因。ISO 21448，即人们熟知的 SOTIF——预期功能安全——正是为应对这样一类危害而设计的：AI 完全按照编程的方式运行，却遇上了它无法应付的环境。问题不在硬件失效，而在 AI 固有的局限撞上了真实世界。
而在 2024 年末成为道路车辆 AI 首要标准的 ISO/PAS 8800 走得更远：它要求对整个 AI 生命周期进行管理，从数据采集一直到部署后的监控。“先发布，再看会发生什么”的时代正在终结——至少对那些想在欧盟、美国和主要亚洲市场合法运营的公司来说是如此。
在 Veriprajna，我们围绕一个目标来组织工作：把客户推进 SOTIF 所称的“已知/安全”象限——系统性地识别触发条件，绘制会引发感知错误的环境状态，并利用高保真仿真注入那些在真实道路上测试会过于危险的边缘情况。
套壳产品与真正解决方案之间的实际差别
过去这几年，我一直看着 AI 行业分裂为两大阵营，而这道裂缝正在越拉越宽。
一边是套壳经济——一些公司在大语言模型之上构建对话式界面，以部署速度和用户体验为优化目标。这类工作中有一部分确实有用。但其中绝大多数与安全攸关的应用毫不相干。
另一边则是我所说的深度 AI 工程：形式化验证、传感器融合韧性与确定性安全架构的集成。它更慢。更难。在演示中也没那么惊艳。而它是唯一一种能在与物理世界的接触中存活下来的路径。
这一转向的技术核心，是结合占据网络（Occupancy Networks）的鸟瞰视角（BEV）感知。与其分别处理各路摄像头画面再试图把它们拼接起来——这个过程会在每一道接缝处损失数据——BEV 感知把多视角摄像头与 LiDAR 数据转换成一个自上而下俯视的统一 3D 栅格。而占据网络问的不是“这个物体是什么？”，而是“这块空间被占据了吗？”
这个区别至关重要。如果 Uber ATG 系统追踪的是被占据的空间，而不是试图对物体做分类，那么系统认为赫尔茨贝格是行人、是自行车还是未知物体，就根本无关紧要了。那块空间被占据了。那块空间就在车辆的行进路径上。刹车。
同样地，如果那辆 Cruise 车辆在底盘下方运行着占据检测，那么无论它把这次撞击归为哪一类，它都会知道车底下有东西。被占据的空间会压过靠边停车的动作指令。
问题不是“这个物体是什么？”——而是“这块空间被占据了吗？”仅仅这一次重新框定，本可以避免过去十年里最臭名昭著的两起自动驾驶灾难。
我们使用 Transformer 架构——与 GPT 背后的基础技术相同——但不是用来对话。我们把它们当作空间推理引擎，将异构的传感器数据融合成我们所称的“共享画布”。时间维度上的自注意力让系统即便在目标被暂时遮挡时也能记住它曾在哪里——一名走到停靠卡车后面的行人，不会仅仅因为摄像头有两秒钟看不见她，就从模型的感知中消失。
那堂 850 万美元的课
Uber ATG 的和解金额是 850 万美元。Cruise 的刑事罚款是 50 万美元——这个数字远不足以涵盖运营停摆、声誉损害或人类的苦难。NHTSA 对 Tesla 的调查覆盖 290 万辆汽车。而如今，单次数据泄露的全球平均成本已达 444 万美元。
当我把这些数字加起来，得出的结论对“快速行动，打破常规”那群人来说并不好受：廉价的 AI 套壳，是企业能犯下的最昂贵的错误。不是因为它不管用——在受控环境里它运转得挺好。而是因为，一旦它遭遇不受控的世界——漆黑的道路、撞击后的混乱、湿滑柏油路上的阳光眩光、愤怒的人群——缺失确定性安全架构就会把一处软件局限，变成一场人的灾难。
有人会反驳我们的做法，说形式化验证太慢、太贵、太学院派，跟不上真实世界的部署节奏。我理解这种异议。验证在计算上确实昂贵。为可验证性而剪枝网络确实费时。构建带有硬性保证闸门的安全架构，确实比包一层 API 要费事得多。
但我想请这些人去看看那段 Cruise 拖行的视频。去读一读关于伊莱恩·赫尔茨贝格之死的 NTSB 报告。去看一看 Tesla FSD 调查中的那 18 起闯红灯投诉。然后再来告诉我，对一种正是为防止这些结果而设计的方法来说，“太慢”是不是一条站得住脚的批评。
把自动驾驶系统建立在概率性希望之上的时代正在终结。不是因为监管机构在逼迫——尽管他们确实在逼——而是因为真实世界的物理定律要求如此。一个完美通过一千个路口、却在第一千零一个路口闯了红灯的 AI 系统，并不是 99.9% 安全。它就是不安全，句号。安全不是一个百分比。它是一种性质——要么在所有经过验证的条件下都成立，要么根本就不成立。
这就是我围绕它来打造 Veriprajna 的那场转变。不是更好的套壳。不是更快的演示。而是为那些“失败不是一份缺陷报告——而是一份伤亡名单”的系统，提供确定性的保证。