自动驾驶AI为何失灵——以及这对您意味着什么

问题所在

Uber的自动驾驶AI在碰撞发生前5.6秒就发现了一名行人。这本该绰绰有余。当时车速为43英里/小时，距离约378英尺。但系统没有刹车，而是不断改变主意。它先把这个行人识别为“未知物体”，接着是“车辆”，再是“自行车”——在那关键的几秒里对她重新分类了六次。每一次重新分类都会重置她的预测路径。AI无法判断她是什么，也就无法判断她要去哪里。

等到系统决定需要刹车时，只剩1.3秒。物理定律让碰撞不可避免。2018年3月，Elaine Herzberg在亚利桑那州坦佩市的一条街道上丧生。

更糟糕的是：Uber故意关闭了这辆沃尔沃原厂自带的碰撞避免系统。团队想为他们的实验性软件换取“更平顺的驾乘体验”。他们用未经验证的代码替换了一套久经验证的安全层。如果您的组织在任何物理或安全关键环境中部署AI，这个案例应该让您彻夜难眠。它揭示了当一个基于概率的系统被托付生死攸关的决策、而安全网又被一一拆除时，会发生什么。

这对您的企业为何重要

这不只是自动驾驶汽车的问题。每当组织在没有经过验证的安全架构的情况下把AI推向高风险决策时，这一模式就会重演。财务和监管后果极其惨烈：

• Uber支付了850万美元了结2018年的致死案。这一数字仅涵盖法律责任——不包括声誉损失、不包括合作关系的丧失、也不包括运营停摆的成本。
• GM Cruise被处以50万美元刑事罚款，此前其机器人出租车在旧金山将一名行人拖行了20英尺。美国司法部查明该公司向联邦调查人员提交了虚假报告。加州彻底吊销了其运营许可。
• 截至2025年，Tesla面临覆盖290万辆汽车的NHTSA调查。超过40项独立的撞车调查指向其Full Self-Driving系统。有18起投诉描述车辆闯红灯。
• **如今，全球单次数据泄露的平均成本为444万美元。**一起自动驾驶致死事故会把法律责任推高至数千万美元的法律与运营损害赔偿。

您的董事会问的已经不是您是否在使用AI，而是您的AI能否被审计、解释并在法庭上为之辩护。监管机构正从自愿自我评估转向ISO/PAS 8800和《欧盟人工智能法案》等标准的强制合规。如果您的AI系统无法生成清晰的决策轨迹，您就在法律、财务和运营上暴露于风险之中。部署一层快速却未经验证的AI所省下的每一美元，都会在下游以风险敞口的形式成倍放大。

引擎盖下究竟发生了什么

这些事故的核心故障是工程师所说的“分类振荡”——您可以这样理解：想象一名保安看着一个人朝您的大楼走来，却无法判断对方是员工、送货司机还是陌生人。每一秒，保安都从头开始一次全新的猜测。他从不基于之前看到的信息，也从不追踪这个人的路径。等他决定采取行动时，已经太晚了。

Uber的AI正是如此。它几乎相互独立地处理每一个瞬间。它没有“物体恒存性”——没有任何持久的记忆告诉它：“不管这是什么，它已经朝我们移动了五秒钟。”

2023年的Cruise事故展示了同一缺陷的另一种表现。在这辆机器人出租车撞上一名被甩入其路径的行人后，系统无法识别有人被压在车底。它把这次碰撞归类为“侧面撞击”而非正面碾压，于是触发了一个预设的靠边停车动作。车辆以约7英里/小时的速度将被害者拖行了20英尺才停下来——不是因为它检测到了人，而是因为它记录到“车轮过度打滑”，并将其当作机械故障处理。

Tesla的纯视觉方案又叠加了另一层问题。由于没有LiDAR或雷达，它完全依赖摄像头。在湿滑沥青路面上的阳光眩光或大雾等条件下，光学信号会退化到低于安全行驶所需的水平。2023年的一起致命事故恰好发生在这样的条件下。系统根本看不见。

这些都不是随机的漏洞。它们是架构层面的弱点——用概率而非证明来构建安全关键系统的可预见后果。

什么有效（什么无效）

三种一再失效的常见做法：

• **“更多的测试就能解决问题。”*传统的黑盒测试检验系统是否能通过N*个场景。但你不可能在每条道路、每种天气条件下测试每一个边缘案例。测试告诉你发生了什么；它并不能证明将会发生什么。
• **“纯视觉就足够了。”**Tesla的方案完全跳过LiDAR和雷达。NHTSA收到的18起以上关于闯红灯和逆行的投诉表明，仅依赖摄像头有其局限——尤其是在低能见度条件下。
• **“人类备份会兜住错误。”**Uber的安全员在系统夺走Elaine Herzberg生命时正监控着系统。研究称之为“自动化自满”——人们信任机器，于是停止专注。您的人类兜底会随时间推移而逐渐失效。

真正有效的，是一个建立在验证而非侥幸之上的三步架构：

**1. 统一3D感知（输入）：*系统不再分别处理每一路摄像头画面，而是把所有传感器数据——摄像头、LiDAR、雷达——转换成一张称为鸟瞰图（BEV）的自上而下的统一3D地图。占据网络（Occupancy Networks）——预测空间中每个小立方体是否被占用的模型——追踪的是体积*，而不是标签。即使AI无法判断一个物体是行人还是自行车，它也知道该空间被占用且有东西在移动。这直接防止了夺走Elaine Herzberg生命的那种分类翻转。

**2. 形式化验证（处理）：**被称为SMT求解器的工具——能够测试神经网络所有可能输入的数学引擎——可以证明是否存在任何会导致不安全输出的输入。例如：“在雾天条件下的所有输入中，制动指令绝不允许低于最低阈值。”如果求解器发现违规，工程师会在部署之前修复它。这就是所谓的 形式化验证与证明自动化 ——这正是“希望您的AI安全”与“证明它安全”之间的区别。

**3. 确定性安全过滤器（输出）：**运行时监控器会对照一条经过验证的安全基线，检查AI发出的每一条指令。如果AI试图做出非理性的举动——加速驶向被占用的空间、无视红灯——过滤器会立即将其否决。可以把它想象成一个由数学保证的否决权。

对于您的合规与法务团队来说，这套架构能产出一个至关重要的东西：防篡改的审计追踪。AI做出的每一个决策都以确定性格式记录在案。当监管机构问起您的系统为何如此决策时，您可以向他们展示数学证明——而不是一个黑箱。这一点尤为重要，因为 汽车安全标准 正在ISO/PAS 8800和SOTIF（ISO 21448）框架下持续收紧，而这些标准专门针对AI系统按设计正常运行却遭遇意外环境时所带来的危害。

您的组织还应考虑 传感器融合与信号智能 如何融入您更宏观的AI战略。多传感器架构能减少单点故障——而这正是Tesla纯视觉路线所暴露的那个确切弱点。

这些方案背后的完整技术分析收录于 完整版技术白皮书，您还可以 探索交互式版本 ，通过引导式演示深入了解这些失败案例及其解决方案。