AI摄像机整场比赛都在追一个光头：再多训练数据也救不了它
2020年10月，在一场苏格兰足球比赛中，一台自动摄像机整场比赛都在追踪一名巡边员的光头，而不是足球。这段视频疯传开来。大多数人把它当成一个可爱的小故障一笑而过。而我反复循环观看它，却是出于另一个原因：这套系统并没有出故障。它做的恰恰正是我们造它去做的事。
那段视频是再清楚不过的例证，说明为什么物理约束的计算机视觉才是让视觉系统在生产环境中真正值得信赖的唯一途径——也说明了为什么往这个问题上堆更多训练数据（这正是我最先尝试的做法）根本无法解决它。
在体育场泛光灯下，光头会产生镜面高光——明亮、圆形、白色的反光——其像素梯度在统计上与足球难以区分。这台检测器是YOLO家族的一个标准CNN，它单独处理每一帧，对头部上的“球”给出了98%的置信度。而真正的球在阴影中高速掠过、被拖影模糊，只得到80%。系统跟随了较高的那个数字。这不是bug。这是模型相信了自己的眼睛。
检测器寻找的是模式。它根本不知道，一个恒定悬在离地1.7米处、连着一根竖直圆柱、沿着边线行走的“球”，在物理上是不可能存在的。
解决办法不是更好的数据集。解决办法是物理。
光头问题无处不在——只是它并不总会疯传
我花了多年时间，在两个看似毫不相干的世界里交付视觉流水线：追踪足球的体育场吊架，以及检查硅片的晶圆厂产线。它们患着同一种病。模型看到一个自己认得的形状便把它报出来，却没有任何机制去追问它所报告的东西能否存在于物理世界之中。
在半导体检测中，症状不是光头——而是滋扰缺陷（nuisance defect）。KLA占据了约63%的过程控制市场，其2900系列宽带工具能够分辨小至10纳米的特征。检测灵敏度并不是瓶颈。瓶颈在于，一次宽带扫描每片晶圆就会标出成千上万个异常，而其中大多数是永远不会影响良率的灰尘、表面伪影或图形噪声。每一个异常仍然必须由一个在历史缺陷库上训练出来的深度学习模型来分类。
而那个模型所缺少的正是：对光如何在物理上分别与凹坑、污渍以及工艺残留发生相互作用的任何理解。因此，当一座晶圆厂切换到新的工艺节点——比如2nm的全环绕栅极（gate-all-around）——训练库一夜之间就会过时，滋扰率随之飙升。而出错的代价并不抽象。在先进节点上，1%的良率损失就意味着数百万美元，因为单片晶圆就可能价值数万美元。
制造车间患着同样的病，只是表现得更安静、更棘手。在一条运行AI质量控制的生产线上，你几乎从不会实时知道模型什么时候出了错，因为摄像机旁边并没有摆着真值标签。维护之后光照角度偏移了。镜头在几周内蒙上了一层雾。夹具磨损了。误拒上升，你就陷入返工循环；或者误收悄悄渗入，你就出现漏检——而你只有在一次质量漏检迫使你启动围堵、隔离、全面复检时，才会发现到底是哪一种。
模型并没有大声地失败。它在沉默中漂移，而第一声警报是一次客户退货。
这种沉默代价高昂。对一家普通制造商而言，低劣质量的成本约占总销售额的20%。在规划阶段发现的缺陷成本约为100美元；同一个缺陷若在生产阶段才发现则要花费10,000美元。英特尔曾报告称，仅靠AI检测避免报废，每年就能节省约200万美元。这种上行收益是实实在在的——而这恰恰正是沉默漂移这种失效模式如此具有腐蚀性的原因。它在不告诉你的情况下把这份收益吃掉了。
而过度矫正的代价与漂移一样高。我曾亲眼看到一台价值数百万美元的自动光学检测设备被悄悄关停，因为它的调校过于激进，剔除良品的速度快过它抓住次品的速度——它通不过Knapp测试，这项标准考察的是你的检测是否真的能把缺陷与可接受的波动区分开来。一套在纸面上守护良率、在实践中却摧毁良率的系统，比没有系统更糟，因为有人为它付了钱，而现在有人开始不信任它所经手的每一个自动化决策。
为什么更多训练数据解决不了这个问题？
当我的团队第一次撞上这堵墙时，我对答案确信无疑，而我错了。
计算机视觉领域的正统观念认为，边缘情况是一个数据问题。你的模型在古怪的东西上出错，是因为它见过的古怪东西还不够多，于是你就去收集更多。我曾相信这一点。我支持它。我们构建了一个大得多、也多样得多的数据集——不同的光照、不同的角度、更多容易混淆的情形——然后重新训练。模型在验证集上的数字漂亮极了。我记得当时觉得我们已经把差距补上了。
然后我们把它放到一条真实的产线上，一组维护人员调整了一盏灯具，废品箱便开始装满良品。
在我们那个华丽的数据集里，没有任何东西覆盖到那个确切的新光照几何，因为在我们采集数据时那种几何根本还不存在。我们本可以去把那个也采集下来——然后再去追下一次偏移、下一次镜头起雾，永无止境。就在那一刻，那句一直萦绕在我心头的话终于落地了：边缘情况并不是问题的5%。它们是80%的工程时间、90%的支持成本，以及100%的责任风险。你无法靠穷举走出一个无限的集合。
我手下的一位工程师想继续收紧——把置信度阈值调高，直到误报消失。这在幻灯片上行得通。但在实践中，往零误报的方向推进只不过是用误报换来了漏报：现在你漏掉的是真正的缺陷、真正的威胁、你当初部署这套系统正是要抓住的东西。争论了足够多次之后，我不得不把话说出来：我们所知道该怎么拧的每一个旋钮，都只是把失效搬来搬去的办法，而不是把它消除的办法。
这并不是一种小众的经历。大约95%的计算机视觉项目从未走到生产环节，而原因几乎从来都不是算法——正是这种落地实施上的崩溃，是一个在实验室里能用的模型与一个能在车间里活下来的模型之间的鸿沟。麻省理工学院的研究发现，95%的企业AI试点项目在六个月内未能带来可衡量的投资回报。我们当时即将成为那份统计数字里的一行条目。
物理约束到底做了什么
转折点很小，事后回想起来几乎有些令人难为情。
我们没有要求检测器变得更加确定，而是在它的输出前面放了一道闸门，去问一个物理问题：这个东西真能像你说的那样移动吗？一条违背具有质量和动量的物体运动学规律的轨迹——一次在两帧之间跳过任何球都不可能覆盖的距离的检测——会在它被采信之前就被拒绝。我们并没有动检测器。误报率却照样下降了。
这就是全部的思路，而且它可以推广。一个被追踪的物体无法在帧与帧之间瞬移。一个真实的缺陷具有视差——当视点改变时，它会相对背景发生位移，而影子永远不会这样。影子没有深度。这些都是物理世界免费遵循的约束，而且当你的光照变化时，它们并不会随之移动。一个正确制造出来的零件，其物理属性不会因为夹具磨损或灯被碰动而改变。这就使物理成为一套系统中唯一稳定的锚点，而在这套系统里，一切数据驱动的东西都在漂移。
调高置信度阈值是在要求模型把牌吹得更狠。而一条物理约束只是拒绝相信不可能的事。
所以我们现在要问的问题，不再是“与训练图像相比，这个看起来像不像一个良品？”，而是“这张图像是否与真实物体已知的几何形状和材料行为相一致？”这两个是截然不同的问题，而只有第二个问题能挺过一次工艺节点切换，或者一个周二下午的维护窗口。
为此已经有一套成熟的工具箱，而老实说，它大部分都活在研究论文里，而不是已上市的产品里。物理可以通过三种方式被烘焙进视觉系统：进入网络架构本身，作为训练期间基于物理的惩罚项进入损失函数，或者通过物理精确的渲染进入合成数据的生成。而症结所在——正是它让这一切进不了生产——在于物理通常止步于训练阶段。被部署的模型，在真正要紧的推理时刻，仍然是一个纯粹数据驱动的黑箱。
我们所依靠的工作，在推理阶段弥合了那道鸿沟。现代追踪把一个经典的卡尔曼滤波器——一种已有数十年历史、在给定运动定律的情况下估计运动物体下一刻位置的方法——与深度学习配对使用，而不是二者择一。像KalmanNet这样的方法，用一个神经网络来辅助滤波器处理那些并非完全已知的动力学。一套名为Phys-3D的2026年系统，通过针孔相机几何强制实现物理上合理的三维运动，并报告即便在密集遮挡和相机抖动之下，计数误差仍为2.97%。PhyOT则更进一步，把神经网络本身当作一个传感器，给一套受牛顿定律支配的卡尔曼系统提供输入。它们共同的主线是：网络提议，物理裁决。我们所构建的物理约束视觉系统，正是把恰恰这样一层约束层放进推理路径——卡尔曼滤波、光流闸门，以及物理信息（physics-informed）架构——从而让对不可能之事的拒绝实时发生，而不是发生在一个训练笔记本里。
为什么那些大厂商不干脆这么做？
人们不断问我这个问题，通常还带着一丝怀疑——如果物理约束显然如此正确，那为什么鹰眼（Hawk-Eye）或KLA不把它们作为默认配置推出呢？答案是，这些领先者确实有一些物理，只不过几乎总是用在了错误的地方，而其中的缺口很能说明问题。
Pixellot在光头时代之后，加入了多假设追踪，大体上消除了那一类特定的错误——但他们的物理是事后的轨迹平滑，而不是一层约束，因此新的失效模式（运动模糊下的球衣号码OCR、在非平整球场上的越位投影）不断冒出来。而这并非道听途说：在SoccerNet这个最大的公开体育追踪基准上，多目标追踪在快速运动和严重遮挡上仍被测量为远未解决，而且至今还没有任何具备物理意识的追踪器被集成进去。那片空白正是全部的机会所在。归索尼所有的鹰眼，拥有真正强大的几何约束——它从六到八台经过标定的4K和8K相机进行三角测量，追踪每名球员身上的29个骨骼点，其精度之高足以让NFL用它来测量首攻距离（first-down）。但那种严谨每个场馆要花费一百多万美元，还需要专用的基础设施。它不是一层你能加到现有流水线上的东西；它是一次体育场的改造工程。
在工业这一侧，同样的模式再度上演。KLA的缺陷物理模型是真实存在的，但被烘焙到了特定的工艺节点上，这正是为什么节点切换会让滋扰率飙升的原因——而KLA自己在下一代检测上投入的23亿美元，正泄露出他们知道这道缺口的存在。Cognex的ViDi深度学习工具十分出色，仅用5–10张图像就能训练，把配置时间削减了90%——但推理时没有物理，因此它们和任何人一样暴露在沉默漂移之下。而NVIDIA的Metropolis和Omniverse生态系统能模拟出华丽的物理——用于生成合成训练数据。物理止步于训练；被部署的模型仍然是数据驱动的。
纵观整个领域，“物理集成”这一栏要么是空的，要么指向训练。被部署的模型——那个实时做出判断的模型——仍然在凭像素猜测。
这正是我们切入的那道缺口。不是一个平台，也不是一次体育场改造——而是一层物理约束，它坐落在你现有的流水线里，在不可能之事变得昂贵之前就把它拒绝掉。无论你是在球场上空运行自动摄像机、在10nm检查晶圆，还是在产线上分类缺陷，当光照移动时这层约束依然成立，因为光照恰恰是物理所不依赖的东西。
关于“零误报”，没有人愿意听的那部分
每一位买家最终都会向我要求零误报。我理解这种本能，而每一次我都告诉他们同样的话：它在技术上是可以做到的，而它很可能会害了你。
把一套系统推向零误报，必然会抬高漏报——那个被漏掉的真实缺陷，那个溜过去的威胁。目标从来都不是让某一类错误归零；而是针对你的应用所面临的具体利害，找到恰当的平衡。物理约束给你的，是一个更好的权衡前沿，让你在它上面去取得平衡。传统的误报削减——阈值调校、校准，以及研究显示能将误报削减22%到87%不等的自编码器——全都作用于模型的置信度。物理作用于现实。它拒绝物理上不可能的检测，却不会让模型对真正模棱两可的情形变得更加畏缩。你得到的误报更少，而且你也不必以漏掉的缺陷作为代价去偿付它，因为你移除的是一整类错误，而不是把它拿去交换。
这里还有一股监管的顺风，而且它并不是人们所预期的那一股。欧盟《人工智能法案》（EU AI Act）的主要条款将于2026年8月2日生效，而尽管大多数工业检测并不被归类为高风险的生物特征监控，该法案关于文档记录与透明度的要求，正广泛地推动着行业走向那些其决策你能够解释的系统。一个说“球，98%”的数据驱动黑箱无法告诉你为什么。而一套因为某个检测违反了视差就把它拒绝掉的系统，却可以。可证伪性如今已不只是好的工程实践了；它正在成为一种合规姿态。
我现在的信念
我最初投身于此时，深信计算机视觉是一个数据问题，深信拥有最大、最干净数据集的团队将会胜出。我交付了一个模型，它在一处工厂车间、在那些产量依赖于它的人面前，证明了我是错的。
我现在的信念更狭窄，也更牢固。一个只知道事物长什么样的视觉模型，永远都只差一次光照变化、一个工艺节点、一位光头巡边员，就会满怀自信地告诉你某件不可能的事。能在生产中存活下来的系统，正是那些同时还知道物理世界允许什么的系统——并且在行动之前，会拿每一个检测去对照它加以核查。
市场即将在大规模上以惨痛的方式学到这一点。计算机视觉在2026年是一个330亿美元的市场，以每年近20%的速度增长，具备代理能力的视觉系统正开始凭自身的权限触发现实世界中的行动，而它们越是自主，一个自信满满的不可能答案就越是让人无法容忍。你可以永远地不断收集边缘情况的影像，去追逐下一次光照变化、下一次节点切换。又或者，你可以把那唯一一套永不漂移的规则教给模型。如果你想看看我们是如何把这样一层约束构建进一条生产流水线的，那这里就是我会建议你起步的地方。
球无法瞬移。去构建一套懂得这一点的系统。