算法说他有罪,一位祖父就在监狱里蹲了十天

我当时正和一位潜在客户——一家中型连锁零售商——通话,他们的损失预防副总裁说的一句话让我心头一沉。

"我们正在考察一家人脸识别供应商。他们说他们的系统准确率有98%。我们只需要找个人把它接进来就行。"

我只问了一个问题:"对谁的脸有98%的准确率?"

一片沉默。

那次通话发生在我读完美国联邦贸易委员会(FTC)起诉来德爱(Rite Aid)的诉状——整整54页——几周之后,同时我也读到了61岁的祖父Harvey Eugene Murphy Jr.提起的1000万美元诉讼。他因一起抢劫案在休斯顿的监狱里待了十天,而案发时他正在加利福尼亚州萨克拉门托的家中。是一套人脸识别系统认定了他。系统弄错了。等到终于有人愿意去核实时,Murphy已经在狱中遭到殴打和性侵。

我记得那天晚上坐在办公室里,反复重读Murphy案的细节,感受到一种我在读技术故障报告时通常不会有的情绪:愤怒。不是针对算法——算法没有意图。而是针对那些把它当成条形码扫描器一样部署的人。针对那种让这一切成为必然的架构。

我经营着Veriprajna。我们打造的是我所说的"深度AI"——具备不确定性量化、多智能体治理以及底层严谨工程的系统。与那种害得来德爱被封杀、害得Harvey Murphy被捕的东西恰恰相反。而我必须告诉你,为什么这种差异的重要性,远超这个行业里大多数人愿意承认的程度。

来德爱发生的事不是故障——而是一种设计选择

2023年12月,FTC做了一件前所未有的事:他们禁止来德爱在五年内使用人脸识别技术。不是罚款。不是警告。封杀。

在2012年到2020年间,来德爱在数百家门店部署了基于AI的人脸识别监控。想法很直接——识别有前科的小偷、向保安发出警报、减少盗窃。而执行却是一场灾难。

来德爱从两家第三方供应商那里购买了人脸识别技术。两家供应商的合同都明确声明不对准确性作任何担保。请再读一遍。出售这项技术的公司甚至都不肯保证它能用。而来德爱还是照样部署了——就部署在满是真实顾客的门店里,而一旦被错误识别,后果也是真实的。

来德爱没有人测试过这套系统的准确性。没有人核实供应商是否测试过。没有人实施图像质量控制。门店员工把模糊的闭路电视截图和手机照片录入登记数据库,而系统则尽职尽责地把这些劣质图像与每一张走进门店的脸进行"匹配"。

对任何懂生物识别工程的人来说,结果都是可以预料的;而对不懂的人来说,则是毁灭性的。成千上万次误报。无辜的顾客被跟踪着穿过货架、被搜身、被当众指控盗窃。而接下来这一点,应该让每一位企业领导者都停下来深思:这些错误警报不成比例地针对女性和有色人种。位于以黑人和亚裔为主的社区的门店,其错误匹配远多于以白人为主的社区的门店。

这不是漏洞。这是必然的结果:未经校准的模型在不具代表性的数据集上训练,在没有监控的情况下部署,处理劣质图像,又没有任何称得上人工审核的流程。

为什么一位61岁的祖父会锒铛入狱?

Harvey Murphy的案子更糟,因为其失败的链条更长,人的代价也更为切肤。

2022年1月,有人抢劫了休斯顿的一家Sunglass Hut门店。其母公司依视路陆逊梯卡(EssilorLuxottica)与梅西百货(Macy's)合作,对门店的监控录像运行了人脸识别。系统把模糊的抢劫录像与一个数据库进行匹配,而该数据库显然收录了Murphy因非暴力犯罪而留下的存档照片,那还是几十年前的事了。

我希望你同时记住两个事实。第一:案发当天,Murphy正身处加利福尼亚州萨克拉门托。第二:系统把当前的监控录像与一张数年——可能是数十年——前拍摄的照片进行了匹配。研究表明,把当前图像与陈旧照片进行匹配,误报率可能高达90%。这被称为"年龄差"问题,任何在执法场景中部署人脸识别的人都应该知道这一点。

但这个案子最让我难以释怀的正是这一点。根据诉状,Sunglass Hut和梅西百货向执法部门呈交这个自动匹配结果时,是把它当作一个已核实的事实。不是当作一条线索。不是当作一种可能性。而是当作确定的身份认定。警方停止了调查。他们已经抓到了人。

当一台机器的输出比一个活人的不在场证明更有权威时,我们就越过了一条任何准确率提升都无法弥补的界线。

Murphy被捕了。他告诉他们自己当时不在得克萨斯州。这无济于事。他在监狱里待了十天,地区检察官办公室才确认了他的不在场证明。到那时,伤害已经造成——身体上的、心理上的、永久性的。

我和我的团队花了一个晚上梳理这个案子的技术细节,试图重构这套系统的架构大致是什么样子。低分辨率的输入图像。一张陈旧的图库照片。几乎可以肯定是一个闭集识别模型——那种被优化为总是要找出一个"最佳匹配"的模型,哪怕真正的当事人根本不在数据库里。没有不确定性量化。没有置信度阈值设定。在算法输出与一个人失去自由之间,没有任何有意义的人工审核。

上述每一个失败都是可以避免的。不是靠更好的AI。而是靠更好的架构。

"套壳"问题是什么,你为什么该在意?

接下来我需要稍微讲点技术,因为这两起灾难背后的模式,正是我在一家又一家企业中反复看到的同一种模式。

如今大多数部署AI的公司使用的是业内所谓的"套壳(wrapper)"。所谓套壳,就是一层贴牌的界面——一个仪表盘、一个应用、一个工作流工具——它架设在别人的AI模型之上。你把数据发送给第三方API,它返回一个结果,你再把结果展示给你的用户。套壳公司并不构建这个模型。不训练它。不理解它的失效模式。也不掌控它的更新。

来德爱运行的就是一个套壳。在供应商的黑箱人脸识别API之上,套着一层薄薄的零售安防工作流。当那些API产出垃圾结果时,来德爱无从知晓,无从干预,而且——正如FTC所明确指出的——也无从逃脱责任。

这就是那种能压垮公司的不对称:你为一套你拥有0%可见性的系统,承担了100%的责任。

关于这种架构上的分野,我在我们研究的交互式版本中有过深入的论述,但其核心论点很简单。套壳用在低风险的应用上没有问题。总结会议记录。生成营销文案。在这些场景里,一个错误答案顶多让人恼火,而不至于造成毁灭性后果。

但一旦你的AI系统能让某人被逮捕、被拒贷、被解雇或当众蒙羞——而零售中的人脸识别这几件事全都能做到——那么套壳就是一颗装着倒计时器的责任炸弹。

如何构建一个知道自己何时"不知道"的AI?

有一个瞬间我总是反复想起。当时我们正在为一位客户构建一条身份识别流水线,我的一位工程师把一批测试图像跑过了系统。准确率数字看起来很棒——超过95%。大家都很满意。然后我请她把同一批图像重新跑一遍,这次要把置信度分布显示出来。

屋里安静了下来。

其中相当一部分"正确"的识别结果,其不确定性分布之宽,以至于它们本质上就是恰好猜对了的抛硬币。模型是在自信地猜测,而不是在可靠地识别。如果我们只凭那个准确率分数就把这套系统交付出去,那我们和那些把软件卖给来德爱的供应商就没有任何区别。

这正是当下大多数AI部署方式的核心问题:每一个输出都被当作非此即彼的确定事实,而它其实只是一个概率性的估计。 模型并不会说"这是John Smith"。它说的是"根据我所看到的,这是John Smith的概率为X%,上下浮动Y"。但大多数系统会把"上下浮动Y"那部分丢掉,只给你看那个X。

在Veriprajna,我们会把所谓的不确定性量化(UQ)构建进每一个高风险系统里。有两种不确定性至关重要:

偶然不确定性(Aleatoric uncertainty)源自数据本身的噪声——糟糕的光线、运动模糊、划伤的摄像头镜头。这是无法通过训练消除的。如果图像本身缺失了信息,世界上没有任何模型能够可靠地把它"脑补"回来。

认知不确定性(Epistemic uncertainty)源自模型自身的局限——它没有见过足够多的某个特定人群的样本,或者从未遇到过这种特定的光照条件。这一种可以通过更好的训练数据来降低。

脆弱的系统——套壳——并不区分这两者。一套系统可能报告某次匹配有85%的置信度,听起来挺靠谱。但我们的UQ层可能会揭示,围绕那个85%的不确定性分布大得惊人,这意味着在这样的输入质量下,那个数字在统计上毫无意义。

一套无法告诉你它有多不确定的AI系统,不是工具——而是陷阱。

我们使用诸如保形预测(conformal prediction)之类的技术,来保证系统的不确定性估计落在数学上可证明的边界之内。技术细节在我们的完整研究论文中,但其实际结果就是:在系统采取任何行动之前,它能告诉你它的答案是否可信。如果不可信,它就会上报给人工处理。

无人谈及的开集问题

有一件事,在我和企业采购方交谈时至今仍让我感到意外:他们当中几乎没有人知道闭集识别和开集识别之间的区别。

闭集系统假定被扫描的这个人一定就在数据库里。想想解锁手机——手机知道你的脸已经录入。它只需要核实这是不是你本人。

零售安防系统则恰恰相反。走进门店的绝大多数人都不在任何犯罪数据库里。这是一个开集问题。而灾难性的错配就在于此:大多数商用人脸识别软件都是针对闭集性能优化的,因为在那种场景下基准测试的成绩才好看。

当你在开集环境中部署一个闭集模型时,会发生什么?它会试图为每一张脸都找出一个"最佳匹配",因为它假定匹配项必然存在。这几乎可以肯定就是来德爱那成千上万次误报的成因。系统并没有出故障。它做的恰恰就是它被设计要做的事——只不过是在一个它从未被设计来应对的环境里。

为开集而构建,意味着训练你的模型不仅要识别出匹配项,还要准确地拒绝掉非匹配项。要能像说"我认得这个人"一样精准地说出"我不认识这个人"。这需要不同的损失函数、不同的评估指标,以及一种根本不同的设计理念。

NIST——美国国家标准与技术研究院(National Institute of Standards and Technology)——主办着人脸识别供应商测试(FRVT),这是评估此类系统的全球黄金标准。NIST在固定的错误匹配率下测量错误不匹配率。对于高安全性应用,那个错误匹配阈值被设定为百万分之一。百万分之一。

来德爱从未对照NIST标准做过基准测试。而认定Harvey Murphy的那套系统,显然也没有。

模型吐没:核选项

FTC与来德爱达成的和解中有一个细节,应该让每一家在存疑数据之上构建AI的公司都感到不寒而栗。

来德爱不仅被要求停止使用人脸识别。他们还被勒令删除所收集的全部生物识别数据,并销毁任何由这些数据衍生出来的AI模型或算法。FTC称之为"模型吐没(model disgorgement)"——实质上就是迫使一家公司让其模型"忘掉"它从不合规数据中吸收的一切。

想想这在运营层面意味着什么。多年的数据积累。历经时间训练和打磨的模型。嵌入在神经网络权重中的机构知识。全部——化为乌有。不是因为模型不再有效,而是因为构建它们所依据的数据是在缺乏适当保障措施的情况下获取的。

这就是新的监管现实。如果你的训练数据被污染了——未经同意就收集、构成上存在偏见,或违反隐私法获取——那么建立在这些数据之上的模型也同样被污染了。而监管机构如今已经有办法迫使你销毁它们。

大多数套壳架构甚至无法进行外科手术式的数据剔除。它们没有溯源追踪机制,无法知道哪些数据影响了哪些模型权重。而在设计之初就考虑了数据血缘的深度AI系统,则能做到。这是一项直到FTC找上门来你才会体会到其价值的能力。

为什么"人在回路"不只是一个走过场的勾选项

人们总是问我,解决办法是不是就是在每一个AI决策前面放一个人工审核员。答案是肯定的——但有一个巨大的前提。一个设计糟糕的人工审核流程比完全没有审核还要糟,因为它制造了一种有监督的假象。

在来德爱,确实有人在回路当中。门店员工收到自动警报,并被要求据此采取行动。但他们没有接受过关于误报率的培训。没有界面向他们展示原始图像的质量。没有质疑系统输出的规程。从功能上讲,他们就是算法的橡皮图章。

我们设计的人在回路(HITL)系统带有置信度阈值,能对决策进行恰当的分流。置信度低于70%?自动拒绝——不要在明显的噪声上浪费人的时间。在70%到95%之间?标记出来交由人工审核,并把原始来源图像与匹配结果并排显示,好让审核员能做出有依据的判断。在低后果任务上超过95%?自动通过,但把一切都记录在案。

关键在于,人工审核员必须拥有足以真正推翻机器判断的充分背景信息。如果他们看到的只是"匹配——置信度87%",那他们每一次都会顺从那个数字。但如果他们看到模糊的闭路电视画面就摆在图库照片旁边,并能发现那些明显的差异——耳朵形状不同、下颌线不同、20年的年龄差——他们就成了一张真正的安全网,而不是一张装饰用的。

我曾就此和一位客户的CTO争论过。他想把人工审核压到最低,以便控制成本。我告诉他,一起Harvey Murphy式诉讼的代价,会超过十年的人工审核员薪水总和。他不爱听这话。但他也没有被起诉。

监管的高墙正在合拢

《欧盟人工智能法案》(EU AI Act)默认将生物识别系统归为高风险类别。强制性的合规评估。详尽的技术文档。有效的人工监督——不是来德爱那种,而是真正意义上的那种。某些用途,比如从互联网上抓取人脸图像用作训练数据,则被彻底禁止。

在美国,NIST人工智能风险管理框架列出了四项职能——治理(Govern)、映射(Map)、度量(Measure)、管理(Manage)——它们共同构成了负责任地部署AI的蓝图。FTC对来德爱采取的行动,本质上就是在这些原则成为正式法律之前对它们的一次执法。传递的信息很明确:如果你无法解释你的AI是如何运作的,无法度量它的偏见,也无法管理它的失效,那你就要为此负责。

我对我所顾问的每一个董事会都说同样的话:现在就向《欧盟人工智能法案》的标准看齐,哪怕你只在美国经营业务。 本国的监管即将到来,那些把合规当成未来才需要操心的问题的公司,终将发现自己陷入来德爱的境地——在一纸同意令之下手忙脚乱地销毁模型、从头重建。

偏见不在算法里——而在懒惰里

围绕AI偏见的公共讨论中,有一点让我感到沮丧,那就是它暗示偏见是人工智能某种神秘、棘手的固有属性。事实并非如此。它是一些具体的、可以指认出来的工程偷工减料的结果。

你用一个80%都是浅肤色人脸的数据集来训练模型?那它在深肤色人脸上的表现就会更差。你跳过了对抗性去偏——也就是训练一个对抗网络来检测你的模型是否把种族或性别当作隐藏特征来使用的那种技术?那你的模型就会以不可见的方式把这些偏见编码进去。你在没有用NIST的基准数据跨人群测试的情况下就部署?那你甚至要等到有人受到伤害时才会知道偏见的存在。

算法偏见并不神秘。它是当工程师为速度而非公平去优化、组织为成本而非安全去优化时,必然会发生的结果。

上述每一个问题都有已知的技术解决方案。对抗性去偏。损失函数中的公平性约束。用以应对不同肤色和光照条件的多尺度特征融合。用以识破仿冒企图的呈现攻击检测。这些都不是纸上谈兵——它们如今已经部署在生产系统之中。也包括我们的系统。

大多数公司之所以不去落实这些方案,原因和来德爱不去测试供应商准确性的原因如出一辙:它花费更多、耗时更长,而且没有人强迫你去做。直到有人开始强迫。到那时,代价就是一切。

关于企业AI的未来,我真正的看法

多年来,我一直在构建那种在行动之前被设计为要怀疑自己的系统。这话出自一位AI公司创始人之口,或许听起来有些奇怪。我难道不应该兜售自信吗?

不。我兜售的是经过校准的自信。这两者是有区别的。

能够熬过未来十年AI监管与责任风险的公司,是那些能构建出这样的系统的公司:它们能以说"我很确定"时同等的精准度,说出"我不知道"。它们把每一个自动输出都视为有待验证的假设,而非有待执行的判决。它们为最坏的情况——Harvey Murphy式的情况——而设计架构,而不是为演示时的情况。

来德爱在五年内失去了它的生物识别能力,还不得不销毁自己的模型。梅西百货和Sunglass Hut则面临一起1000万美元的诉讼,以及一种任何公关公司都无法挽回的声誉损害。这些并不是一项高风险技术早期的警世寓言。它们此刻正在发生,而涉事的正是那些公司从货架上买来、又在不理解的情况下就部署了的系统。

企业AI的套壳时代正在终结。不是因为套壳不管用——用在低风险任务上它们运作良好。而是因为风险的赌注不断攀升,监管不断收紧,一个自信的错误答案所付出的代价也在不断增长。

Harvey Murphy当时在萨克拉门托。算法却说他在休斯顿。而在整整十天里,算法赢了。

这不是一个AI问题。这是一个架构问题。而架构是一种选择。