你能信任AI人脸识别吗？一个价值1000万美元的教训

问题所在

61岁的祖父哈维·墨菲（Harvey Murphy）因一项他从未犯下的抢劫罪在监狱中度过了10天。案发时，他身在1,500英里之外。梅西百货（Macy's）的人脸识别系统将他的面部与休斯敦一家Sunglass Hut眼镜店抢劫案中模糊的监控录像进行了比对并判定吻合。而墨菲当时远在加利福尼亚州萨克拉门托。AI得出了相反的结论，而警方轻信了这台机器。

在入狱的10天里，墨菲遭受了性侵和殴打，留下了伴随终生的身体创伤。此后，他针对梅西百货以及Sunglass Hut的母公司依视路陆逊梯卡（EssilorLuxottica）提起了1000万美元的诉讼。将他标记出来的系统依赖的是低分辨率监控视频。该系统很可能是将这段监控画面与数十年前因非暴力罪行拍摄的入案登记照进行了比对。研究表明，将当前图像与相隔数年乃至数十年前的照片进行比对，误报率可能高达90%。

这绝非偶然的意外事故。就在几周前，美国联邦贸易委员会（FTC）刚刚下令禁止Rite Aid在五年内使用人脸识别技术。2012年至2020年间，Rite Aid的系统在数百家门店中产生了数千次错误匹配，女性和有色人种被标记的比例尤为失衡。店员仅凭自动化警报，便对无辜顾客进行尾随、搜查甚至公开发难。

如果你的企业使用AI做出任何影响个人自由、财务或声誉的决策，这些案例就是为你敲响的警钟。

为何这对你的业务至关重要

这里的财务风险敞口绝非假设。它已经在直接冲击企业的资产负债表并引发法庭审判。

• 1000万美元诉讼：哈维·墨菲针对梅西百货和EssilorLuxottica提起的索赔诉讼，起诉因错误AI识别导致其遭到错误逮捕及人身伤害。
• 五年技术禁令：FTC全面禁止Rite Aid使用人脸识别技术。Rite Aid还必须删除所有生物识别数据，并销毁基于这些数据构建的每一个AI模型。
• 模型剥离（Model Disgorgement）：FTC强制Rite Aid对其AI进行“遗忘”——销毁利用不当收集的信息所衍生的算法。这是一种全新的监管手段，能在一夜之间让多年的技术投资化为乌有。

监管环境正在迅速收紧。欧盟《人工智能法案》（EU AI Act）现已将公共场所的生物特征识别归类为“高风险”。提供商必须进行符合性评估，维护详尽的技术文档，并确保有效的人工监督。即便你的公司仅在美国运营，NIST AI风险管理框架也在推行相同的原则。FTC正是利用类似的逻辑——透明度、问责制、风险管理——为其对Rite Aid的禁令进行辩护。

你的董事会必须明白：治理不善的AI系统的代价并非单纯的技术问题。它是一个诉讼问题、监管问题，以及登上新闻头条的公关危机。如果你的AI供应商无法解释其系统如何规避这些故障，那么承担风险的是你的公司——而不是他们。

底层实际发生了什么

以下用通俗的语言解释为何这些系统会发生故障。

大多数商用人脸识别工具都是针对工程师所谓的“闭集（Closed-set）”问题构建的。这意味着系统预先假设它所扫描的人一定存在于数据库中。这就像用人脸解锁手机：手机知道你是你，它只需要确认这一点。

零售安防则完全相反，它是一个“开集（Open-set）”问题。走进你店内的绝大多数顾客都不在任何犯罪数据库中。但闭集系统不知道如何表达“我不认识这个人”。相反，它会寻找能够找到的最接近匹配，哪怕这个匹配是完全错误的。这就是Rite Aid在数百家门店中产生数千次误报的原因。

不妨把它想象成一份没有“以上皆非”选项的多选题。系统必须选出一个答案，即便正确答案根本不在选项中。每一张走进店门的面孔都会被强行匹配给数据库中的某个人，无论他们是否真的在该数据库中。

第二个失败之处在于将AI的输出视为简单的“是或否”答案。事实上，每一个AI输出都只是一个概率——一个带有置信度的推测。梅西百货的系统为哈维·墨菲给出了一个匹配分数，但没有人质疑这个分数的实际可靠性。0.85的匹配分数听起来很高，但如果底层图像模糊不清且参考照片已有数十年的历史，那么这个0.85在统计学上毫无意义。如果缺乏一个测量不确定性（即系统自身的把握程度）的层级，你实际上是在依据伪装成科学的抛硬币游戏做出高风险决策。

什么有效（以及什么无效）

我们先来看看哪些做法会失败。

未经测试的现成模型。 Rite Aid从两家供应商处购买了人脸识别技术，而这两家供应商的合同中明确声明不对准确性作任何担保。该公司从未对软件的可靠性进行过测试。你无法通过供应商合同将问责责任外包出去。

将低质量输入视为达标。 Rite Aid和梅西百货都将模糊的监控录像截图和陈旧的入案照片输入其系统。在生物识别工程中，低劣的输入不仅会降低准确率——还会使错误呈指数级增加。

采取行动前缺乏人工审查。 Rite Aid的员工仅凭自动化警报就与顾客对质，没有人质疑机器的判断。针对梅西百货的诉讼指控该公司将自动化匹配结果作为已核实的事实提供给警方，从而导致警方停止了进一步调查。

以下才是真正有效的解决方案。

1. 输入验证。 在系统尝试进行比对之前，专门的质量检查智能体就会对图像进行评估：分辨率是否充足？光照是否合格？参考照片是否足够新近？如果输入未通过这些检查，系统会直接拒绝比对。不做推测总好过做出错误的推测。

2. 不确定性测量。 系统不会仅输出单一的置信度得分，而是生成概率分布——即展示输出实际可靠程度的区间。保形预测（Conformal Prediction）等技术能够确保真实结果以你设定的置信水平落在预测界限内。由你决定可接受的错误率，系统则通过数学手段严格执行。

3. 人机协同决策关卡。 系统根据置信度阈值对每个结果进行分流。置信度低于70%的匹配会被自动丢弃；在70%至95%之间，经过培训的人工审核员会同时查看原始监控图像与数据库图像并做出裁决；只有在95%以上——且仅针对低风险后果的行动——系统才会自主执行。

这是一种 多智能体编排方法 ，由专业化的智能体分别处理各个步骤：一个验证输入质量，另一个执行比对，第三个测量不确定性，第四个标记模棱两可的案例以供人工审查。没有任何单一模型能够单独做出最终决断。

合规优势在于审计追踪（Audit Trail）。每一个步骤——每次图像质量检查、每个置信度得分、每次人工决策——都会被自动记录。当监管机构或原告律师询问你的系统是如何得出决策时，你可以向他们准确展示全过程。NIST的人脸识别供应商测试（FRVT）提供了你的供应商应当达到的基准。它在严格至百万分之一（1/1,000,000）的阈值下衡量错误匹配率，并按性别、年龄和人口群体细分性能数据——这正是FTC要求Rite Aid提供的偏见数据类型。

对于从事 AI安全与韧性的机构而言，核心问题不在于你的AI平均准确率有多高。而在于你的AI能否证明它在这一具体案例中、针对这名特定人员、在此类特定条件下是准确的。这正是 确定性工作流与工具链 必须达到的标准。

你可以 阅读完整技术分析 以深入了解工程细节，或者 探索交互式版本 获取系统架构的引导式演练。