吞噬一座城市的算法：预测性警务的崩塌，教会了我如何构建值得信任的 AI
2023 年末，我坐在一间会议室里，看着一位潜在客户演示他们的内部 AI 工具——一个他们搭建起来、用于帮助合规团队在财务文件中标记风险的聊天机器人。界面很精致，响应很快。而大约每四个回答里就有一个，是自信满满、却又危险地错误。
当我指出一处幻觉——模型编造了一条根本不存在的监管条文引用——工程副总裁耸了耸肩。“是啊，这个我们知道。我们指望着下一次模型更新能修复它。”
那一刻，让我几个月来一直在思考的一件事变得清晰起来。企业界正梦游般地走进那个一模一样的陷阱——那个已经在全美范围内摧毁了公众对 AI 驱动警务信任的陷阱。这并不是因为技术本身邪恶，而是因为部署它的人混淆了拥有一个 AI 系统，与治理一个系统。
在 Veriprajna，我们为高风险的企业环境构建深度 AI 解决方案。但要解释我们为什么以这样的方式构建它们——从第一天起就把治理内建其中，把可解释性当作不可妥协的底线，把数学化的公平约束编织进训练过程——我需要先带你去一个令人不适的地方。我需要带你去芝加哥。
一座城市中 56% 的年轻黑人男性，被一台机器标记
芝加哥的“战略对象名单”（Strategic Subject List）——内部称为“热名单”（heat list）——本应是智能警务的未来。算法不再向各个社区铺满警力，而是识别出最有可能卷入枪支暴力的特定个人，无论是作为施暴者还是受害者。以精准取代蛮力，以数据取代直觉。
这份名单膨胀到了超过 40 万人。
让这个数字沉淀片刻。在一座拥有 270 万人口的城市里，算法认定有 40 万人值得被标记。而其人口构成令人震惊：芝加哥 20 至 29 岁的黑人男性中，有 56% 最终进入了那份名单。在西加菲尔德公园（West Garfield Park），10 至 29 岁的黑人男性中有 73% 被标记。被系统归类为“疑似帮派成员”的个人中，96% 是黑人或拉丁裔。
当我第一次深入研究那些审计数据时，最让我大受震撼的是：算法的优先目标中，有 57% 从未因暴力犯罪被逮捕过。该系统把轻微的违法行为——比如少量持有毒品或扰乱秩序之类的事情——也一并纳入，并把它们当作预测未来枪支暴力的信号。它把过度警务这台机器所产生的结果，当成了证明需要更多警务的证据。
当一个算法把偏见的后果当作偏见合理的证明时，你所拥有的就不是一个预测引擎。你拥有的是一台自动运转的歧视机器。
芝加哥监察长办公室（Chicago Office of Inspector General）最终把许多社区组织多年来一直声嘶力竭呼喊的事实记录了下来：SSL 沿着种族界线存在偏见，且在降低谋杀率方面基本无效。它于 2019 年末被停用，但在那之前，它已经派警察对成千上万人进行了突击造访，而这些人唯一的“罪行”，就是住在一个被算法判定为危险的社区里。
为什么那个地震模型在预测犯罪上失败了？
向西三千英里，洛杉矶警察局（LAPD）正在进行自己的实验。Geolitica——前身为 PredPol——使用了一个最初为预测地震余震而设计的模型。其逻辑很诱人：正如震动会在空间和时间上聚集，某些类型的犯罪也遵循可预测的时空模式。向算法输入历史案件数据——地点、时间、犯罪类型——它就会生成 500 乘 500 平方英尺的“热点方块”，告诉警察去哪里巡逻。
我记得读那份技术文档时，心里想着，这真优雅。数学很干净利落，界面很直观。然而结果却是灾难性的。
2019 年 LAPD 监察长的一次审计发现，数据录入中存在“严重的不一致”。警察是在警局设施内、而非在现场记录巡逻时间，从而污染了热点数据。系统无法把自身的影响与更广泛的警务趋势区分开来。而在新泽西州普莱恩菲尔德（Plainfield）等类似辖区，有记录显示其预测成功率不到 1%。
不到百分之一。抛一次硬币都会比它更有用。
但更深层的问题并不在于准确率——而在于反馈循环。当算法把一个以黑人或拉丁裔为主的社区标记为热点时，更多警察就会前往那里。更多警察意味着更多拦截。更多拦截意味着更多因轻微违法而被逮捕的案例——而这些违法行为在更富裕、更以白人为主的地区本不会被追究。这些新增的逮捕又作为高犯罪率的“证据”回流到训练数据中，于是算法尽职尽责地加强了对同一个社区的预测。
加州《种族与身份画像法》（RIPA）的数据以难以辩驳的数字把这一切暴露无遗：黑人被拦截的频率，比按其人口占比所预期的高出 126%。2023 年，警察进行了 470 万次车辆和行人拦截。而最关键的一点是——当警察以更高的比例搜查黑人和拉丁裔个人时，他们发现违禁品的可能性反而始终更低——与搜查白人个人相比正是如此。
数据在用最朴素的统计语言告诉我们：这个系统错了。然而系统依旧照常运行。
2024 年初，LAPD 终于终止了与 Geolitica 的合作关系。关于这些失败更广泛的含义——以及它们对企业 AI 架构意味着什么——我写在了我们研究的交互式版本中。
当没人能打开黑箱时，会发生什么？
科学哲学中有一个术语，在我的研究里反复出现：认识论上的不透明性（epistemic opacity）。它指的是，系统如此复杂，以至于连操作它的人都无法完全理解它是如何得出结论的。
大多数预测性警务系统都是专有的黑箱。具体的数据输入、被权衡的各项因素、预测的逻辑——全都作为商业机密被隐藏起来。使用这些工具的警察部门，往往无法解释为什么某个特定的人或社区会被标记，哪怕公民自由组织要求给出答案时也是如此。
这不仅仅是一个警务问题。它是当下大多数企业部署 AI 方式中最典型的致命弱点。
我又想起了那个我看过演示的合规聊天机器人。工程副总裁无法告诉我，模型究竟检索了哪些文件来生成它的回答。他无法解释它为什么会凭空捏造出一条监管条文引用。他无法告诉我，如果明天再问同样的问题，系统会不会给出不同的答案。而他的计划，就是等着 OpenAI 推出一个更好的模型。
那不是一套 AI 战略。那是一种祈祷。
失控的反馈循环，不只是警务问题
接下来，我需要建立起一个联系——我认为大多数企业 AI 从业者都忽视了它。
摧毁了预测性警务的那个反馈循环——带偏见的输出生成带偏见的训练数据，而后者又生成更多带偏见的输出——并非执法领域所独有。它是任何一个在没有独立验证的情况下、从自身运行环境中学习的 AI 系统所固有的结构性特征。
设想一个用于筛选简历的 AI 招聘工具。如果它是用一家在工程岗位上主要招聘男性的公司的历史招聘数据训练出来的，它就会学会把带有男性色彩的措辞与“优秀候选人”联系起来。它会给女性降级。公司会更少地招聘女性。这些招聘数据又会回流到下一个训练周期，偏见随之加深。
又或者，想想一个基于历史贷款审批数据训练出来的金融核保模型。如果过去的信贷员更倾向于批准来自某些邮政编码区的申请——而这些邮政编码区由于数十年的“红线圈画”（redlining）恰好与种族相关——模型就会学到这些模式。它会拒绝那些来自这些地区的合格申请人的贷款。这些拒绝又会成为训练数据。循环就此延续下去。
最危险的 AI 系统，并不是那些明显出故障的系统。而是那些恰好运行得足够好、足以避开审视，同时又悄悄地把训练数据中的偏见大规模编码进自动化决策中的系统。
这就是为什么，每当我听到企业领导者把 AI 治理说成是“锦上添花”或是“第二阶段”的举措时，我会感到沮丧。治理不是你在上线之后再拴上去的一个功能。它本身就是架构。
为什么 LLM 包装器在高风险环境中屡屡失败？
让我直截了当地说一件事：简单 LLM 包装器的时代正在走向终结，而大多数企业尚未意识到这一点。
一个 LLM 包装器——在 GPT-4 或 Claude 这样的基础模型之上叠加一层薄薄的提示工程和一个漂亮的界面——用来起草邮件、总结会议记录还不错。但它无法胜任法律审查、金融合规、医疗分诊，或任何一个错误答案会带来实质性后果的领域。
我们在 Veriprajna 对此进行了严格的测试。在安全漏洞分诊——一个需要区分轻微 bug 与严重可利用漏洞的领域——一个朴素的 LLM 包装器只达到了大约 51% 的准确率。这几乎不比随机猜测更好。模型缺乏做出有意义区分所需的专业工具和领域知识。而它还有另一个问题，我开始把它称为“骑墙”现象：基础模型中内建的安全对齐，使它们不愿在模棱两可的情形上采取坚定立场。而在分诊的语境里，模棱两可恰恰就是全部工作所在。一个在每个边缘情形上都含糊其辞的 AI，并没有在增强你的团队——它是在制造更多的工作。
相比之下，我们的多智能体架构——拥有可组合的智能体、结构化的工作流以及领域专属的知识库——在同样的基准测试上达到了 89% 的准确率。这不是因为我们用了一个“更好”的模型，而是因为我们构建的是一个系统，而不是一个包装器。
这个差距——51% 对 89%——正是一个只会生成看似合理文本的 AI，与一个真正对某个领域进行推理的 AI 之间的差别。
数学化的公平，究竟是什么样子？
打造 Veriprajna 让我学到的一件事是：AI 中的“公平”不能只是一种感觉。它必须是一个数字。
当我们为高风险环境构建系统时，我们会用数学方式来定义公平，并对它进行持续监控。有两个指标最为关键：
人口统计均等性（Demographic Parity）所问的是：一个正面结果的概率，是否独立于种族或性别之类的受保护属性？如果你的招聘 AI 批准了 60% 的男性申请人，却只批准 35% 的女性申请人，那你就没有通过这项检验。
均等化几率（Equalized Odds）则更进一步：各个群体之间的真阳性率和假阳性率是否相等？这一点很重要，因为一个系统可以通过随机批准更多来自弱势群体的申请来实现人口统计均等——却并没有真正提升识别合格候选人的能力。
这两个指标都需要同时监控，任何一个单独都不够充分。这正是为什么我们的偏见缓解策略贯穿整个 AI 生命周期：在模型见到训练数据之前就对其重新加权，通过对抗性去偏等技术把公平约束直接纳入训练过程，并在训练之后校准决策阈值，以确保在各个人口群体之间获得公平的结果。
我知道这听起来很技术化。但这里有一个大白话版本：如果你无法把你的公平标准表达为一个数学方程，那你就没有公平标准。你有的只是一份新闻稿。
大多数公司尚未准备好的那波监管浪潮
当企业忙着用聊天机器人做实验时，监管者一直忙着制定法律。
美国已有超过 40 座城市采取行动，禁止或严格限制预测性警务以及人脸识别之类的相关 AI 技术。旧金山在 2019 年率先这样做。波士顿、波特兰和圣克鲁兹随后跟进。2024 年 3 月，白宫发布了一项里程碑式的政策，要求联邦机构对任何影响权利的 AI 系统进行独立测试和强制性的影响评估。
这不仅仅是一个政府的问题。《欧盟人工智能法案》（EU AI Act）、NIST 的《人工智能风险管理框架》、ISO 42001——这些框架正在汇聚成同一个信息：如果你在高风险决策中部署 AI，你将被要求证明它是公平的、解释它是如何运作的，并证明你在持续地对它进行监控。
那些已经就位了治理基础设施的企业将能够适应。而那些搭了个 LLM 包装器、就称之为“AI 战略”的企业，则将手忙脚乱。
这种模式我以前见过，在网络安全领域。那些把安全当作事后补救的公司，在监管到来时花了数年时间去追赶。而那些从一开始就把安全构建进自己架构里的公司，几乎没有察觉到什么变化。AI 治理正沿着同样的轨迹发展，只是速度更快。
关于我们如何让治理框架与 NIST、ISO 42001 和《欧盟人工智能法案》保持一致的完整技术拆解，请参阅我们的研究论文。
“直接用 GPT 就好”，以及其他代价高昂的错误
人们总是问我，企业为什么不能直接用一个基础模型加上一点提示工程，就算大功告成。答案，和 LAPD 不该用一个地震模型来预测犯罪，是同一个道理。
问题不在于工具。问题在于那个假设。
这个假设就是：一个通用系统——无论它是一个地震学算法，还是一个在互联网上训练出来的大语言模型——可以在不做根本性架构改动的情况下，被直接塞进一个专业化的高风险领域。没有领域专属的推理层。没有可解释性。没有持续的偏见监控。没有治理。
这个假设已经受过检验。在警务领域，它摧毁了公众信任，伤害了数十万人，并引发了一场全国范围的监管反弹。而在企业 AI 领域，后果正在更悄无声息地上演——体现在被凭空捏造的法律引用中，体现在带偏见的招聘决策中，体现在那些直到一场审计或一桩诉讼把它们逼到明处才会浮现的合规失败中。
问题不在于你的 AI 会不会犯错。问题在于，当它犯错时你会不会知道——以及你有没有构建出能在错误累积扩大之前把它抓住的架构。
在 Veriprajna，我们不是从模型开始，而是从数据开始。在训练任何一个参数之前，我们就会对数据的质量、可获取性和历史偏见进行审计。我们构建多智能体架构，让专业化的推理层能够进行深度研究，而不是依赖对通用模型的零样本调用。我们实施可解释 AI 验证，使每一个决策都能被追溯、被质询、被辩护。而且我们持续监控——不仅监控准确率，还监控公平性漂移，因为如果底层的数据分布发生了变化，六个月前还算公平的东西，到今天可能就不再公平了。
这并不比包装器的做法更昂贵。它反而更便宜——因为在高风险环境中部署一个不受治理的 AI 系统，其代价并不是用工程工时来衡量的。它是用诉讼、监管罚款、声誉损害，以及那些无人能够解释或辩护的自动化决策所带来的人力代价来衡量的。
事情发生的那个房间
我想用一个始终萦绕在我心头的时刻来收尾。
我们当时正深入地为一位金融服务领域的客户构建一个新的推理层。团队为了在某个特定模块中该优先考虑准确率还是可解释性，已经争论了两天——那种每个人从技术上讲都对、而真正的问题其实关乎价值观、而非工程的争论。
我的首席工程师最后说了一句让整个房间都安静下来的话：“如果我们无法解释这个模型为什么拒绝给某人发放贷款，那我们就没有构建出一个 AI 系统。我们只是构建了一个更高效版本的、我们受雇来解决的那个问题。”
她说得对。而那句话，已经几乎成了我们所构建的一切的一条设计原则。
预测性警务的种种失败——芝加哥热名单上的 40 万人、普莱恩菲尔德不到 1% 的准确率、把历史上的种族主义变成数学确定性的那些反馈循环——这些并不是来自另一个行业的警世故事。它们是对“当你在没有能赢得信任的架构的情况下部署 AI 时会发生什么”这件事最清晰不过的预演。
前进的道路，不是放弃 AI，而是不再把治理当作额外的开销，而开始把它当作产品本身。理解这一点的企业，将构建出经得起审视的系统。而不理解的企业，则会学到 LAPD 学到的、芝加哥警察局学到的那个教训，以及那个合规聊天机器人最终也会学到的教训：一个缺乏诚信的 AI 系统不是一个工具。它是一个包着漂亮界面的隐患。
