SafeRent算法拒绝黑人女性租房：227.5万美元和解案，与我打造"无处隐藏"AI的思考

一个周二的傍晚，我坐在家里的办公室里，翻看着Louis et al. v. SafeRent Solutions, LLC案的最终和解文件时，一个细节让我猛地愣住。

玛丽·路易斯（Mary Louis）和莫妮卡·道格拉斯（Monica Douglas）——两位持有联邦资助住房补贴券的黑人女性——被拒之于公寓门外。拒绝她们的不是某个当面看着她们的眼睛说"不"的房东，而是一个分数。一个介于200到800之间的数字，由一款名为"Registry ScorePLUS"的算法生成，它判定她们的租住风险太高。这个算法并不知道她们是黑人。它也不需要知道。它只知道，她们的信用记录看起来和那些世世代代被系统性地排斥在金融体系之外的人的信用记录一模一样——而它把这称为"风险"。

和解金额为227.5万美元。禁令持续五年。而判决中有一句话，我读了三遍，因为我简直不敢相信一家联邦法院真的会这么说：如果房东在做出住房决定时主要依赖第三方的AI评分，那么根据《公平住房法》（Fair Housing Act），构建该评分的公司也要承担连带责任。

我合上笔记本电脑，在黑暗中坐了好一会儿。因为那份判决改变的不只是租户筛查行业，它改变了为受监管市场构建AI意味着什么的整套逻辑。而且它印证了我在Veriprajna的团队多年来一直坚持的观点——有时是对着心存疑虑的投资人，有时是在我们自己精疲力竭的时候：大多数公司在高风险决策中部署AI的方式，不仅在伦理上值得商榷，更是在架构上就已经崩坏了。

SafeRent的算法内部究竟出了什么问题？

这个技术上的失败，描述起来简单得具有欺骗性，而若不彻底重新思考你整个模型设计的方法，修复起来又难得令人抓狂。

SafeRent的评分系统严重依赖传统的信用记录和与租住无关的债务——诸如医疗账单、陈年的信用卡欠款，以及那种在贫困中挣扎多年才会累积起来的财务伤疤。它没有考虑到的，恰恰是关于其评估对象的最相关的一个事实：住房选择补贴券的持有者，拥有来自联邦政府的稳定收入来源。他们的房租有补贴。从统计上看，他们错过还款的可能性，与原始信用评分所暗示的相当不同。

但模型并不知道这一点。或者更准确地说，没有人告诉它去在意这一点。

这个算法并非有意歧视。它是在设计上就带有歧视——因为它把充满历史偏见的数据当作了中立的事实。

这正是数据变得令人无从辩驳的地方。截至2021年10月，白人消费者的信用评分中位数为725，西班牙裔消费者为661，黑人消费者为612。当你构建一个把信用评分当作"租约履约风险"主要预测指标的模型时，你做的并不是一个中立的数学选择。你是在把一个世纪以来的红线圈禁、掠夺性放贷和财富不平等，编码进了单单一个特征权重里。SafeRent的算法看着玛丽·路易斯的信用记录，看到的是风险。而它本应看到的，是一位拥有稳定房租补贴的女性，以及一个从未给过她公平机会去建立信用的体系。

为什么法院会说软件供应商需要承担责任？

这正是应该让每一位AI公司创始人夜不能寐的部分。

SafeRent尝试了那个显而易见的抗辩：我们是技术提供方，不是房东。我们不做住房决定。我们只是提供信息。法院直截了当地驳回了这一论点。司法部提交了一份《利益声明》（Statement of Interest），主张当房东把自己的决策外包给一套算法时，该算法的开发者在功能上就是决策链条的一部分。

稍微想一想这意味着什么。每一家在受监管市场中销售AI驱动的评分、筛查、核保或风险评估的公司，都刚刚失去了说"我们只是造了工具"的资格。

我记得判决下来后那一周，我和我的联合创始人的那次谈话。我们本来在通话中审阅一份客户交付物，结果我们花了四十五分钟，把这一先例可能适用的每一个行业都梳理了一遍。信用评分。保险核保。就业筛查。医疗分诊。这个清单不断变长。到某个时刻，我们中的一个人说："这不是一起住房案件。这是AI产品责任法的开端。"我们并不是在庆祝——我们一直在警告的正是这个场景——但看着法律体系终于追上了技术一直以来肆无忌惮所做的事情，其中有一种冷峻的满足感。

这份和解不仅让SafeRent付出了227.5万美元。它还施加了一道有实际约束力的五年禁令：

SafeRent不得再针对补贴券持有者发出自动化的批准或拒绝建议——除非该模型经过独立的民权专家进行公平性验证。没有这种验证，该系统只能提供原始的背景信息——剥离掉它的预测性评分。公司还必须就评分模型对受补贴群体的局限性，对其客户进行培训。而且这些条款在全国范围内适用，而不仅限于马萨诸塞州。

若想更深入地了解这份和解的结构及其监管影响，我撰写了一份对整个案件分析的交互式拆解。

LLM套壳的陷阱

在SafeRent和解最终敲定的大约一年前，我与一位潜在客户见了面——一家中等规模的物业管理公司，在美国东南部管理着约12,000个单元。有一家供应商向他们兜售一款建立在大型语言模型之上的"AI驱动的租户筛查解决方案"。这个推介很花哨：自然语言处理、即时风险摘要、漂亮的仪表盘。这家供应商已经融了A轮。他们的网站上挂着一堆客户logo。

我问了一个问题："对于某个具体的申请人，这个系统能否解释是哪些特征导致了拒绝决定，并且解释的方式要满足《公平信用报告法》（Fair Credit Reporting Act）关于不利行动通知的要求？"

一阵沉默。然后："我们可以生成一段对该决定的自然语言解释。"

"由LLM生成的？"

"是的。"

"那么这段解释是一段看似合理的叙述，说明这个人为何被拒，而不是一段经过验证的因果追溯、针对实际模型计算过程的？"

更长的沉默。

这就是我所说的"LLM套壳"的核心问题——也正是SafeRent一案以残酷而昂贵的细节所揭示的问题。大型语言模型可以概括一份租约。它可以起草一封信。它甚至可以生成一段听起来颇有说服力的解释，说明某位申请人为何被拒。但它无法证明它的推理与实际的决策路径存在因果关联。它无法证明某个受保护特征没有影响结果。它无法搜寻歧视性更小的替代方案。它凭空编造解释的方式，和它凭空编造其他一切的方式如出一辙——通过预测统计上最可能出现的下一个词元。

在高风险决策中，生成一个看似合理的答案的能力一文不值。证明一个公平答案的能力才价值连城。

有投资人对我说过："直接用GPT，再在上面加一层合规层就行了。"有一位在一场路演活动上当着我的面这么说，仿佛这是显而易见的，仿佛是我们把事情搞复杂了。我真想把SafeRent的和解文件递给他，问他哪一层合规层能拦得住一个系统性地无视补贴券收入的模型。答案是：一层都拦不住。因为偏见并不在输出的格式里，也不在用户界面里。它在特征权重里。它在训练数据里。它在这个模型被优化去预测什么的根本架构里。

HUD的2024年指南如何改变游戏规则？

2024年5月，HUD发布了一份指南，实际上把SafeRent一案的教训编纂成了对整个住房行业的监管预期。这个标准是"差别性影响"（disparate impact）——意思是，即便没有人存心歧视，只要一套系统对某个受保护群体产生了不成比例的负面影响，且这种影响无法用某种正当的、非歧视性的利益来证成，那么这套系统就可能是违法的。

有三项要求尤为突出：

特征的相关性必须是因果性的，而不仅仅是相关性的。筛查模型中的每一个数据点，都需要与实际的租约履约情况有一条站得住脚的关联。如果信用评分只是种族的一个代理变量，而你又没有检验过经补贴券调整后的收入是不是更好的预测指标，那么"信用评分能预测违约"这一点是不够的。

申请人必须拥有一条有实际意义的途径来质疑AI的结果。这意味着人在环中的审查不是可选项——而是强制性的。一套生成分数却没有任何申诉机制的系统，就是一套等着被起诉的系统。

开发者必须搜寻歧视性更小的替代方案（Less Discriminatory Alternatives）。这正是改变一切的条款。构建一个能用的模型是不够的。你必须证明，你寻找过那些运作得同样出色、但歧视性影响更小的模型——并且要么采用了它们，要么能证明这样的模型并不存在。

最后那项要求——歧视性更小的替代方案，即LDA——正是我所见过的大多数AI公司崩溃的地方。不是因为数学难到不可能，而是因为他们从未被迫去做这件事。他们为准确率而优化。他们发布产品。他们转身做下一件事。你可能需要在成千上万种备选的模型配置中搜寻，以找到一个既能保持性能、又能在各人口群体间最大化公平性的模型——这种念头，是大多数产品经理从未收到过的需求。

我们实际上构建的是什么

有件事我得坦诚：当我们在Veriprajna最初开始构建具备公平意识的系统时，我们做错了。

我们最初的做法是事后审计。构建模型，检测其偏见，如果发现有什么不对劲，就调整阈值。这感觉很负责任。这感觉已经足够了。其实并不够。

后处理的问题在于，你是在不理解原因的情况下试图给结果打补丁。你可以调整一个决策阈值，让各群体的批准率看起来差不多——这种技术叫做"均等几率"（Equalized Odds）——但如果底层模型学到的是一种带偏见的风险表征，那你不过是在给一个结构性问题化妆。这个模型仍然认为某些人风险更高。你只是在最后一公里处覆盖了它的判断。而一旦有人去审计特征重要性，偏见就赫然在那里，回瞪着你。

那个突破——我谨慎地使用"突破"这个词，因为它感觉更像是一连串缓慢而令人沮丧的失败的累积，而不是灵光乍现的顿悟——出现在我们开始把公平性当作一种优化约束、而非一次部署后审计的时候。

这在实践中意味着什么。在模型训练期间，我们不只是最小化预测误差。我们同时还会施加一种惩罚：如果一个次级的"对抗"网络能够从主模型的输出中预测出某个受保护属性（比如种族或性别），主模型就会受到惩罚。如果这个对抗网络成功了——如果它能看着模型的预测，猜出谁是黑人、谁是白人——主模型就会受到惩罚并被重新训练。其结果是一个被强迫去学习那些真正独立于受保护特征的特征的模型。

我们把这一点与研究者所称的"反事实测试"（counterfactual testing）搭配起来。对于模型评估的每一个申请人，我们都会问：如果这个人的种族不同、但其他一切都保持不变，决定会改变吗？如果答案是会，那么这个模型就不合格。不是"标记以待审查"，而是不合格。

反事实公平性问的，正是每一位民权律师最终都会问的那个问题：如果这个人是白人，他会被批准吗？你的模型最好给出同样的答案。

有一个晚上——我记得大概是凌晨两点——我们在一个用公共住房数据集构建的原型筛查模型上，跑了第一次完整的反事实审计。我们本以为差异大概在3%到4%。而实际数字接近11%。如果我们只改变人口群体、其他什么都不变，将有11%的决定会发生翻转。我的工程师给我发了条Slack消息，上面只写着："我们有麻烦了。"接下来的三周，我们从头重建了整条特征流水线，用一个综合指标取代了信用评分，这个指标对补贴券收入、直接支付房租的历史记录以及就业稳定性进行了加权。反事实差距降到了1%以下。

这就是我所说的"深度AI"（Deep AI）与LLM套壳之间的区别。它无关乎拥有更好的提示词或更漂亮的界面。它关乎的是：公平性究竟是系统架构本身的一种属性，还是你贴在盒子外面的一张标签。

若想全面了解我们公平性工程方法的技术拆解——包括对抗式去偏方法论以及我们所用各项指标的数学形式化——请参阅我们关于算法完整性与企业风险的研究论文。

为什么不能只在部署之后做审计？

人们不断这样问我，我也理解这种做法的吸引力。审计感觉更便宜，感觉干扰更小。你快速构建，快速发布，之后再审计，哪里出问题就修哪里。

问题在于，在受监管的市场里，"出问题的地方"是人们的生活。

等到SafeRent的算法在法庭上受到挑战时，它已经运行了好几年。有多少个玛丽·路易斯，从来没有提起过诉讼？有多少持有补贴券的家庭，被一个看不透他们信用评分背后真相的算法拒之于住房门外？那些拒绝，不会因为一份和解而被推翻。那些公寓，早已归了别人。那些家庭，要么找到了更糟糕的住处，要么根本无处可去。

静态审计还会漏掉某种至关重要的东西：数据漂移。模型在训练期间学到的社会经济模式会随时间推移而变化。补贴券的使用率在变。信用评分的方法论在演进。租赁市场时紧时松。一个在2022年"足够公平"的模型，到2024年可能就带有歧视性了——不是因为有人改动了代码，而是因为它周遭的世界变了。

这就是为什么我们转向了带有自动重新训练触发机制的持续监控。这个模型不只是一年被审计一次。它每做一次决定就会被审计一次，接受一整套实时运行的公平性指标的检验——统计均等差（Statistical Parity Difference）、差别性影响比（Disparate Impact Ratio）、均等几率（Equalized Odds）。当任何一项指标漂移超过阈值时，系统会在人看到输出之前就把它标记出来。

我是这样想的：你不会造好一座桥，检查一次，然后就再也不去查看它。你会持续地监测它的应力、疲劳和环境变化。那些为人们的住房、信贷和就业做决定的AI系统，至少配得上我们给予混凝土和钢铁的同等工程严谨。

《欧盟人工智能法案》对美国公司意味着什么？

如果说SafeRent的和解与HUD的指南代表的是当前的监管下限，那么《欧盟人工智能法案》——将于2025至2026年开始分阶段执行——代表的则是那个上限正在走向何方。

该法案把用于信用评分、租户筛查和就业决定的AI系统归类为"高风险"，使其必须接受强制性的合格评定、透明度要求以及人类监督义务。那些服务于欧洲市场的美国公司，或是以欧洲监管者认定值得关注的方式服务于美国市场的美国公司，都将需要合规。

但在我看来，比这些具体要求更有意思的是：欧盟法案把NIST人工智能风险管理框架的四大支柱——治理（Govern）、映射（Map）、度量（Measure）、管理（Manage）——落实为具有法律约束力的义务。曾经是自愿性的指南，如今成了强制性的实践。那些早早就让自身架构与这些原则保持一致的公司，会发现合规轻而易举。而那些把公平性当作一句营销口号的公司，则会发现合规代价高昂。

我曾看着这一模式在数据隐私（GDPR）、财务报告（SOX），以及如今的AI治理领域一次次上演。监管的走向只朝一个方向前进。今天就为明天的要求而构建，这不是理想主义，而是风险管理。

无人谈论的"模型多重性"问题

机器学习研究中有一个概念，叫做"模型多重性"（model multiplicity）——它指的是这样一个现象：对于任何给定的数据集，都可能存在数以百万计的模型，它们达到的准确率几乎完全相同，公平性特征却天差地别。其中一些模型偏见极深。一些则出奇地公平。而如果不去对公平的那些模型进行明确、系统的搜索，开发者几乎总会落在优化器最先找到的那一个上。

这正是"歧视性更小的替代方案"这一要求的技术基础，也是为什么我相信，在未来十年里，LDA搜索将成为受监管AI开发中最重要的一项能力。

当我们进行一次LDA搜索时，我们训练的不只是一个模型。我们会训练数百个，改变特征集、架构、超参数和公平性约束，然后把准确率与公平性权衡的整片全景绘制出来。目标是找到这样一个模型：它以尽可能最小的歧视性影响，实现业务目标——预测租约履约、评估信用风险，或者无论任务是什么。

有时这种搜索会揭示出某种令人不安的东西："最准确"的模型同时也是偏见最深的，因为在训练数据里，准确率与历史偏见是相关的。第二准确的模型也许会牺牲半个百分点的预测能力，却把差别性影响比的差距削减了40%。这样的权衡值得吗？

如果你的模型准确率低了0.5%，但歧视性小了40%，而你却选择了准确率——那就祝你在法官面前好好解释吧。

在SafeRent一案中，根本的问题是：一个模型能否在不惩罚补贴券持有者的前提下，同样出色地预测租约履约。基于我们对这些数据所知的一切，答案几乎可以肯定是：能。SafeRent只是从未去寻找过。

我差点答应去造一个套壳的那个夜晚

我想用一个我此前从未公开讲过的故事来收尾。

大约十八个月前，有一家公司找上了我们——我就不点名了——他们想让我们为一家大型金融服务客户构建一款合规筛查工具。预算相当可观。时间表则咄咄逼人。而他们递给我们的规格说明，本质上就是一个LLM套壳：拿一个基础模型，在监管文件上微调，加一层评分层，然后发布。

我的团队产生了分歧。一半人看到的是收入。另一半人看到的是SafeRent一案在慢镜头下重演。我们开了一次将近三个小时的电话会议。我的一位工程师——一个我深深信任的人——说了一句让我难以忘怀的话："他们要的东西，我们八周就能造出来。而他们真正需要的东西，得花八个月。如果我们造出他们要的那个东西，我们就会成为下一个案例，用来说明这种做法为什么会失败。"

我们放弃了这笔生意。这是我作为创始人所做过的代价最昂贵的决定。之后有好几周，我一直在质疑这个决定。

如今，我不再质疑它了。

SafeRent的和解证明了，在受监管行业里，AI市场比拼的不是谁发布得最快。它比拼的是谁发布得最安全——这里的"安全"意味着在架构上公平、在法律上站得住脚，并且从工程上就能经受住联邦法院最终会施加的那种法证式审查。理解这一点的公司，将会构建出经久不衰的系统。不理解这一点的公司，则会构建出下一个价值227.5万美元的前车之鉴。

黑箱的时代结束了。不是因为监管者扼杀了它，而是因为它从一开始就不是为了在与现实的接触中存活下来而被造出来的。问题不在于你的AI能否做出一个决定。而在于你的AI能否捍卫一个决定。