AI 租户筛选偏见引发 227.5 万美元罚单——您的系统会是下一个吗？

问题所在

玛丽·路易斯（Mary Louis）和莫妮卡·道格拉斯（Monica Douglas）是两位持有联邦资助住房补贴券（housing vouchers）的黑人女性，她们在申请公寓时遭到了拒绝。拒绝她们的不是房东——而是一个算法。SafeRent Solutions 开发了一套名为“Registry ScorePLUS”的评分系统，在 200 到 800 分的区间内对租户进行评级。该系统严重依赖信用记录和非租房债务。但它完全忽略了一个关键事实：住房补贴券保证了稳定的收入来源。持有补贴券的租户在统计学上更有可能按时支付租金，因为政府会直接承担其中一部分费用。

该算法将这些申请人归为高风险群体，而实际上她们属于低风险。算法给她们打出低分，是因为她们的信用档案与较高收入的租房者不同——而不是因为她们是不良租客。2022 年 5 月，路易斯和道格拉斯提起集体诉讼，指控该系统对黑人和西裔申请人造成了差别影响（disparate impact）。到 2024 年 11 月，法院批准了一项 227.5 万美元的和解协议。

贵公司可能并不开展租户筛选。但如果您使用了任何对人进行评分、排序或推荐决策的 AI 系统，该案件背后的逻辑都直接适用于您。法院裁定，软件供应商——而不仅仅是房东——对歧视性后果承担共同责任。仅这一项裁决就改变了一切。

为何这对您的业务至关重要

此处的财务风险敞口远不止于租户筛选。SafeRent 的和解方案包括向受影响申请人直接赔偿 117.5 万美元，以及 110 万美元的律师费。具名原告每人获得 10,000 美元，这为个人在未来提起诉讼创造了明确的经济激励。法院还颁布了一项为期五年的禁令，要求在法院监督下进行持续的行为整改。

然而，金额数字仅仅是个开始。以下是应当引起您领导团队高度警惕的问题：

• 您的 AI 供应商可能被追究责任。 法院驳回了 SafeRent 坚称自己是“中立”技术提供商的抗辩。如果房东主要依赖第三方评分，那么该评分的提供商就是决策链条的一部分，并承担共同的法律风险。
• 主观意图并不重要。 美国住房与城市发展部（HUD）2024 年 5 月的指导方针确认，衡量标准是“差别影响”（disparate impact）。即使没有任何人意图歧视，您的系统也可能违反《公平住房法》（Fair Housing Act）——实际结果才是关键。
• 信用评分隐含隐性偏见。 截至 2021 年 10 月，白人消费者的信用评分中位数为 725 分。西裔消费者为 661 分。黑人消费者为 612 分。当您的 AI 将信用记录视为中立时，它就将种族差距硬编码到了您的决策之中。
• 监管机构正密切关注。 HUD 和美国司法部（DOJ）正积极将《公平住房法》应用于算法开发者。即将出台的欧盟《人工智能法案》（EU AI Act）将把住房和信用评分系统归类为“高风险”，并要求在 2025-2026 年前完成正式合规。

如果您的 AI 系统无法证明其曾探索过偏见更小的方式来实现相同的商业目标，您就处于风险敞口之中。

底层究竟发生了什么

不妨将传统的 AI 筛选模型想象成一位只看某一所大学简历的招聘经理。这位经理并不是故意要不公平。但由于该大学在历史上招收的大多是特定人口群体，最终的结果就呈现出歧视性。当 AI 依赖于带有历史偏见的数据特征（data features）——即模型用于进行预测的单个数据点——时，同样的情况就会发生。

SafeRent 的模型将信用记录作为关键特征。信用评分反映了数十年来在银行服务、借贷和财富积累方面的不平等准入。当算法重度赋予信用权重、却对补贴券收入给予零权重时，就造成了监管机构所称的“代理变量”（proxy variable）问题。该特征在纸面上看似与种族无关。但在实践中，它几乎直接映射到了种族上。

这正是当今许多 AI 系统失灵的关键所在。大语言模型（LLM）——即 ChatGPT 等工具背后的技术——以一种不同的方式在此问题上面临困境。它们往往无法以符合法定披露要求的格式解释其推理逻辑。《公平信用报告法》（Fair Credit Reporting Act）要求在拒绝申请时提供具体的“原因代码”（Reason Codes）。而 LLM 可能会生成看似合情合理、实则纯属编造的解释。在受监管的决策中，一个听起来言之凿凿的错误答案比完全没有答案更具危害。

真正的危险在于研究人员所称的“数据漂移”（data drift）——即现实世界已经改变，但您的模型却没有更新。住房补贴券的使用率会发生变化。人口统计特征会演变。基于 2019 年数据构建的模型到 2025 年可能会产生歧视性结果，仅仅是因为底层人群发生了变化。如果缺乏持续监控，直到诉讼降临，您才会意识到这一问题。

哪些方法有效（哪些无效）

首先，来看看在受监管环境中行不通的三种常见方法：

“我们每年审计一次。” 静态的年度公平性审计会遗漏实时产生的偏见。社会经济数据瞬息万变，1 月份一份毫无问题的审计结果到了 7 月可能就毫无意义。

“我们的 AI 能够解释其决策。” 许多基于 LLM 的工具所生成的解释听起来合情合理，但可能是幻觉（hallucinated）——这意味着系统生成的看似合理的文本实际上并未反映真实的决策过程。这是一种法律责任风险，而不是一项产品特性。

“我们从输入数据中删除了种族变量。” 仅仅删除受保护属性并不能消除信用评分、邮政编码或债务历史等代理变量。这些特征能够以极高的准确率重构出种族模式。

以下才是真正行之有效的方法——一种将公平性内嵌于系统之中、而非事后硬性缝合的三步架构：

1. 预处理：在训练前修复数据。 这意味着对代表性不足的群体进行重新抽样（re-sampling）并对数据重新加权（re-weighting），从而使历史上处于弱势的群体得到公平代表。在 SafeRent 的背景下，这将涉及对成功租房的补贴券持有者进行过抽样，以纠正数十年来累积的信用偏见。

2. 训练中处理：在训练期间约束模型。 与其仅仅针对准确率进行优化，不如在模型的学习过程中引入“公平性惩罚”（fairness penalty）。其中一种技术是对抗性去偏（adversarial debiasing）——即由一个辅助模型尝试根据主模型的输出预测一个人的种族。如果辅助模型预测成功，主模型就会受到惩罚，从而被迫学习那些真正能够独立于种族预测租约履约表现的特征。

3. 后处理：使输出符合公平标准。 在训练完成后，使用一种名为均等化几率（Equalized Odds）的方法调整决策阈值，以确保所有人口统计群体的假阳性率和假阴性率保持一致。这可以防止您的系统在面对同样合格的申请人时，拒绝合格少数族裔申请人的频率高于多数族裔申请人。

对于您的合规与法律团队而言，审计轨迹的优势才是重中之重。当您将公平性指标——例如差别影响比率（Disparate Impact Ratio，监管机构对低于 0.8 的数值会予以重点标记）——直接嵌入监控仪表板时，您就可以实时检测到“公平性漂移”（fairness drift）。您无需等待诉讼来临，而是能够主动捕获、记录并予以修复。一旦监管机构上门调查，这些记录将成为您最坚实的辩护武器。您的系统应当为每一项决策生成清晰的逻辑轨迹，展示哪些特征发挥了作用、各自权重多少，以及为何该结果是所有可用选项中歧视性最小的方案。

SafeRent 的和解协议现在要求民权专家对该公司的模型进行验证——这实际上是一项强制性要求，迫使其寻找偏见更小的替代方案。如果您能主动开展此类探索，就能始终领先于监管机构和原告。如果您选择等待，您就会沦为下一个被研究的案例警示。