租户筛选审计亮红灯，我的构建仍未完成

那个没有给出足够答案的红色结果

我无法忽视 $2.275 million settlement in Louis et al. v. SafeRent Solutions 当我开始深入研究住房 AI 审计背后的工程问题时。联邦法院于 2024 年 11 月给予该和解最终批准，且不含任何过错认定。该案使一项风险变得清晰可辨，但构建过程迫使我面对一个更艰难的运营问题：一旦模型审计显示出差异，团队究竟应该采取什么行动？

我将 Equora 运行于一个固定的 包含 9,000 条记录的合成租户筛选申请人池。ScreenScore v3 是演示中以信用为导向的基准模型，AUC 为 0.7823。最低不利影响比率（DIR）在黑人申请人群体中为 0.694。演示所配置的五分之四政策门槛为 0.80。该阈值是演示的设计选择，而非法律结论，也不是《公平住房法》的自动测试。

我的第一个版本本可以就此止步。它可以将结果标红、生成报告，并在审查会议上看起来已经完成。但我感到，自己构建的是一个 更好的警报，却没有应对方案。该指标能够向团队展示基准模型在何处未能通过其配置的门槛，却无法说明是否存在差异较小的替代方案、该替代方案将牺牲多少效用，或日后任何人如何能够重现这一选择。

早期的操作演示仍可在 Equora 住房 AI 合规详解中找到，但只有当红色审计结果成为起点时，这一构建才真正变得有意义。

指标留下的未解问题

我不断回到审计表格下方的同一片空白处：我将为哪项变更进行辩护，依据的又是什么证据？让公平性数字产生变动有很多简单的方法：调整批准阈值、移除某个特征、添加某个特征、调整正则化参数。数字会随之变动，但若缺乏明确的搜索空间和稳定的选择规则，这种变动就难以进行治理。

我曾尝试将这一问题视为单次模型编辑来思考，但很快便失败了。如果我限制了信用评分的影响力且结果有所改善，我仍然没有理由相信这一限制比其他方案更优。如果我将担保凭证收入计入评分，我仍然需要在相同选择率下评估其效用成本。每一个孤立的变更都会引发关于我尚未评估的替代方案的新问题。

我将这些问题写在结果旁边，意识到我的原型对其中任何一个都没有稳定的答案。第二次运行可能反映不同的直觉。第三次可能在未记录变更的情况下改变比较集。即使每个选择单独来看都是合理的，整个过程也将难以还原。这就是那个失败的实验： 我将修复视为一系列模型调优选择，而它本应是一套已声明的搜索程序。这一区别听起来细微，直到有人追问为何选择了某个可接受的候选方案而非另一个，才会显现其重要性。

解决方案是将搜索本身变成一份可审查的制品。Equora 评估 480 个明确的、表面中立的配置，在相同选择率下进行评估。网格在以下变量之间进行组合：四个可选高风险特征的子集、信用评分上限（无上限、720、680 或 640）、是否将担保凭证收入计入评分，以及从 0.1 到 30.0 的六个 L2 正则化值。债务收入比、就业月数和申报收入始终保留。

这一边界之所以重要，是因为我可以对其进行描述，可以重新运行它，也可以说明它所不涵盖的内容。该搜索不声称能够覆盖所有可能的模型、策略或特征变换，它是一个边界明确的工程演示，具有已知的网格和已声明的精度预算。

红色指标记录问题，受治理的搜索记录可用的应对措施。

我必须让搜索过程可被审查

我记得达到了这样一个阶段：搜索可以正确运行，但仍然感觉不透明。最终出现了一项推荐结果，但通往它的路径大部分隐藏在代码中。该输出在数学上可以自圆其说，但在运营层面却很脆弱。法律顾问或模型风险审查员不应该不得不依赖我对测试过哪些组合的记忆。

我将搜索空间纳入界面并使进度可见。系统将每个配置与相同的固定合成数据集和相同的选择率约束进行对比测试。它记录候选方案的 AUC 和最低 DIR，然后绘制 精度/公平性帕累托前沿。如果在 0.03 AUC 预算内没有候选方案能够通过配置的门槛，引擎将返回「无安全替代方案」，而不是虚构一项推荐。

我希望审查员能够提出具体问题：信用上限是否已被评估？担保收入是否被计入？每个候选方案是否都保持了恒定的选择率？在配置规则下有多少候选方案符合条件？这些问题都可以从记录中得到解答。 决策程序保持在语言模型之外：确定性代码计算指标、应用门槛，并选择测量 AUC 损失最小的符合条件候选方案。

我还必须克制自己，不要将未成功的候选方案从界面中抹去。产品展示界面自然倾向于突出一个答案，但其他已测试的数据点为推荐结果提供了背景。该前沿图让审查员能够对比所有已评估配置的 AUC 与最低 DIR，而不仅仅是看到被选中的那个坐标。 落选的候选方案是证据的组成部分，因为它们展示了选择规则在确定符合条件的结果之前所比较的内容。

这是我自身框架发生转变的时刻。我最初的构想是一个公平性仪表板。而我实际构建的是一个可重现的决策过程。图表之所以有用，是因为每个数据点代表一个已测试的配置，而不是因为前沿图在视觉上具有说服力。

我终于能够看清的权衡

我观察了完成的运行，它评估了全部 480 个配置，并返回了 240 个在配置精度预算内通过演示 0.80 门槛的配置。推荐配置保留了基准特征，添加了担保收入信用，将信用评分影响上限设为 640，并使用了 L2 正则化值 10.0。

我随后可以将结果解读为一种权衡，而非完美的声明。在这个固定合成数据集上，最低 DIR 从 0.694 上升至 0.875。AUC 从 0.7823 降至 0.7788，测量损失为 0.0036，界面显示为 0.36%。对于数据集中黑人持券者交叉群体，DIR 从 0.701 上升至 1.029。

我对「推荐」一词持谨慎态度。该候选方案是在此特定网格内符合条件且 AUC 损失最小的选项。它 并非普遍最优解、法律认证或偏见消除模型的证明。这些数字描述的是合成数据上的一个拟合基准和一次有界搜索，并不描述真实的房东、筛选供应商、申请人池或住房市场。

我发现写出那句话比写出改进数字更难。产品语言奖励确定性，而治理工作依赖于维护范围边界。有界主张之所以更强，恰恰是因为另一位审查员可以看到它的边界所在。如果组织扩大网格、更改预算或采用不同的政策门槛，应当预期会得到不同的记录，也可能得到不同的推荐。即使假设条件发生变化，该方法仍可重现。

这一局限性并不会削弱演示的价值，而是使审查边界更加明确。审查员可以质疑 0.03 预算、五分之四政策门槛、可用特征、选择率约束或网格本身。这些分歧将成为可重新运行的流程的输入，而非附着在静态红色评分上的注释。

为何我将证据置于文字叙述之外

我曾想让生成文本承担更多解释工作，因为流畅的文字会让界面感觉更完整。但我放弃了这一想法。一段流畅的文字无法确定哪些配置被测试过、无法计算 DIR，也无法判断某个候选方案是否通过了阈值。这些都是计算性声明，我希望即使所有生成的句子都被删除，记录本身依然能够保留。

我将角色分离。确定性代码负责计算审计、搜索替代方案、应用配置的门槛并保留结果。语言模型在启用时仅限于起草文字。离线模式使用确定性模板。 证据不依赖于措辞。

我将同样的边界应用于面向申请人的拒绝理由说明。对于被拒绝的合成记录，精确的线性模型特征归因会识别出前三个负面贡献特征。通知起草者必须引用这些特征。一份有依据的备用通知可通过这一严格检查，而未具体命名任何特征的通用理由代码则会失败并路由至人工审查。批评者模块仅验证特征依据，并不建立完整的 FCRA 合规性或法律充分性。

这是对搜索的补充，而非第二个论点。一旦团队选择了某个替代方案，证据仍必须进入决策记录及由此发布的任何说明。 若最后一环可以凭空捏造理由，可重现的搜索将失去其治理价值。

我希望在会议室中呈现的证据记录

我现在对审查会议有了不同的想象。我不再设想有人展示一个红色评分并要求与会者接受一个宽泛的改进承诺。我设想的是审查员打开有界网格，以相同选择率查看每个候选方案，检查帕累托前沿，并将所选结果追溯至已配置的规则。

我希望记录同时展示收益与成本。在此，这意味着搜索后最低 DIR 为 0.875，AUC 为 0.7788，并附有基准值作对比。我还希望系统保留被拒绝的替代方案，并在无符合条件的方案时返回 无安全替代方案。强制性推荐将抹去最重要的可能结果。

完整的操作演示可在 Equora 住房 AI 合规详解中查看，其中包含审计、有界最低歧视性替代方案搜索、权衡视图及证据移交。它仍是一个基于合成数据构建的工程演示，而非生产决策系统或法律建议。

如果您更希望直接观看工作流程而非阅读我的描述，这里有创始人的端到端完整演示。

我从红色指标开始，因为这是最直观的展示方式。最终我确信，更有价值的证据记录是从红色结果到有界选择的可重现路径，包括路径以无任何符合条件的选择而终结的可能性。 审计能够告知团队何时应当停止。搜索记录则能够展示他们在决定如何推进之前所审查的内容。