
250 万美元罚单揭开了 AI 放贷真正的病灶——而且不是你以为的那个
2025 年 7 月的一个周四傍晚,我坐在家里的书房,翻看马萨诸塞州总检察长办公室关于 Earnest Operations 的新闻稿,这时我感受到了一种自己都没料到的情绪:如释重负。
并不是因为一家放贷机构因用 AI 歧视黑人和西班牙裔借款人而被罚 250 万美元。那件事令人愤怒。这份释然来自别的地方——指控的具体程度。总检察长办公室并没有只说一句“你们的 AI 有偏见”。他们点名了那个确切的变量,追溯了那条确切的机制。他们不厌其烦地展示了:一个看似中立的数据点——借款人所在大学的群体违约率——是如何变成一条把种族歧视写进代码的通道的。
多年来,我和我在 Veriprajna 的团队一直在主张:大多数金融科技公司在放贷中部署 AI 的方式,在架构上就是坏掉的。这不只是伦理上存疑——而是在结构上根本没有能力做到公平。Earnest 的和解案是第一起用监管机构真正使用的语言证明我们判断正确的重大执法行动。
而且它不会是最后一起。
那个看上去人畜无害的变量
下面就是 Earnest 所做的事,我希望你能静下心来体会,因为它远比“算法有种族歧视”要微妙得多。
Earnest 构建了一个由 AI 驱动的学生贷款再融资模型。其中一项输入是群体违约率(Cohort Default Rate,简称 CDR)——这项指标衡量某所特定学校的毕业生在联邦贷款上违约的频率。纸面上看,这似乎合情合理:违约率高的学校,或许会培养出更难还款的借款人。你为什么不把这一点考虑进去呢?
因为 CDR 衡量的并不是个人的信用资质,它衡量的是机构层面的结果。而这些结果是由几十年的系统性投入不足、代际财富差距以及高等教育中的种族隔离共同塑造出来的。历史上的黑人学院与大学(HBCU)之所以 CDR 更高,并不是因为它们的毕业生能力更差,而是因为这个体系留给这些院校——以及它们的学生——的资源本来就更少。
当你因为一个人所在院校的统计历史而惩罚这个人时,你不是在预测风险,你是在延续风险。
马萨诸塞州总检察长指控称,CDR 的预测力并非来自任何关于借款人本人的信号,而是来自它与种族和社会经济阶层的相关性。一位信用记录完美、收入稳健、从未逾期的 HBCU 黑人毕业生,得分会低于一位资金充裕的州立大学的白人毕业生——原因只在于他们上的是哪所大学,而不在于他们毕业之后做了什么。
我记得我调出和解文件,在电话里念给我的联合创始人听。“他们还有一票否决规则,”我说,“硬编码的关卡,任何没有至少绿卡的人都会被自动拒绝。”电话那头沉默了很久。“所以偏见从一开始就在架构里,”她说。是的。从决策树的第一行起就在。
为什么没有人发现这一点?
这正是那天晚上让我睡不着的部分。Earnest 有内部政策,有模型监督要求,也有针对例外情况的高层审查流程。
但没有一样起了作用。
调查显示,核保人员经常绕过模型,或在没有任何文档记录的情况下套用随意的标准。所谓“人在环中”的保障措施——每当监管机构上门时,每家 AI 公司都会指着它——不过是一场表演。没有一致的日志记录,没有独立复核,也没有任何审计轨迹能告诉你为什么会发生某一次人工推翻。
这种模式我见过太多次,以至于我们在内部给它起了个名字:治理角色扮演。机构在纸面上拥有所有该有的政策。组织架构图上有合规团队。董事会材料里提到了“负责任的 AI”。但当你掀开引擎盖,里面没有任何机制把政策连接到代码。算法运行在一个宇宙里;治理框架存在于另一个宇宙。
Earnest 案把这一点挑明了。算法偏见与无人监控的人为偏见在同一套系统中共存,正如我在我们对该案的交互式分析中所写的那样,这让它从根本上无法审计、也无法辩护。
当差距达到 29 个百分点时,会发生什么?
如果说 Earnest 是手术刀式的案子——精准、深入到变量层面、可追溯——那么海军联邦信用社(Navy Federal Credit Union)就是大锤。
2022 年,美国最大的信用社海军联邦批准了大约 77% 的白人常规按揭申请人。黑人申请人呢?48.5%。这是接近 29 个百分点的差距——为全美前 50 大按揭放贷机构中最大的一个。
海军联邦的辩解不出所料:“公开的 HMDA 数据不包含信用评分或手头现金。没有完整画面,你无法得出结论。”每家机构都会抓住同样的辩解。放在十年前,它或许还管用。
这一次它没管用。当独立研究人员控制了十多个变量——收入、债务收入比、房产价值、社区特征——之后,在条件画像完全相同的情况下,黑人申请人被拒绝的可能性仍然是白人申请人的两倍以上。
我记得去年在一场金融科技会议上展示这些数字。一位听众——某中型放贷机构的风险副总裁——举手说:“但也许数据里有些我们没看到的东西,某个正当的因素。”我问他:“如果你的模型在控制了你能说出的每一个变量之后,仍然产生 29 个百分点的种族差距,那么到什么时候你才会停止寻找无辜的解释,开始审视模型本身?”
他答不上来。这个行业的大多数人也答不上来。
2024 年 5 月,一名联邦法官裁定,针对海军联邦的差别性影响(disparate impact)诉求可以进入证据开示程序。这意味着原告将有机会检视这家信用社核保算法的内部逻辑。“我们的模型属于专有技术,太复杂了没法解释”的时代已经结束。
如今,仅凭统计上的差异就足以让案件挺过驳回动议。举证的重担已经转移:要么证明你的流程是公平的,要么面对证据开示。
为什么 LLM 套壳产品总是通不过公平性检验?
接下来我得直说一件很多 AI 圈的人不愿意听的事。
眼下金融科技 AI 中占主导地位的架构——我称之为“套壳”模式——在结构上就无法满足已经存在的监管标准,更不用说 2026 年即将到来的那些。
套壳产品接收你的数据,把它传给 GPT-4 或 Gemini 这样的第三方大语言模型,然后返回一个输出。它构建起来很快,演示效果漂亮极了。它也是一颗合规定时炸弹。
LLM 预测的是序列中的下一个 token。它们不检索事实。它们不做精算计算。它们不对因果关系进行推理。当你让一个 LLM 评估一份贷款申请时,它生成的文字听起来像是一份信用评估。但它可能会编造一个在申请人真实档案中毫无依据的拒贷理由。业界把这叫作幻觉,监管机构把它叫作违规。
CFPB 的态度毫不含糊:债权人必须为不利行动提供“准确而具体的理由”。你不能对一个被拒的申请人说“是算法决定的”,也不能在真正的触发因素是模型抓住的某个非传统数据点时,引用像“消费历史”这样含糊的类别。“是算法决定的”在法律上站不住脚——CFPB 已经明确这样说过。
还有一个更深层的问题。LLM 是在互联网上训练出来的,而互联网充斥着历史遗留的偏见——种族的、性别的、社会经济的。当你的套壳产品用 LLM 去“评估”借款人的就业经历或自述时,模型可能会套用嵌在训练数据里的刻板印象。某些国籍、某些职业、某些邮编在模型的潜空间里带着看不见的权重。这不是因为有人把偏见编写了进去,而是因为训练数据本身就是偏见。
早期我曾就此和一位投资人争论过。他说:“用 GPT,再配个好提示词就行了。你把这事想得太复杂了。”我调出一个演示,把同一份贷款申请分两个版本喂进套壳产品——一份用听起来像白人的名字,一份用听起来像黑人的名字。输出并不相同。语气变了,风险措辞变了。变化不剧烈,很微妙。而正是这种微妙,在数百万笔决策上放大之后,就产生了 29 个百分点的差距。
他不再争了。
“深度 AI”究竟意味着什么?

我使用“深度 AI”这个说法并不是为了营销——尽管我理解这种怀疑——而是把它作为一个技术上的区分,用来区别于这个行业大多数人正在构建的东西。
一套用于放贷的深度 AI 系统,不是调用单一模型然后返回一个答案。它是一种多层架构:不同类型的智能处理不同类型的决策,而且每一层都可审计。
确定性规则引擎负责那些必须 100% 正确的事情——居留身份要求、监管阈值、硬性合规检查。这些不是概率性的,它们是逻辑。它们不会产生幻觉。
梯度提升模型(例如 XGBoost)负责结构化的信用评分——在这类表格数据上,可解释性与稳定性比语言流畅度更重要。这些模型很枯燥,但它们同样可靠、可解释,并且为监管机构所熟知。
经过微调的 LLM也会被使用——但只用在它们真正擅长的地方:从非结构化文档中抽取实体、解析报税表、读取银行流水。而且它们通过检索增强生成(RAG)加以约束,也就是说模型只能引用申请人的真实文件,而不能引用其训练数据中那些含糊的联想。
在这一切之上,还有一个持续监控层,实时跟踪模型漂移、偏见漂移和幻觉率。当差别性影响比率(Disparate Impact Ratio)——受保护群体与对照群体批准率之比——跌破 0.8 的阈值(监管机构用作红旗的五分之四规则)时,系统会在任何人工投诉出现之前就发出告警。
这不是理想主义的空谈。我们之所以把它建出来,是因为另一条路——套壳、黑箱、治理角色扮演——一直在源源不断地制造 Earnest 式的和解与海军联邦式的诉讼。
你到底该如何把公平性工程化地做进模型里?

人们不断问我这个问题,我想他们期待答案很简单。并不简单。但它也不神秘。
公平性工程意味着在模型生命周期的每一个阶段施加数学约束。训练之前,你要检查数据中的代表性缺口,并使用合成过采样等技术来平衡代表性不足的人群。训练过程中,你要部署对抗性去偏——一种让次级模型试图从主模型的输出中预测申请人种族的技术。如果它能预测出来,就说明主模型正在泄露受保护信息,你就要重新训练,直到对抗方失败为止。
训练之后,你要校准决策阈值以确保均等化几率(equalized odds)——也就是说模型在各人口群体上同样准确。不是同样宽松,而是同样准确。一个对所有人都批准的模型并不公平;一个对所有人判断正确率相同的模型才公平。
然后是可解释性。我们系统生成的每一份不利行动通知都附带 SHAP 值——一种在数学上严谨的归因方法,能准确告诉你哪些特征驱动了这个决定,以及各自的影响有多大。我们还实时生成反事实解释:“如果你的信用使用率再低 15%,或者收入再高 5,000 美元,这笔贷款就会获批。”这不是一种客套。在 CFPB 现行指引下,它正在逼近一项硬性要求。
公平的 AI 不是一个避免说出任何冒犯性言论的模型,而是一套每一个决策都能被分解、被质疑、并用数学来辩护的系统。
如果想完整了解我们公平性工程流水线与架构的技术细节,我发表了一篇详细的研究论文,其深入程度远超我在这里所能展开的。
监管的高墙正在合拢
我来为那些觉得自己还有时间的人勾勒一下当前的格局。
CFPB 在 2023 年和 2025 年发布的关于不利行动通知的指引是有牙齿的。SR 11-7——美联储的模型风险管理标准——如今要求有文档化的概念合理性、由与开发过程毫无关联的团队进行独立验证,以及定期的结果分析。2025 年发布的 NIST 人工智能风险管理框架 2.0 引入了“AI 物料清单”(AI Bill of Materials)的概念——即对每一个数据源、每一个模型(包括第三方 API)以及组件之间每一次交互的完整清点。
这不是你可以忽视的指引。一名联邦法官刚刚允许对海军联邦的算法进行证据开示。马萨诸塞州总检察长不只是罚了 Earnest 的款——他们还要求这家公司彻底整改其模型治理、实施独立验证,并接受持续监控。
信息很清楚:如果你无法解释你的模型,你就无法为它辩护。而如果你无法为它辩护,你就要付出代价——以和解金、以诉讼成本、以声誉损失,以及你声称要服务的那些社群对你的信任被侵蚀的形式。
为什么“寻找替代方案”是一项谁都没准备好的要求
有一个监管概念,我认为它对行业的重塑力度会超过其他任何概念,而几乎没有人在谈论它。
在现行的公平放贷法律下,仅仅证明你的模型准确是不够的。你必须主动寻找歧视性更低的替代方案——也就是能取得相当预测性能、但差异更小的模型。如果原告能够证明这样的替代方案确实存在而你没有采用,那么无论你的模型多准确,它都通不过法律检验。
想想这在操作层面意味着什么。你不能只造一个模型,测一测偏见,然后就发布。你需要训练多种配置——不同的特征集、不同的算法、不同的阈值校准——并记录你为什么选择了最终这一个。你需要有证据表明你确实寻找过更公平的方案,并且要么找到了它(并采用了它),要么证明了不存在歧视性显著更低的替代方案。
我们花了三个月构建 LDA 搜索流水线。这三个月里,我的工程团队不断在问:“我们是不是想太多了?”然后 Earnest 的和解案落地,总检察长办公室特别指出了这家公司未能寻找替代方案。我们不是想太多了,是这个行业想得太少了。
大多数人都错过的 Earnest 教训
我想以一件从 7 月起就一直困扰我的事情作为结尾。
关于 Earnest 和解案的评论大多集中在 CDR 这个变量上。是的,那是标题。但更深层的失败并不是一个糟糕的变量,而是缺少一种架构——一种能在这个糟糕的变量进入生产环境之前就把它拦下来的架构。
Earnest 没有独立的模型验证。他们没有系统化的代理变量测试。他们没有可审计的人工推翻日志。他们没有持续的偏见监控。他们有的是一个模型、一份政策文件,以及两者之间宽到足以开进一场集体诉讼的鸿沟。
那 250 万美元并不是偏见的代价。它是在没有基础设施去知道偏见何时存在的情况下构建 AI 的代价。
这就是我一再回到的那个区别。问题不是“你的 AI 有偏见吗?”——每一个用历史数据训练出来的模型都带着历史不平等的指纹。问题是:你是否具备这样一种架构:能在监管机构替你动手之前,检测它、度量它、解释它并纠正它?
大多数放贷机构,如果诚实作答,会说没有。
我们创办 Veriprajna,是因为我们相信答案必须是“有”——不是作为一种愿景,而是作为系统本身的一种结构属性。公平不是发布之后再拧上去的功能,它是一堵承重墙。拆掉它,整栋楼就会塌。
放贷领域 AI 的第一波浪潮由速度与规模定义。第二波浪潮将由你的系统能否经受住一纸传票来定义。我知道我是在为哪一波而建。