法院刚刚裁定：数百万求职者可能遭到了软件的歧视
去年，我坐在班加罗尔一家酒店的大堂里，等待一场迟迟未开始的会议，用手机翻看着法律诉讼文件——就像普通人刷 Instagram 那样——这时我读到一段话，让我放下了手中的咖啡。
加利福尼亚州一位联邦法官刚刚裁定，市值700亿美元的人力资源软件巨头 Workday 可能作为一名代理人、依据联邦反歧视法承担法律责任。它不是工具。不是中立的平台。而是一名代理人——与因某人的年龄或种族而丢弃其简历的人类招聘专员属于同一法律范畴。
原告德里克·莫布利（Derek Mobley）是一名年过四十、患有残疾的非裔美国人，他被100多个职位拒之门外。许多拒绝是在他申请后的几分钟内发出的，而且往往是在工作时间之外。没有任何人看过他的简历。是软件判定他不值得被考虑，并且以算法般的一致性一次又一次地这样做。
我从事 AI 系统的构建。我的公司 Veriprajna 为企业设计认知架构——那种深度的、确定性的 AI，本应取代业内大多数人兜售的草率、概率性的捷径。当我读到那项裁决时，我的第一反应不是"这对 Workday 是坏事"，而是：AI 招聘行业的大部分都建立在同样腐朽的地基之上，而几乎没有人在谈论这一点。
11亿次拒绝，以及一位注意到了的法官
让我告诉你一个数字——当我把它分享给我的工程团队时，整个房间都安静了下来。
在 Workday 案的相关时期内，大约有11亿份求职申请被拒绝，通过 Workday 的软件。这不是笔误。是十亿量级——货真价实的十亿。
2025年5月，一家联邦法院初步批准了一项依据 ADEA（《就业年龄歧视法》）针对年龄歧视的全国性集体诉讼认证。这意味着，自2020年9月以来，每一位年过四十、通过 Workday 平台被拒绝录用推荐的人，都可能收到通知并加入此案。到2025年7月，法院扩大了范围，纳入了通过 HiredScore 处理的申请人——HiredScore 是 Workday 收购的一款 AI 招聘工具。
当软件拒绝了十亿份申请，而法院说"那款软件在法律上就是你的代理人"时，整个人力资源科技行业面临的就是一个结构性问题，而非公关问题。
我记得我们内部就此展开过一场争论。我的一位工程师——很聪明，有深厚的机器学习背景——说："但 Workday 只是在运行一个推荐引擎而已。这就像因为 Google 显示了糟糕的搜索结果就去怪它。"我说："不。这更像是你雇了一家人力中介来筛选候选人，而那家中介把每一份1995年之前毕业者的简历都扔掉了，然后你去追究它的责任。"
法院正是划出了这样的区分。丽塔·林（Rita Lin）法官将"简单工具"——电子表格、电子邮件——与那些主动为候选人评分、排名和推荐的系统区分开来。Workday 的 AI 并不是在整理数据供人类审阅。它执行的是决定谁能晋级、谁不能的传统雇主职能。这就是代理行为。这就是法律责任。
算法是如何学会年龄歧视的？
这正是让我夜不能寐的部分，因为其机制是如此平庸无奇。
Workday 里没有人——我是真心相信这一点——曾坐下来写出这样一段代码：if age > 40: reject()。那样做会是荒唐可笑的违法行为，而且极易被察觉。真正的问题更为微妙，而且说实话，更难解决。
当你用一家公司的历史招聘数据——他们的"成功员工"——来训练一个机器学习模型时，你其实是在把过去那些招聘经理曾有过的每一种偏见都喂给它。如果这家公司在历史上倾向于为工程岗位招聘更年轻的员工，模型就会学到：与年轻相关的信号能够预测"成功"。不是直接看年龄。而是代理特征。
以下就是一个 AI 筛选系统在从未看到你出生日期的情况下，能够推断出你年龄的方式：
你的邮箱域名。一个 @aol.com 或 @hotmail.com 的地址与年龄偏大的用户群体相关联。你所引用的技术——列出 Lotus Notes 或 COBOL 的专长会把你钉在某个特定的时代。总的工作年限，其中"15年以上"就成了一个时间锚点。甚至连职业晋升的标记也是如此：一个来自1990年代初的"初级程序员"头衔，会精确地告诉模型你是何时进入职场的。
我和我自己的团队测试过这一点。我们构建了一个合成数据集——带有受控变量的虚构简历——并让它们通过一条标准的、基于 transformer 的筛选流水线。这个模型从未被告知任何关于年龄的信息。但当我们使用 EEOC 的"五分之四规则"来测量选拔率时——该规则在受保护群体的选拔率低于最高群体选拔率的80%时标记出不利影响——年过四十的申请人的结果是灾难性的。选拔率仅为年轻申请人的一半。影响比率约为0.50，远低于0.80的门槛。
算法并不需要知道你的年龄。它只需要你的邮箱服务商、你的用词，以及你的职业时间线。剩下的交给数学去完成。
没有人给歧视编写过程序。训练数据就是歧视本身——它被固化为权重和参数，再以规模化的方式反馈回来。
为什么"直接用 GPT 就行"是个错误答案
我经常听到这种说法。来自投资人，来自潜在客户，来自那些读过三篇关于 AI 转型博客文章、心怀善意的 CTO。"你们为什么不直接封装 GPT-4 呢？它已经够好了。"
在一次路演中，一位投资人当着我的面对我说了这话。他往后一靠，双臂抱胸，说："Ashutosh，OpenAI 已经在这上面花了数十亿美元。你是想告诉我，你那家40人的公司要造出更好的东西？"
我告诉他，他问错了问题。问题不在于 GPT-4 在生成文本方面是否"更好"。它当然更好。问题在于，一个概率性的文本生成引擎，是否应该去做那些决定一位52岁的软件工程师能否养家糊口的决策。
市场上充斥着我所称的LLM 套壳——一层薄薄的应用层，把 GPT-4 或 Claude 等基础模型的输出重新包装，当作"AI 招聘解决方案"来兜售。它们在演示中看起来令人印象深刻。但它们在生产环境中会灾难性地失败，原因如下。
一个 LLM 预测的是最有可能出现的下一个 token。仅此而已。它是一个精密的自动补全引擎。它并不会推理候选人是否符合某项职位要求。它生成的文本看起来像推理。而在招聘领域，"看起来像推理"与"真正在推理"之间的差距，就是合规与集体诉讼之间的差距。
有一个被充分记录的现象，叫做中间迷失综合征：标准的 transformer 架构在处理上下文窗口开头和结尾的信息时表现出很高的准确率，但在中间部分，注意力会显著下降。在一份10页的简历中，那些埋在中间部分的关键认证或近期成就，从统计上看更有可能被忽略。这并不是因为模型判定它们不重要——而是因为该架构在字面意义上就无法对所有内容给予同等的注意力。
我曾撰文讨论过这一架构上的局限以及我们解决它的方法，见我们研究的交互式版本。
然后还有一个经济层面的问题。LLM 套壳面临着我所称的护城河吞并——随着基础模型提供商发布能力更强的底层模型，他们不可避免地会把套壳产品赖以作为价值主张的那些功能整合进来。简历解析、情感分析、基础匹配——OpenAI 和 Google 最终都会原生地提供这些功能。一家仅仅封装 API 的公司，在与每一位客户的互动中，都在把自己的竞争优势训练殆尽。
我们弄垮自己系统的那一夜
我想跟你讲讲大约八个月前的一个周四晚上，因为它改变了我看待我们所构建的一切的方式。
我们当时正在用一个基准数据集测试我们招聘筛选模块的原型——也就是我们的神经符号架构，稍后我会解释。系统在准确率指标上表现得很漂亮。精确率很高。召回率也很扎实。我的首席机器学习工程师为此每天工作14个小时，那时几乎是喜形于色。
然后，我们的合规分析师运行了公平性审计。
系统在残疾状况上表现出了人口统计均等性方面的违规。幅度不大——影响比率约为0.78，仅仅略低于0.80的门槛。但它确实存在。我们自己的系统，那个我一直向所有人宣称"在设计上就能抵御偏见"的系统，正在产生歧视性的结果。
房间里安静了下来。我感到一阵反胃。
接下来的三天，我们把整条流水线拆开细究。罪魁祸首原来是我们训练数据中一个我们原以为中性的特征：就业空档时长。从统计上看，残疾候选人更有可能存在就业空档——因为病假、因为与无障碍相关的工作转换、因为康复期。我们的模型学到了空档预示着更低的"成功"，于是它在通过代理特征惩罚残疾。
我们之所以抓到了这种偏见，是因为我们在专门寻找它。大多数使用现成 AI 招聘工具的公司根本没有在寻找。他们甚至不知道自己应该去寻找。
我们用对抗性去偏来修复它——训练一个次级的"对抗"模型，从我们预测器的输出中去预测受保护特征，然后每当对抗模型成功时就惩罚预测器。这是一种处理中（in-processing）技术，它迫使系统真正地"忘掉"歧视性模式，而不是仅仅在后处理阶段把它们掩盖起来。
但这个教训并不是技术层面的。这个教训是：如果连我们这样一家痴迷于公平和验证的公司，都差点交付了一个带有偏见的系统，那其他所有人正在交付的又是什么？
"深度 AI"对招聘究竟意味着什么？
当我说我们构建的是"深度 AI"而非 LLM 套壳时，我的意思并不是我们使用了更深的神经网络。我的意思是，我们更深入地钻研问题本身。
我们的架构是神经符号的——它把神经网络的语言能力与符号推理的逻辑严谨性结合起来。在实践中，这意味着我们系统中的 LLM 并不是决策者。它是翻译者。
撇开行话，它是这样运作的：
当一份简历进入我们的系统时，一个专门的语言模型会提取出结构化的事实——"此人拥有5年 Python 经验"、"此人持有 PMP 认证"、"此人在2018年至2022年间就职于 X 公司"。这些不是解读。它们是实体抽取，被映射到一个定义了技能、岗位与组织需求之间关系的知识图谱上。
然后——这才是关键的部分——一个确定性规则引擎会对照职位要求来评估那些被提取出的事实。不是神经网络。不是概率分布。而是真正的逻辑：IF experience >= 5 AND skill == Python THEN eligible = TRUE。LLM 无法对这条策略产生幻觉，因为策略存在于代码之中，而不是权重之中。
每一条推荐都会生成一条可审计的逻辑轨迹。你可以精确地追溯是哪条规则被触发、由哪个数据点触发、在候选人档案的哪个部分被触发。当监管者或原告律师问"这个人为什么被拒绝？"时——你有一个不是"模型是这么认为的"的答案。
我们用我们所称的宪法式护栏来保障这一点——在每一次互动之前、之中和之后运行的三层防护。输入护栏在对抗性提示和 PII（个人身份信息）泄露到达核心逻辑之前就将其拦截。对话护栏强制执行会话边界。输出护栏在任何结果到达人类招聘专员之前，都会扫描其中是否存在幻觉、有害内容或违反策略之处。
这并非纸上谈兵。若想了解我们架构以及驱动它的法律框架的完整技术拆解，请参见我们的研究论文。
你真的能让 AI 招聘变得公平吗？
人们总是问我这个问题，通常带着一种怀疑的语气，暗示他们认为答案是否定的。
我诚实的回答是：你无法让它做到完美公平。招聘中的公平涉及固有的权衡取舍——是数学层面的，而不仅仅是哲学层面的。为人口统计均等性（各群体间的选拔率相等）而优化，可能会与几率均等（真阳性率和假阳性率相等）相冲突。为预测均等性（确保高分对每个群体都意味着相同的东西）而优化，则可能与前两者都冲突。
但你可以让它比现状公平得多——而现状要么是有偏见的人类，要么是假装中立的有偏见算法。你还可以让它可审计，而这正是法律真正要求的。
我们使用 SHAP（SHapley Additive exPlanations，沙普利加性解释）为每一个决策中的每一个特征分配一个贡献值。"技能 X 为这位候选人的得分贡献了 +15。就业空档贡献了 -3。"我们使用 LIME（Local Interpretable Model-agnostic Explanations，局部可解释的模型无关解释）来测试微小的改动是否会颠覆一个决策。如果改变候选人的邮政编码就会改变结果，那就说明有问题。
我们生成反事实解释："这位候选人未被选中，是因为他们缺少 Y 认证。如果他们拥有 Y 认证，其得分就会超过门槛。"这不是一个黑箱。这是一个玻璃箱，而这正是 EEOC 2023年5月指南所要求的。
大多数公司都不具备的"三道防线"模型
当我开始与企业人力资源团队谈论他们的 AI 工具时，有一件事让我震惊：他们中的大多数根本不知道自己在运行什么模型。
我是从字面意义上说的。我曾与一家财富500强公司的首席人力资源官（CHRO）——一位负责每年影响数万人的招聘决策的人——一起开会，我问："你能告诉我你们那款 AI 筛选工具按人口统计群体划分的选拔率吗？"茫然的眼神。"你能告诉我它用的是什么模型吗？"更长时间的茫然。"你能告诉我是谁验证过它有没有偏见吗？"她说："我想这是供应商负责处理的。"
供应商"负责处理"它。而在 Workday 先例之下，正是这家供应商如今有可能作为你的代理人承担责任。也正是这家供应商，几乎可以肯定在合同里有一条免责条款，声明对歧视性结果不负责任。
招聘中的企业级 AI 需要风险管理专业人士所称的三道防线模型：
第一道防线：构建和部署 AI 的业务部门。他们负责训练数据的选择、将姓名和毕业年份匿名化的盲选招聘技术，以及日常监控。
第二道防线：风险与合规监督。模型登记册——一份集中记录每一个 AI 模型及其用途、数据来源、风险等级的清单。对选拔率和影响比率的持续监控。要求提供偏见测试文档、而不只是营销幻灯片的供应商审查。
第三道防线：独立审计。纽约市的《144号地方法》已经规定，自动化就业决策工具必须由独立第三方进行年度偏见审计。罚款首次违规起步为500美元，并逐步升级到每天每项违规1,500美元。但真正的代价不是罚款——而是当法院下令把你公司的名字发送给数百万潜在的受害申请人时会发生的事，而这恰恰正是 Workday 集体诉讼认证所允许的。
为什么"主权 AI"是企业招聘的未来
Workday 案正在加速一场我已经观察了两年的转变：即转向我所称的主权 AI在企业招聘中的这种转变。
各家公司正在意识到一个事实：把自己专有的招聘数据发送给第三方 API，意味着这些数据可能被用来训练别人的下一代模型。他们正在认识到，当一个公开 API 更新时——而这往往在没有任何通知的情况下发生——他们精心验证过的筛选流水线可能一夜之间发生漂移，对同样的候选人产生不同的结果。他们正在理解到，通用型 LLM 缺乏进行准确专业评估所需的领域专属知识图谱。
与我交流的企业越来越希望拥有他们自己的模型。在自己的虚拟私有云中运行这些模型。掌控它们何时以及如何更新。维护不依赖于供应商善意的完整审计轨迹。
这正是我们在 Veriprajna 前进的方向。我们不出售 API 访问权限。我们构建的是认知架构，它把机构知识、合规规则和确定性逻辑编码进各个系统之中，让这些系统把 AI 用作一个强大的接口——而不是一个凭统计"感觉"做出改变人生决定、且会犯错的神谕。
我挥之不去的那个念头
我的思绪一次次回到德里克·莫布利身上。100多份申请。被软件拒绝，往往只在几分钟内，在深夜里。从没有任何人看过他的资质。从来没有人告诉他为什么。
而他并不特殊。他只是那个提起诉讼的人罢了。
有数以百万计的人——合格的、有经验的、有能力的人——被算法从工作机会中过滤掉了，这些算法建立在历史偏见之上进行训练、未经充分测试就被部署，并且在没有任何实质性监督的情况下运行。他们没有收到一封解释信，说明他们的 @hotmail.com 邮箱地址与某个模型已经学会去惩罚的年龄区间相关联。他们只得到了沉默，或者一封格式化的邮件，然后就转向了下一份申请。
Workday 的裁决并没有解决这个问题。但它做了一件几乎同样重要的事：它让这个问题变得昂贵。而在企业软件领域，昂贵的问题总会被解决。
问题不再是 AI 是否应该被用于招聘。而是你正在使用的 AI 能否在一场庭外取证中撑得住。
我以构建 AI 为生，并且我深深相信它有潜力让招聘变得更公平、更高效、更有人情味。但前提是，我们要停止把招聘 AI 当作一款消费级产品来对待，而开始把它当作它本来的样子来对待：一个决定人们生计的高风险决策系统，运行在美国法律中监管最为严苛的领域之一。
黑箱时代已经结束。就照着这个去构建吧。
