一套AI系统让一位失聪女性去"练习积极倾听"——那一刻我看清了这个行业已经烂到根子里
那是一个周二深夜，我坐在家里的办公室，翻看着美国公民自由联盟（ACLU）针对Intuit和HireVue提起的申诉文件，读到某一行时，我放下笔记本电脑，只是怔怔地盯着墙壁。
一位失聪的原住民女性——在文件中被标识为D.K.——被要求完成一场自动化视频面试以争取晋升。她此前已经获得过正面的绩效评价、年度奖金，以及一份本应让晋升顺理成章的履历。但处理她面试的AI系统生成了一条将令这个行业蒙羞多年的反馈：它告诉她要"练习积极倾听。"
她是聋人。
系统不知道。系统也不在乎。系统做了每个大语言模型都会做的事——它拿一个绝大多数由健听、神经典型、说标准美式英语的人构建的训练集去做模式匹配，然后判定：任何听起来不像那个数据集的人都是有缺陷的。不是不同。是有缺陷。
我在Veriprajna花了多年时间构建那些专门用来对人做出高风险决策的AI系统。我可以百分之百确定地告诉你：这不是一个漏洞。这是架构完全按设计意图在运转。这才是问题所在。
D.K.究竟遭遇了什么？
这些事实值得我们坐下来细想，因为它们暴露的东西远比一次软件故障更深刻。
D.K.曾请求一项合理便利——具体来说，是一名由真人生成的实时通讯翻译（CART）字幕员，帮助她完成这场视频面试。结果，她得到的却是自动字幕。如果你曾看过自动字幕把一个带轻微地方口音的说话者糟蹋成什么样，想象一下当说话者带有语言学家所称的"聋人口音"——一种由一生在没有听觉反馈的情况下沟通所塑造的语音模式——会发生什么。
自动语音识别系统无法解析她的语音。它生成的转录文本，实质上就是垃圾。然后第二层AI分析了那份垃圾转录中的"领导力素质"和"沟通技巧"，得出结论：她还没准备好走上管理岗位。
这就是我开始称之为级联失败的现象——我在与团队的交流中这样称呼它——即一个AI层中的错误不只是持续存在，还会在传递到后续各层时被放大。糟糕的转录喂养糟糕的分析，糟糕的分析喂养糟糕的建议。等到人类看到输出时，它看起来干干净净。一个分数。一个排名。一次拒绝。没有人看到底层那78%的词错误率。
当基础转录有78%的错误率时，建立在其之上的每一个模型分析的都不是候选人——而是噪声。
这个数字并非假设。针对处理语音清晰度中等偏低的聋人说话者的ASR系统研究一致显示，词错误率介于77%到78%之间。作为对比，说标准美式英语的人的词错误率为10%–18%。这个系统本就注定对D.K.行不通。它从根子上就是被设计来排斥她的。
为什么每一款AI招聘工具都有这个问题？
在这里，我需要对我所从事的这个行业说实话。
如今市场上绝大多数所谓的"AI招聘解决方案"，其实就是我们所说的套壳产品。它们是构建在通用大语言模型——GPT-4、Claude、Gemini——之上的一层薄薄的界面。公司加上漂亮的UI、一些针对HR的提示词，也许再配个带图表的仪表盘，然后以"AI驱动的人才智能"之名出售。
我曾与企业采购方隔桌而坐，他们是真的分不清套壳产品和专门打造的系统有什么区别。可他们又怎么会分得清呢？营销话术看起来一模一样。演示都打磨得光鲜亮丽。套壳公司说"我们使用先进的AI"，深度AI公司也说"我们使用先进的AI"，于是采购团队挑了价格更低的那一个。
只有当像D.K.这样的人走进门时，差别才会显现出来。
通用大语言模型继承了它们所训练的互联网规模数据集中烙下的每一种偏见。如果几十年的招聘数据反映出对以某种方式说话、以某种方式外形示人、以某种方式展示自己的候选人的偏好，模型不会质疑这个模式——它会为之优化。这不是模型推理中的缺陷。这恰恰就是模型被造出来要做的事：找出模式并复制它们。
我记得与我的一位工程师——姑且叫他Ravi——有过一场激烈的争论，争的是对抗性去偏是否值得付出那份计算开销。他的立场很务实："大多数候选人不会触发那些边缘情况。我们是在为一个可能只影响2%面试的场景增加延迟。"我的回应很直接："如果你的系统对98%的人完美运转，却系统性地歧视另外2%，那你造出来的不是一个有边缘情况的好产品。你造出来的是一个准确率很高的民权侵犯。"
Ravi后来想通了。但我经常想起那次对话，因为我知道此刻它正发生在每一家AI公司里，而在其中大多数公司，那些"Ravi"正在赢。
你到底该如何构建不会歧视人的AI？
技术上的答案很重要，但我想用向朋友解释的方式来讲它，而不是用我在规格文档里写的那种方式。
我们在Veriprajna所构建系统背后的核心理念，是一种被称为对抗性去偏的方法。想象你在同时训练两个AI模型。第一个模型——你真正在意的那个——试图预测某位候选人能否胜任某个职位。第二个模型是一个对手。它唯一的任务，就是查看第一个模型的内部表征，试图猜出候选人的种族、性别、残疾状况，或任何其他受保护属性。
然后，每当对手猜中，你就惩罚第一个模型。
经过成千上万个训练周期，主模型学会做出真正对受保护特征"视而不见"的预测——不是因为你把那些数据点从输入中删除了（那是幼稚的做法，而且行不通，因为代理变量依然存在），而是因为模型的内部推理被迫去寻找不经过人口统计信息就能得出结论的路径。
反事实公平意味着要证明：如果一位候选人的受保护属性——种族、性别、残疾——不同，其得分仍将保持不变。这不是一个愿景。这是一项数学检验。
这与套壳产品所能做到的从根本上不同。你无法把对抗性去偏硬装到一次GPT API调用上。你无法事后去审计一个你并不掌控的模型的内部表征。你只是把文本发送给一个黑箱，然后寄望输出不带歧视。寄望不是一种合规策略。
我详细写过完整的技术架构——包括多模态融合方法和形式化的公平性指标——就写在我们的交互式白皮书中，如果你想深入了解的话。
让D.K.沉没的模态坍缩
在HireVue这个案例中，有一个具体的技术故障，我认为大多数报道都忽略了，而它正是让我夜不能寐的那一个。
该系统患上了研究人员所称的模态坍缩。在一个多模态AI系统中——一个同时处理视频、音频和文本的系统——每个通道（或称"模态"）都对最终评估有所贡献。理论上，这比单通道系统更稳健。如果音频有噪声，视频可以补偿。如果转录混乱，视觉线索可以填补。
但在实践中，HireVue的系统似乎过度倚重了音频通道。当D.K.的语音不符合模型预期的模式时，音频信号不仅仅是贡献了一个低分——它主导了整个评估。而本可能捕捉到她的投入度、她的自信、她的表现力的视觉通道，则被彻底淹没。
我们用一种被称为模态融合协同去偏的方法来解决这个问题。当我们的系统检测到某个模态正在产生低置信度输出时——比如ASR在应对非标准口音时遇到困难——它不会只是标记这个问题。它会自动提高其他模态的权重。书面回答获得更大的影响力。视觉行为线索获得更大的影响力。质量下降的音频通道则影响更小。
但接下来这一点，是我认为最重要的，而它完全无关技术：当我们系统的置信度跌破某个阈值时，它会转交给人类处理。不是作为事后补救。不是作为埋在设置菜单里的某条"升级路径"。而是作为一项核心的架构决策。
D.K.请求过一名真人字幕员。她被拒绝了。而在我们的系统里，她根本不需要开口请求。系统会识别出自身的局限，并自动引入一名人类。
AI应当知道自己何时在失灵。HireVue的系统竟能自信满满地给一份错误率高达78%的转录打分，这件事已经道尽了这些工具是如何被造出来的——以及它们是为谁而造的。
当法律追上来时，会发生什么？
多年来，AI招聘行业一直在监管真空中运作。公司可以随意部署任何东西，什么都不审计，并在服务条款中免除自身责任。那个时代正在终结，而且很快。
这部《科罗拉多人工智能法案（SB 24–205）》将于2026年初生效，确立了一项前所未有的规定：为任何开发或部署高风险AI系统的人设立法律上的"合理注意义务"。招聘和晋升决策被明确归类为高风险。该法要求进行年度影响评估，以筛查算法歧视。不是自愿的。不是"最佳实践"。是强制的。
纽约市的第144号地方法（Local Law 144）已经要求对自动化就业决策工具进行独立的偏见审计。类似的立法正在加利福尼亚州和伊利诺伊州推进。《欧盟人工智能法案》将招聘AI归类为高风险，并施加了以营收为基准的罚款作后盾的透明度与人工监督要求。
然后还有Mobley 诉 Workday 案，这或许是大多数人从未听说过的、影响最深远的案件。一家联邦法院批准了一项集体诉讼，并裁定：当一家AI供应商的软件执行传统上由人类招聘经理处理的职能时，该供应商可被视为"代理人"或"间接雇主"。仅这一条裁决，就摧毁了每一家套壳公司所依赖的责任防火墙——即供应商提供工具、而雇主承担全部风险这一观念。
大约一年前，一位潜在投资人曾对我说，合规优先的AI是"一个小众玩法"。说市场想要的是速度和规模，而不是可审计性。我告诉他，市场即将被官司逼到开始想要可审计性。我认为ACLU的这份申诉文件印证了这一点。
如需了解详细的监管分析，以及企业应如何做好准备的完整框架，技术深度解析请见此处。
"可我们的系统通过了偏见审计"
人们不断地问我这个问题——如果一个系统通过了年度偏见审计，那不就够了吗？
不够。原因如下。
大多数偏见审计检测的是差别性影响，采用的是五分之四规则：如果某个受保护群体的选拔率低于选拔率最高群体的80%，就存在问题。这是一个有用的下限，却是一个糟糕的上限。一个系统可以在总体上通过五分之四规则，同时又系统性地亏待特定的交叉群体——比如失聪的原住民女性——因为样本量太小，不足以触发那个统计阈值。
让D.K.遭到淘汰的，并不是一个普遍歧视女性、或普遍歧视原住民的系统。让她遭到淘汰的，是一个无法处理她那种身份与沟通方式的特定组合的系统。总体层面的公平性指标根本捕捉不到它。
这就是为什么我们使用SHAP（SHapley Additive exPlanations）分析作为一个持续的监控层，而不是一年一次的打钩项目。SHAP让我们能把每一个单独的决策分解为其构成特征。如果某位候选人得分很低，我们可以精确地看到是哪些特征驱动了那个分数。而如果这些特征与受保护属性相关、而非与工作相关的胜任力相关——如果起主导作用的是"韵律"或"说话节奏"，而不是"解决问题的能力"或"领域专长"——系统就会实时标记自己需要修正。
偏见审计与持续的可解释性监控之间的差别，就好比年度体检与心脏监护仪之间的差别。前者告诉你已经出了什么问题。后者则在还有时间行动时，就抓住了问题。
把这件事做错的真正代价
我想用一件既与技术无关、也与监管无关的事来收尾。
当D.K.的晋升被拒时，这家公司侵犯的不只是她的权利。它失去的是一位业绩优异的员工——一个赢得过奖金和正面评价、按任何常理衡量都已经胜任这个岗位的人。AI并没有把公司从一次糟糕的招聘中保护出来。它把公司从一次绝佳的招聘中"保护"了出来。
每当一个带偏见的系统因为口音、残疾、名字、或一种与训练数据不匹配的语音模式而筛掉一位合格的候选人，公司面对的就不只是法律风险。它失去的是这个人。它失去的是那种视角、那种解决问题的方法、那种再多的"文化契合度"优化也无法复制的亲身经历。
我构建Veriprajna，靠的是一个我如今比起步时更加坚定的信念：那些将主宰下一个十年的公司，是那些想明白了如何把AI用作通往人才的桥梁的公司——通向他们原本会错过的人才——而不是把AI用作把人才筛除出去的过滤器。套壳时代正在自身官司的重压之下崩塌。黑箱时代正被立法逐出历史舞台。
取而代之的东西，必须是种类上的不同，而非程度上的不同。不是一个更好的套壳。不是一次提示词更精心的GPT调用。而是一种从根本上不同的架构——一种知道自己何时出错、能解释自己为何正确、并在两者都不确定时引入人类的架构。
AI应当是通往人才的桥梁，而不是阻挡人才的壁垒。任何一个分不清残疾与缺陷之别的系统，都没有资格去对人们的职业生涯做决定。
"部署了事、概不负责"的时代已经结束。接下来的东西更难、更慢、构建成本更高——而它是唯一真正行得通的东西。
