AI採用は数百万人を差別していたのか——Workday訴訟が突きつけた現実
昨年、私はバンガロールのホテルのロビーに座り、遅れている打ち合わせを待ちながら、スマホで訴訟資料をスクロールしていた——普通の人がInstagramをスクロールするように。そのとき、思わずコーヒーを置いてしまう一節に行き当たった。
カリフォルニア州の連邦判事は先ごろ、700億ドル規模のHRソフトウェア大手Workdayが、エージェントとして、連邦の反差別法の下で法的責任を負いうるとの判断を下した。単なるツールではない。中立的なプラットフォームでもない。エージェント——誰かの年齢や人種を理由に履歴書を捨てる人間のリクルーターと、法的にはまったく同じカテゴリーだ。
原告のデレク・モブリーは、障害を持つ40歳以上のアフリカ系アメリカ人男性で、100件を超える求人で不採用となっていた。その多くは応募から数分以内、しかもしばしば営業時間外に届いた拒否だった。彼の履歴書を人間が見たことは一度もなかった。ソフトウェアが、彼は検討に値しないと判断し、それをアルゴリズム的な一貫性をもって何度も何度も繰り返したのだ。
私はAIシステムを構築している。私の会社であるVeriprajnaは、企業向けの認知アーキテクチャを設計している——業界の大半が売っている、いい加減で確率的な近道を置き換えるはずの、深く決定論的なAIだ。そしてあの判決を読んだとき、私が最初に思ったのは『これはWorkdayにとって痛手だ』ではなかった。こう思ったのだ——AI採用業界の大半は、同じ腐った土台の上に築かれている。そして、それについてほとんど誰も語っていない。
11億件の不採用と、それに気づいた一人の判事
エンジニアリングチームに共有したとき、その場を凍りつかせた数字を紹介しよう。
Workday訴訟の対象期間中に、約11億件の求人応募が不採用とされた——Workdayのソフトウェアを通じて。これは誤植ではない。ミリオン(百万)ではなく、ビリオン(十億)だ。
2025年5月、連邦裁判所は、ADEA——雇用における年齢差別禁止法(Age Discrimination in Employment Act)——に基づく年齢差別についての全国的な集団訴訟(collective action)の仮認定を認めた。これは、2020年9月以降にWorkdayのプラットフォームを通じて雇用の推薦を拒否された40歳以上のすべての人が、通知を受け、訴訟に参加できることを意味する。2025年7月までに、裁判所はその対象範囲を、Workdayが買収したAI採用ツールであるHiredScoreを通じて処理された応募者にまで拡大した。
ソフトウェアが10億件の応募を拒否し、裁判所が『そのソフトウェアは法的にあなたのエージェントだ』と述べるとき、HRテック業界全体が抱えているのは広報上の問題ではなく、構造的な問題である。
これについて社内で交わした議論を覚えている。うちのエンジニアの一人——切れ者で、機械学習に深い背景を持つ男だ——がこう言った。『でもWorkdayは単にレコメンデーションエンジンを動かしているだけだ。検索結果が悪いといってGoogleを責めるようなものだ』。私はこう返した。『いや。候補者の選別を任せるために雇った人材紹介会社が、1995年より前に卒業した人間の履歴書をすべて捨てていた——そういうことで人材紹介会社を責めるようなものだ』。
裁判所は、まさにその区別を行った。リタ・リン(Rita Lin)判事は、『単純なツール』——表計算ソフトやメール——と、候補者を能動的にスコアリングし、順位づけし、推薦するシステムとを分けた。WorkdayのAIは、人間がレビューするためにデータを整理していたのではない。誰を先へ進ませ、誰を進ませないかを決めるという、伝統的な雇用主の機能を果たしていたのだ。それは代理(エージェンシー)であり、法的責任である。
アルゴリズムはどうやって年齢差別を学ぶのか?
これこそ、私を夜も眠れなくさせる部分だ。なぜなら、その仕組みがあまりにも平凡だからだ。
Workdayの誰も——これは本心から信じているが——腰を据えて、次のように述べるコードを書いたわけではない。すなわちif age > 40: reject()。そんなものは漫画じみて違法であり、しかも簡単に検出できてしまう。本当の問題はもっと巧妙で、正直なところ、はるかに修正が難しい。
企業の過去の採用データ——その企業の『成功した従業員』——で機械学習モデルを訓練するとき、あなたは、過去の採用担当者たちが抱えていたあらゆるバイアスをモデルに与えていることになる。もしその企業が歴史的にエンジニア職に若い労働者を採用してきたなら、モデルは、若さと相関するシグナルが『成功』を予測すると学習する。年齢を直接、ではない。代理変数(プロキシ)だ。
AIスクリーニングシステムが、あなたの生年月日を一度も見ることなく、あなたの年齢について推定できることは、次のとおりだ——
あなたのメールドメイン。@aol.com や @hotmail.com のアドレスは、より高齢のユーザー層と相関する。あなたの技術的な言及——Lotus NotesやCOBOLの専門知識を挙げれば、あなたは特定の時代に位置づけられる。総経験年数、そこでは『15年以上』が時間的なアンカーになる。さらにはキャリアの進展を示す指標さえも——1990年代初頭の『ジュニア・プログラマー』という肩書きは、あなたがいつ労働市場に入ったかをモデルに正確に告げる。
私は自分のチームでこれを検証した。私たちは合成データセット——変数を制御した架空の履歴書——を構築し、標準的なトランスフォーマーベースのスクリーニング・パイプラインに通した。モデルには年齢について何も伝えていなかった。しかし、EEOC(米雇用機会均等委員会)の五分の四ルール(Four-Fifths Rule)——保護対象グループの選定率が最も高いグループの率の80%を下回ると不利益な影響(アドバース・インパクト)を指摘するルール——を用いて選定率を測定したところ、40歳以上の応募者についての結果は壊滅的だった。選定率は、若い応募者の半分。影響比率は約0.50で、0.80という基準値を大きく下回っていた。
アルゴリズムはあなたの年齢を知る必要などない。必要なのは、あなたのメールプロバイダー、あなたの語彙、そしてあなたのキャリアの時系列だけだ。あとは数学がやってくれる。
誰も差別をプログラムしたわけではない。訓練データがまさに差別そのものなのだ。それは重みとパラメータへと結晶化され、大規模に提供し返されている。
なぜ『GPTを使えばいい』が誤った答えなのか
私はこれを絶えず言われる。投資家から、見込み客から、AIによる変革についてブログ記事を3本読んだだけの善意のCTOたちから。『GPT-4をラップするだけでいいじゃないか。それで十分だ』と。
ある投資家は、ピッチの最中に面と向かって私にこう言った。彼は椅子にもたれ、腕を組んで言った。『アシュトシュ、OpenAIはこれに何十億ドルも費やしてきた。君は、40人の会社がそれより優れたものを作ると言うのかい?』
私は彼に、それは誤った問いだと告げた。問題は、GPT-4がテキスト生成において『優れている』かどうかではない。もちろん優れている。問題は、確率的なテキスト生成エンジンが、52歳のソフトウェアエンジニアが家族を養えるかどうかを左右する決定を下してよいのか、ということだ。
市場は、私が「LLMラッパー」と呼ぶものであふれ返っている——GPT-4やClaudeのような基盤モデルの出力を再パッケージし、『AI採用ソリューション』として売る、薄いアプリケーション層だ。デモでは見栄えがいい。しかし本番環境では壊滅的に失敗する。その理由はこうだ。
LLMは最も可能性の高い次のトークンを予測する。ただそれだけだ。高度なオートコンプリート・エンジンにすぎない。候補者が職務要件を満たしているかどうかを推論しているわけではない。それは、推論のように見えるテキストを生成しているだけだ。そして採用の現場では、『推論のように見える』ことと『実際に推論している』ことの差は、コンプライアンスと集団訴訟(クラスアクション)との差である。
よく知られ、十分に記録された現象がある——「中間情報の消失(lost-in-the-middle)症候群」と呼ばれるものだ。標準的なトランスフォーマー・アーキテクチャは、コンテキストウィンドウの冒頭と末尾にある情報を処理する際には高い精度を示すが、中間部分では注意(アテンション)が著しく低下する。10ページの履歴書では、中間のセクションに埋もれた重要な資格や最近の実績が、統計的により見落とされやすくなる。モデルがそれらを重要でないと判断したからではなく、アーキテクチャが文字どおり、すべてに等しく注意を払うことができないからだ。
このアーキテクチャ上の限界と、それを解決するための私たちのアプローチについては、研究のインタラクティブ版に書いた。
そして、経済的な問題もある。LLMラッパーは、私が「堀の吸収(moat absorption)」と呼ぶ現象に直面する——基盤モデルの提供企業がより高性能なベースモデルをリリースするにつれ、彼らは、ラッパーが価値提案として依存している機能を必然的に取り込んでいく。履歴書の解析、感情分析、基本的なマッチング——こうしたものは、いずれOpenAIやGoogleがネイティブに提供するようになる。単にAPIをラップしているだけの企業は、顧客とのやり取りを重ねるたびに、自らの競争優位を訓練によって手放しているのだ。
私たちが自分たちのシステムを壊した夜
8か月ほど前のある木曜の夜について話したい。その夜が、私たちが作るすべてのものについての私の考え方を変えたからだ。
私たちは、採用スクリーニング・モジュールのプロトタイプ——のちほど説明するニューロシンボリック・アーキテクチャ——を、ベンチマークデータセットに対してテストしていた。システムは精度の指標で見事な性能を発揮していた。適合率(precision)は高く、再現率(recall)も堅実だった。これに1日14時間取り組んできた私の主任ML(機械学習)エンジニアは、ほとんど顔を輝かせていた。
そのとき、私たちのコンプライアンス・アナリストが公平性監査を実行した。
システムは、障害の有無に関して人口統計学的パリティ(demographic parity)の違反を示していた。大きなものではない——影響比率は約0.78で、0.80という基準値をかろうじて下回る程度だった。だが、確かにそこにあった。私が誰にでも『設計段階からバイアスに強い』と言い続けていた、ほかならぬ私たち自身のシステムが、差別的な結果を生み出していたのだ。
部屋は静まり返った。私は気分が悪くなった。
私たちは、それから3日間をかけてパイプラインを徹底的に解体した。犯人は、私たちが中立だと思い込んでいた訓練データの中のある特徴量——就業空白期間の長さ——だと判明した。障害を持つ候補者は、統計的に就業空白を持ちやすい——療養休暇のため、アクセシビリティに関連した転職のため、回復期間のためだ。私たちのモデルは、空白期間がより低い『成功』を予測すると学習しており、代理変数を通じて障害にペナルティを与えていたのだ。
私たちがそのバイアスを捉えられたのは、それを探していたからだ。既製のAI採用ツールを使うほとんどの企業は、探してすらいない。探すべきだということさえ知らないのだ。
私たちはこれを、敵対的デバイアス(adversarial debiasing)を用いて修正した——第二の『敵対者(adversary)』モデルを訓練して、私たちの予測器の出力から保護対象の属性を予測させ、その敵対者が成功するたびに予測器にペナルティを課すのだ。これは、差別的なパターンを後処理で単に覆い隠すのではなく、システムにそれを学習し直させて忘れさせる、イン・プロセッシング(処理内)の手法である。
しかし、その教訓は技術的なものではなかった。教訓はこうだ——公平性と検証に取りつかれた私たちのような企業でさえ、バイアスのかかったシステムを危うく出荷しかけたのなら、ほかのみんなはいったい何を出荷しているのか?
『ディープAI』は採用にとって実際に何を意味するのか?
私たちがLLMラッパーではなく『ディープAI』を作ると言うとき、それはより深いニューラルネットワークを使うという意味ではない。問題そのものへとより深く踏み込む、という意味だ。
私たちのアーキテクチャはニューロシンボリックだ——ニューラルネットワークの言語的能力と、記号的推論の論理的厳密さを組み合わせている。実際には、これは私たちのシステムにおいてLLMが意思決定者ではないことを意味する。LLMは翻訳者なのだ。
専門用語を抜きにして、その仕組みを説明しよう——
履歴書が私たちのシステムに入ると、専用の言語モデルが構造化された事実を抽出する——『この人物はPythonの経験が5年ある』『この人物はPMP資格を保有している』『この人物は2018年から2022年までX社で働いていた』というように。これらは解釈ではない。エンティティ(実体)の抽出であり、スキル・職務・組織の要件の間の関係を定義する知識グラフへとマッピングされる。
そして——ここが決定的に重要な部分だが——決定論的なルールエンジンが、抽出されたそれらの事実を職務要件に照らして評価する。ニューラルネットワークではない。確率分布でもない。実際のロジックだ——IF experience >= 5 AND skill == Python THEN eligible = TRUE。ポリシーは重みの中ではなくコードの中に存在するため、LLMがポリシーを幻覚(ハルシネーション)で生み出すことはできない。
すべての推薦は、監査可能なロジックの証跡を生成する。どのルールが、どのデータポイントによって、候補者ファイルのどのセクションで発火したのかを、正確に追跡できる。規制当局や原告側の弁護士が『なぜこの人物は不採用になったのか?』と尋ねたとき——あなたは『モデルがそう考えたから』ではない答えを持っている。
私たちはこれを、私たちが「憲法的ガードレール(constitutional guardrails)」と呼ぶもので保護している——あらゆるインタラクションの前・最中・後に動作する三層の防御だ。入力レール(input rails)は、敵対的なプロンプトやPII(個人識別情報)の漏洩が中核ロジックに到達する前に捕捉する。対話レール(dialog rails)は会話上の境界を強制する。出力レール(output rails)は、あらゆる結果を人間のリクルーターに届く前にスキャンし、幻覚・有害性・ポリシー違反がないか確認する。
これは理論上の話ではない。私たちのアーキテクチャと、それを支える法的枠組みの完全な技術的解説については、私たちの研究論文を参照してほしい。
AIによる採用を、本当に公平にできるのか?
人々は絶えず私にこう尋ねる。たいていは、答えはノーだと思っていることをにおわせる、懐疑的な口調で。
私の正直な答えはこうだ——完全に公平にすることはできない。採用における公平性には、本質的なトレードオフが伴う——それは哲学的なものだけでなく、数学的なものだ。人口統計学的パリティ(グループ間で選定率が等しいこと)を最適化すると、オッズの均等(真陽性率と偽陽性率が等しいこと)と衝突しうる。予測パリティ(高いスコアがすべてのグループにとって同じ意味を持つよう保証すること)を最適化すると、その両方と衝突しうる。
しかし、それを現状よりも劇的に公平にすることはできる——現状とは、バイアスのある人間か、中立を装ったバイアスのあるアルゴリズムのいずれかだ。そして、それを監査可能にすることもできる——それこそが、法が実際に求めているものだ。
私たちはSHAP——SHapley Additive exPlanations——を用いて、あらゆる意思決定におけるあらゆる特徴量に貢献度の値を割り当てる。『スキルXはこの候補者のスコアに+15貢献した。就業空白は-3だった』というように。私たちはLIME——Local Interpretable Model-agnostic Explanations——を用いて、わずかな変更が意思決定を反転させるかどうかを検証する。もし候補者の郵便番号を変えただけで結果が変わるなら、何かがおかしい。
私たちは反実仮想的な説明(counterfactual explanations)を生成する——『この候補者が選ばれなかったのは、資格Yを欠いていたからだ。もし資格Yを持っていれば、基準値を上回るスコアになっていただろう』。これはブラックボックスではない。これはグラスボックス(透明な箱)であり、EEOCの2023年5月のガイダンスが求めているものだ。
ほとんどの企業が持っていない『三つの防衛線』モデル
企業の人事チームと彼らのAIツールについて話し始めたとき、私を驚かせたことがある——その大半は、自分たちがどんなモデルを動かしているのかまるで分かっていないのだ。
これは文字どおりの意味だ。私は、フォーチュン500企業のCHRO(最高人事責任者)——年間数万人に影響する採用の意思決定に責任を負う人物——との会議に同席し、こう尋ねた。『御社のAIスクリーニングツールについて、人口統計グループ別の選定率を教えてもらえますか?』。きょとんとした顔。『それがどのモデルを使っているか教えてもらえますか?』。さらに長い、きょとんとした顔。『誰がバイアスについてそれを検証したか教えてもらえますか?』。彼女はこう答えた。『それはベンダーが対応していると思います』。
ベンダーが『対応』している。Workdayの判例の下では、いまやあなたのエージェントとして責任を問われかねない、まさにそのベンダーが。差別的な結果に対する責任を否認する条項を、ほぼ間違いなく契約に盛り込んでいる、まさにそのベンダーが。
採用におけるエンタープライズAIには、リスク管理の専門家が「三つの防衛線(three lines of defense)」と呼ぶモデルが必要だ——
第一の防衛線——AIを構築・展開する事業部門だ。彼らは、訓練データの選定、氏名や卒業年を匿名化するブラインド採用の手法、そして日々のモニタリングに責任を負う。
第二の防衛線——リスクとコンプライアンスの監督だ。モデルレジストリ——すべてのAIモデル、その目的、そのデータソース、そのリスク階層を一元管理した目録。選定率と影響比率の継続的なモニタリング。マーケティング用の資料だけでなく、バイアステストの文書化を要求するベンダー審査。
第三の防衛線——独立した監査だ。ニューヨーク市のローカル法144(Local Law 144)は、すでに自動化された雇用意思決定ツールに対し、独立した第三者による年次バイアス監査を義務づけている。罰則は初回違反につき500ドルから始まり、違反1件あたり1日1,500ドルまで加重される。しかし、本当のコストは罰金ではない——裁判所が、あなたの会社名を、被害を受けた可能性のある何百万人もの応募者に送付するよう命じたときに何が起こるか、それこそが本当のコストだ。まさにこれこそ、Workdayの集団訴訟認定が可能にするものである。
なぜ『ソブリンAI』がエンタープライズ採用の未来なのか
Workdayの訴訟は、私が2年前から注視してきたある変化を加速させている——すなわち、私がソブリンAI(主権的AI)と呼ぶものへの、エンタープライズ採用における移行だ。
企業は、自社の専有する採用データを第三者のAPIに送ることが、そのデータが他社のモデルの次世代を訓練するために使われうることを意味する、という事実に気づき始めている。公開APIが更新されるとき——それは予告なく起こる——慎重に検証したスクリーニング・パイプラインが一夜にして漂流(ドリフト)し、同じ候補者に対して異なる結果を生み出しうることに気づきつつある。汎用のLLMには、正確な専門的評価に必要なドメイン固有の知識グラフが欠けている、と理解しつつあるのだ。
私が話をする企業は、ますます自社のモデルを所有したいと考えている。自社のバーチャルプライベートクラウド内で稼働させ、いつどのように更新するかを制御し、ベンダーの善意に依存しない完全な監査証跡を維持したいと。
これこそ、私たちVeriprajnaが向かっている方向だ。私たちはAPIアクセスを売らない。私たちが構築するのは、組織的な知識、コンプライアンス規則、そして決定論的なロジックを、AIを強力なインターフェースとして——統計的な『雰囲気』で人生を左右する決定を下す、誤りうる神託(オラクル)としてではなく——利用するシステムへと符号化する認知アーキテクチャだ。
頭から離れない考え
私は何度もデレク・モブリーのことを思い返す。100件を超える応募。ソフトウェアによって、しばしば数分で、真夜中に拒否された。彼の資格を人間が見たことは一度もなかった。誰も彼に告げなかった——なぜなのかを。
そして、彼は特別な存在ではない。ただ、訴訟を起こした一人にすぎない。
何百万もの人々がいる——有資格で、経験豊かで、有能な人々が——歴史的な偏見の上で訓練され、十分なテストもなく展開され、意味のある監督もなく運用されたアルゴリズムによって、求人の機会からふるい落とされてきた。彼らは、自分の @hotmail.com のメールアドレスが、モデルがペナルティを与えるよう学習した年齢層と相関していた、などと説明する不採用通知を受け取ったわけではない。彼らが受け取ったのは沈黙か、定型メールだけで、そして次の応募へと進んでいった。
Workdayの判決は、この問題を解決するわけではない。しかし、それとほぼ同じくらい重要なことを成し遂げる——問題を高くつくものにするのだ。そしてエンタープライズソフトウェアの世界では、高くつく問題は修正される。
もはや問題は、AIを採用に使うべきかどうかではない。あなたが使っているそのAIが、証言録取(デポジション)に耐えられるかどうかだ。
私はAIを生業として作っており、採用をより公平に、より効率的に、より人間的にするその可能性を深く信じている。だがそれは、私たちが採用AIを消費者向け製品のように扱うのをやめ、それが本当は何であるかに即して扱い始めた場合に限られる——すなわち、人々の生計を左右する、リスクの高い意思決定システムであり、アメリカの法の中でも最も厳しく規制された領域の一つで稼働しているもの、として。
ブラックボックスの時代は終わった。それにふさわしく作れ。
