性差別を学習したAI採用ツール――そして、公平なAIの作り方について私が学んだこと

数か月前、私はある中堅テック企業のCHRO（最高人事責任者）と向かい合って座っていた。彼は本心からの誇りを込めて、採用パイプラインの「バイアスを解決した」と語った。彼らはAI搭載のスクリーニングツールを導入していた。それは履歴書を解析し、候補者をランク付けし、採用充足までの時間を40%短縮していた。

私は一つだけ質問した。「そのツールは何を予測しているのですか？」

沈黙。それから、「どういう意味ですか？誰を採用すべきかを予測しています」

「違います」と私は言った。「そのツールが予測しているのは、あなたが採用していたであろう人物です。あなたのエンジニアリングチームが84%男性だった、10年分のデータに基づいてね」

彼の顔から血の気が引いた。彼は、自分が排除していると思い込んでいたまさにそのバイアスを自動化するツールに、6桁の金額を費やしていたのだ。

この会話が私の頭を離れないのは、これが例外的なケースではないからだ。これが常態なのだ。AI採用ツールの第一世代全体――そして私が言っているのは、今まさに市場に出回っているものの圧倒的多数のことだ――は、根本的に欠陥のある前提の上に築かれており、その結果が人々の生計に関わることでなければ、笑ってしまうほどだ。これらのツールは、過去の採用データで訓練された予測型AIを使っている。それらは過去に誰が採用されたかを学習する。そして、そのパターンを大規模に、容赦ない効率で再現し、私たちを救えたかもしれない唯一のもの――一見して分かりにくい候補者を見て、こう思う、ちょっと賭けてみよう――そんなことを時折思う人間のリクルーターを、そぎ落としてしまう。

Veriprajnaでは、私たちはAI採用システムを違った形で構築している。私たちは因果AIを使う――採用されていたであろう人物を予測するためではなく、実際に高いパフォーマンスを発揮するのは誰かを予測するためだ。そして、私たちはその予測をストレステストにかける。ほとんどのAIシステムが解析すらできない問いを投げかけることによって。この候補者が別の人口統計グループ出身だったら、私たちの答えは変わるだろうか？

もし変わるなら、そのモデルは失格だ。私たちは戻ってそれを修正する。

これは、なぜその区別が、今HRテクノロジーで起きている他のどんなことよりも重要なのか、という物語だ。

「カルチャーフィット」とは、もっと巧みなマーケティングを施した同質性選好にすぎない

テクノロジーの話に入る前に、私は人間の問題について語る必要がある――なぜなら、AIの問題はその下流にあるからだ。

社会学にはホモフィリー（同類性）という概念がある。それは、人々が自分と似た他者と交わり、絆を結び、そして好む傾向のことだ。これは社会科学で最も強固に立証された現象の一つである。そして、それは世界のほとんどの採用判断を動かす目に見えないエンジンなのだ。

ホモフィリーは、ラグビーをやっていた採用マネージャーが、ラグビーに言及した候補者を無意識に高く評価してしまう理由だ。それは「カルチャーフィット」――あらゆるリクルーターの語彙の中で神聖で侵しがたいあの言葉――が、ほとんど常に「この人は自分を思い出させる」に翻訳されてしまう理由だ。バークレーの研究者たちは、面接官が日常的に「コミュニケーション能力」を「自分のように話す」と混同していることを発見した。異なる社会経済的背景を持ち、異なる言語的言い回しを使う候補者は、「洗練さの欠如」として低く評価される。彼らの答えの中身は、ほとんど記憶に残らないのだ。

Veriprajnaの初期の頃、あるシニアアドバイザーと激しい議論をしたことを覚えている。彼は、カルチャーフィットは正当な採用基準だと主張した――チームには結束、共有された価値観、共通の言語が必要だと。私はその原則には反対しなかった。私が反対したのは、その実行方法だ。なぜなら、研究者たちが「カルチャーフィット」を最適化する組織で実際に何が起きるかを調べると、彼らは不穏なものを見つけるからだ。そうした組織は、ネットワーク科学者がホモフィリー・トラップ（同類性の罠）と呼ぶものに陥る。マイノリティの割合が約25%を下回ると、多数派が多数派を採用し、人口統計的構成は固定化する。イノベーションは停滞する。集団思考が支配する。組織は合わせ鏡の広間になる。

「カルチャーフィット」は採用基準のように聞こえる。だが実際には、既存のチームを複製する仕組みであり――それを戦略と呼んでいるだけだ。

解決策は、文化的整合性という概念を廃止することではない。「カルチャーフィット」から「カルチャーアッド（文化への付加）」へと転換することだ――前提を確認する人ではなく、前提に挑む人を採用することだ。しかし、その転換には、ほとんどの人間のリクルーターが確実には行えないものが必要になる。すなわち、候補者の人口統計的シグナルに対して真に目隠しをしながら、その潜在的な貢献を評価することだ。

そこで、ブラインド・オーディションの話につながる。

オーケストラが1970年代に見出したこと

1970年代、アメリカの主要な交響楽団は圧倒的に男性ばかりだった。当時の支配的な通念は、女性には特定の楽器を演奏するための「肺活量」や「気質」が欠けている、というものだった。そこでオーケストラは、候補者をスクリーン（衝立）の後ろに立たせ始めた。審査員は音楽――パフォーマンスの実際の因果的要因――を聞くことはできたが、演奏者を見ることはできなかった。

女性の採用が急増した。

スクリーンは音楽の質を変えたわけではない。それが変えたのは聴き方の質だ。それは評価者に、ノイズ（外見）ではなくシグナル（音）に反応することを強いたのだ。

この類推は、私たちが構築しているものについての私の考え方の基盤となった。デジタル時代には、すべての求職者を物理的なスクリーンの後ろに立たせることはできない。だが、数学的なスクリーンとして機能するAIを構築することはできる――性別、人種、年齢といった保護属性に対して証明可能な形で目隠しをしながら、職務パフォーマンスの因果的要因を評価するAIだ。

問題は、標準的なAIがその逆をやってしまうことだ。それは透明な窓として機能する。過去のデータにあるあらゆるバイアスが、そのまま素通りしてしまうのだ。

なぜAmazonのAIは「women's（女性の）」という単語にペナルティを課したのか？

AI採用における最も有名な教訓的な物語は、2018年に廃棄されたAmazonの社内採用ツールだ。このシステムは、同社に提出された10年分の履歴書で訓練された。テック業界は男性に大きく偏っているため、訓練データもその偏りを反映していた。

このAIは、設計された通りのこと――「採用されること」を予測するパターンを見つけること――を正確に行い、男性を示すシグナルが採用成功と相関することを学習した。それは「women's（女性の）」という単語を含む履歴書、たとえば「women's chess club captain（女子チェスクラブのキャプテン）」といった記載にペナルティを課した。二つの女子大の卒業生を格下げした。誰もそれを性差別的になるようにプログラムしたわけではない。それは単に、男性であることがAmazonで採用されることの強力な予測因子だと発見し、そのパターンに最適化しただけなのだ。

過去に忠実であることは、未来に対して不公平であることを意味する。「精度」が人間の判断を予測することを意味するのなら、「優れた」AIは必然的にバイアスのかかったAIになる。

これは模倣学習の中核的な失敗だ――人間のリクルーターを真似るようにAIを訓練すること。もしリクルーターがバイアスを持っていたなら（そしてホモフィリーゆえに、彼らは持っていた）、AIは私が「バイアス・カプセル」と呼び始めたものになる。それは10年分の偏見を結晶化させ、すべての新しい応募者にマシンの速度で適用するのだ。

Amazonは少なくとも、そのプロジェクトを中止するだけの誠実さを持っていた。似たようなツールを使っているほとんどの企業は、自分たちがその問題を抱えていることさえ知らない。

GPTはどうか？LLMラッパーの罠

Amazonの話が報じられた後、私は業界が軌道修正するだろうと思っていた。ところが、生成AIブームが生み出したのは、間違いなくもっと悪いものだった。すなわち、GPT-4やClaudeのような汎用大規模言語モデルの上に構築された薄いインターフェース――ラッパー――である「AI搭載」採用ツールの氾濫だ。

「GPTを使えばいい。採用データで少しファインチューニングして、出荷しろ」と私に言ってきた投資家や潜在的パートナーの数は、数えきれない。そのたびに、私は同じ返答をする。GPTが何で訓練されたか、あなたは知っていますか？と。

オープンなインターネットだ。人類のテキストの総和――そのバイアス、ステレオタイプ、偏見も含めて。ワシントン大学の研究者たちは、LLMが履歴書をスクリーニングするとき、白人と結びつく名前が85%の確率で好まれることを発見した。たとえ資格が同一であってもだ。一部のテスト反復では、黒人男性の名前が一度も1位にランクされなかった。モデルは、訓練データの統計的パターンに基づいて、特定の名前を「有能さ」と結びつける。ラッパーはそれを簡単にはオフにできない。なぜなら、そのバイアスはモデルの言語に対する根本的な理解に織り込まれているからだ。

そしてそれは、ハルシネーションに至る前の話だ。LLMは確率的なテキスト生成器であり、論理エンジンではない。それらは候補者が持っていないスキルをでっち上げたり、持っているスキルを見逃したりする。なぜなら、モデルは事実の正確さではなく、もっともらしく聞こえるテキストに最適化しているからだ。コンプライアンスの文脈では――不採用になった候補者が訴訟を起こすかもしれない場面では――「AIが、あなたに必要な資格が欠けているとハルシネーションを起こした」というのは、成り立つ法的抗弁ではない。

さらに、ブラックボックス問題がある。ラッパーに、なぜ候補者Aを候補者Bより上位にランク付けしたのかと尋ねれば、それは自信ありげに聞こえる説明を生成できる。だが、その説明は事後的な正当化であって、判断の因果的な説明ではない。ニューヨーク市地方法144号やEU AI法の下では、その不透明さはますます不適合となっている。

私はこの問題について――そして私たちの解決アプローチについて――私たちの研究のインタラクティブ版の中で書いた。

間違った問い vs. 正しい問い

これがすべての核心だ。

標準的な採用AIはこう問う。「過去の実績に基づいて、この人物は採用されるだろうか？」

私たちはこう問う。「この人物は高いパフォーマンスを発揮するだろうか？」

これらは似ているように聞こえる。だが、両者は天と地ほど違う。

第一の問いは、リクルーターの判断で訓練する――ホモフィリー、親近感バイアス、そして既存チームの人口統計へのパターンマッチングによって汚染された判断だ。第二の問いは、ビジネス成果で訓練する。18か月を超える定着、KPIの達成、業績評価、チームのアウトプット向上だ。

判断ではなく成果で訓練すると、注目すべきことが起きる。もし多様な候補者が歴史的に高いパフォーマンスを発揮していたのに、めったに採用されなかったのなら――そしてそれは多くの組織でデータが実際に示していることだが――成果ベースのモデルは、彼らを評価することを学ぶ。模倣ベースのモデルは、彼らを無視することを学ぶ。

これは微妙な区別ではない。それは過去を自動化することと、未来を設計することとの違いなのだ。

AIを証明可能な形で公平にするには、どうすればいいのか？

よし。では、私たちは判断ではなく成果で訓練する。それは必要だが十分ではない。なぜなら、成果データでさえ構造的バイアスの痕跡を帯びうるからだ――もし多様な従業員が、より少ないリソース、より劣った任務、より少ないメンタリングしか与えられなかったなら、彼らの成果は人為的に抑え込まれていたかもしれない。

ここで私たちは、予測型AIから因果AIへと、そして具体的には反事実的公平性と呼ばれるフレームワークへと移る。

この考え方は、ジュディア・パールの「因果のはしご」に根ざしており、拍子抜けするほどシンプルだ。標準的な機械学習は、パールのはしごのレベル1、すなわち関連で作動する。それはパターンを見る。「特性Xを持つ人々は、成果Yを得る傾向がある」。有用だが、相関と因果の違いには盲目だ。

因果AIはレベル3、すなわち反事実で作動する。それは代替的な現実を想像できる。「もしこの候補者が女性ではなく男性だったら、他のすべてを一定に保った状態で、モデルの予測は変わるだろうか？」

もし答えがイエスなら、そのモデルは不公平だ。それだけのことだ。

私たちはこれを構造的因果モデルを使って実装する――変数間の因果関係をマッピングする透明なグラフだ。ブラックボックスのニューラルネットワークとは異なり、SCMは入力から出力へとつながるどの経路が、そしてなぜつながるのかを、正確に見せてくれる。

ある夜、私のチームを遅くまで悩ませた具体例がある。私たちはあるモデルを構築していて、「郵便番号」が定着の強力な予測因子であることに気づいた。理にかなっている――長い通勤は人を疲弊させる。だが、郵便番号はほとんどのアメリカの都市で人種とも相関する。標準的なモデルは郵便番号を無差別に使い、「中立的な」変数を使っているように見せかけながら、事実上、人種で差別することになる。

私たちのSCMは、両方の経路をマッピングする。

• 正当な経路： 郵便番号 → 通勤時間 → 定着
• 見せかけの経路： 郵便番号 → 人口統計 → 歴史的バイアス

私たちは、第一の経路を保ちながら、第二の経路を数学的にブロックする。モデルは郵便番号を、それが通勤時間を予測する限りにおいてのみ使える。もしそれが郵便番号を使って人種を推測し始めたら、ペナルティが発動する。

問題は、あなたのAIが保護属性を直接使うかどうかではない。それが、それらの属性を裏口からこっそり持ち込むプロキシ（代理変数）を使うかどうかなのだ。

モデルに、自らの偏見を学習棄却させるよう訓練する

訓練の間、私たちはこれを実際にどう強制するのか？敵対的デバイアシングと呼ばれる技術を通じてだ――本質的には、モデルの学習プロセスに組み込まれた公平性ペナルティだ。

訓練の間、モデルは二つの競合する目的に対して同時に最適化する。第一に、職務パフォーマンスの予測精度を最大化すること。第二に、モデルの内部表現から候補者の保護属性（人種、性別、年齢）を予測する能力を最小化することだ。

私たちは「敵対者」を導入する――その唯一の仕事が、メインモデルの出力から候補者の人口統計を推測しようとすることである二次モデルだ。もしメインモデルが「ラクロス」（社会経済的地位のプロキシであり、人種と相関する）や特定の大学名といったプロキシ特徴に頼り始めると、敵対者は、今や人口統計をより容易に推測できると検出する。これがペナルティを引き起こし、メインモデルの現在の状態のコストを増加させる。

総損失を最小化するために、モデルは人口統計を明かすことなくパフォーマンスを予測する特徴を見つけざるを得なくなる。スキル。経験。客観的なテストスコア。実際の因果的要因だ。

私は時々、私のチームが嫌がる間の抜けた例えでこれを説明する。それは犬に新聞を取ってくるよう訓練するようなものだ。もし犬が新聞を取ってきても破いてしまったら、ごほうびはなし。やがて、犬は破かずに取ってくることを学ぶ。私たちのモデルは、差別することなく予測することを学ぶのだ。

デプロイの前に、私たちは何千もの反事実シミュレーションを実行する。実在の候補者の履歴書を取り、名前と代名詞は異なるがスキルと経験は同一の「合成された双子」を生成し、両方をモデルに通す。もしスコアが乖離すれば、そのモデルは監査に不合格となる。私たちは、それらが収束するまで反復する。このプロセスの完全な技術的内訳については、私たちの研究論文を参照してほしい。

なぜこのすべてが法的に重要なのか？

なぜなら、規制の壁が迫ってきており、ほとんどの企業は準備ができていないからだ。

ニューヨーク市地方法144号は、2023年以降施行されており、自動化された採用ツールが過去1年以内に独立したバイアス監査を受けていない限り、その使用を禁止している。この法律は、影響比率の算出を義務付けている――人口統計グループ間で選抜率を比較するものだ。多くのブラックボックス・ベンダーがこれらの監査に不合格になっている。なぜなら、彼らは自分たちのモデルが異なる特徴をどう重み付けするかを制御できないからだ。彼らは事後的にバイアスにパッチを当てようと躍起になっているが、それはケーキを焼き戻そうとするようなものだ。

EU AI法はさらに踏み込み、採用AIを「高リスク」――医療機器と同じ規制区分――に分類している。これは、データガバナンス、人間による監督、そして立証可能なバイアスの不在をめぐる厳格な要件を課す。サードパーティのAPIを通じてデータを処理するラッパー・ソリューションは、ここで存亡に関わる問題に直面する。データはあなたのインフラを離れ、モデルは不透明で、コンプライアンスを保証できないのだ。

私たちのモデルは、設計上、監査対応済みだ。訓練中の公平性ペナルティが法律の求めるものよりも数学的に厳格であるため、コンプライアンスは後付けではなく、自然な副産物なのだ。そして、因果グラフが透明であるため、私たちは監査人に――あるいは裁判所に――どの要因が任意の判断を動かしたかを正確に示し、保護属性の重みがゼロだったことを証明できる。

人々は時々、この公平性エンジニアリングのすべてがパフォーマンスを犠牲にして成り立っているのではないかと私に尋ねる。それは私が耳にする最も一般的な反論で、たいていはこう言い表される。「公平性と精度の間にはトレードオフがあるのではないか？」

そんなものはない。より正確に言えば、公平性と、精度の幻想との間にトレードオフがあるのだ。バイアスのかかった人間の判断を予測するのが「正確」なモデルは、実際には職務パフォーマンスを予測するのが正確なわけではない。それは偏見を予測するのが正確なのだ。バイアスをそぎ落とし、実際の成果で訓練すると、予測力を失うのではない――それを本当に重要なものへと振り向けるのだ。

採用に適用されるマネーボールの原則

従業員の離職に関するあるケーススタディでは、因果推論によって、離職の真の要因は給与ではなく「研修機会の欠如」であることが明らかになった。その企業は、一律の昇給ではなく研修プログラムで介入し、離職率を23.9%削減した――しかもわずかなコストで。それが、単に何がではなく、なぜを問うことの力だ。

データ駆動型で成果ベースの採用モデルに移行したUnileverやHiltonのような企業は、採用までの時間を最大90%削減しながら、同時に多様性を高めたと報告した。公平性と効率は対立しない。それらは、実際に正しいものを測定しているシステムの、相関した成果なのだ。

私はこれを、HRに適用されたマネーボールの原則だと考えている。従来のリクルーターは、経歴を過大評価する――アイビーリーグの学位、有名企業――ちょうど野球のスカウトがかつて打率を過大評価していたのと同じように。因果AIは、出塁率に相当するものを見つける。すなわち、実際に勝利という成果を予測する、過小評価されたシグナルだ。「カルチャーフィット」のバイアスを取り除くことで、あなたは人材プールを拡大し、他のすべての企業が組織的に見落としている高パフォーマー層を取り込むことができる。

公平性はパフォーマンスへの税ではない。それは、あなたが経歴とポテンシャルを混同するのをやめたとき、パフォーマンスがどう見えるかということなのだ。

難しい点を正直に認めるところ

これを構築するのは簡単だった、あるいは売るのは簡単だったと言えば、それは嘘になる。

技術は難しい。因果モデルは構築するのに専門知識を要する――あなたは、特定の役割における職務パフォーマンスの実際の因果構造を理解する必要があり、ただアルゴリズムにデータを投げ込めばいいわけではない。その構造を間違えると、正当な経路をブロックしたり、見せかけの経路を開いたままにしたりすることになる。私たちは、ある特定の変数が正当な予測因子なのかプロキシなのかをめぐって、何日も続いた社内議論をしてきた。近道はない。あなたは考えなければならないのだ。

セールスサイクルもまた難しい。採用マネージャーは自分の直感を信頼する。彼らは自分が人物を見る優れた目利きだと信じている。誰かに、あなたの「直感」は実際にはあなた自身の人口統計プロファイルへのパターンマッチングなのだと告げても、ディナーパーティーで人気者にはなれない。私たちは、このテクノロジーを非難としてではなく、意思決定支援ツールとして――スペルチェッカーに類する「バイアスチェック」として――位置づけることを学んだ。それはあなたの代わりに本を書いてくれるわけではない。それは、あなたが避けられる誤りを犯さないようにしてくれるのだ。

そして、データの準備状況は現実的な課題だ。因果AIは頑健なデータを必要とするが、マイノリティグループは歴史的なデータセットで過小に代表されていることが多い。私たちはこれに合成データ生成で対処する――GANを使って、過小に代表されたグループの統計的特性を模倣するプライバシー安全なデータポイントを作り出し、モデルが誰にとっても公平な決定境界を学習するのに十分な事例を持てるようにするのだ。

このどれ一つとして、GPTへのAPI呼び出しをラップして製品を出荷するほど単純ではない。だが、単純なバージョンは機能しない。それはただ静かに、大規模に、実在の人々の人生に損害を与える形で失敗するだけなのだ。

スクリーンであって、鏡ではない

採用におけるAIの第一世代は鏡だった。それは私たちのバイアスを、自動化によって拡大して私たちに映し返し、そして私たちはそれを知能と呼んだ。

次の世代は、スクリーンでなければならない――あのオーケストラのオーディションにあったようなスクリーンだ。候補者を見て人口統計を見るツールではない。音楽に耳を傾けるツールだ。

業界として、私たちはまだそこに到達していない。市場は依然として、間違った目的に最適化され、自らを説明できないモデルの上に構築され、どんな問いを立てるべきかを知らない企業に売られているツールに支配されている。だが、規制環境は変わりつつある。証拠は積み上がっている。そして、これを最初に解明した組織は、競合他社がアルゴリズムによって排除している人材プールへのアクセスを手にすることになる。

私がVeriprajnaを始めたのは、公平性があれば嬉しい程度のものだと思ったからではない。私がそれを始めたのは、データを見て、バイアスが単なる倫理的な失敗ではない――それは予測の失敗なのだと悟ったからだ。モデルが、名前や郵便番号や「間違った」人口統計と相関する趣味を理由に、有資格の候補者を拒絶するたびに、それは間違った予測をしているのだ。それはパフォーマンスをテーブルに置き去りにしている。それは精度よりも快適さを選んでいるのだ。

問題は、AIが採用を変革するかどうかではない。それは、私たちがAIを使って自分たちの最良の直感を拡大するのか、それとも最悪の直感を拡大するのか、なのだ。

私は、自分がどちらの側のために構築しているかを知っている。