採用アルゴリズムが、いつの間にか「医学的検査」になっていた
私の友人——優れたソフトウェアエンジニアで、私がこれまで出会った中でも最高のパターン思考の持ち主の一人——が、11社連続で不採用になったと話してくれた。技術面接の後ではない。その前だ。彼は最初の「性格診断」を一度も通過できなかった。
彼は自閉症だ。そして、それらの企業のどれもが、同じAI搭載スクリーニングツールの何らかのバージョンを使っていた。
その会話のことをずっと考えていた矢先、2024年5月、ACLU（米国自由人権協会）がAonコンサルティングを相手取り、連邦取引委員会に正式な申し立てを行った。その主張は、具体性において衝撃的だった。「バイアスフリー」で多様性を高めるものとして売り込まれていたAonのAI採用ツール一式は、隠れた障害スクリーニングとして機能していた可能性が高いというのだ。これらのツールは「活発さ」「ポジティブさ」「感情的な気づき」といった特性を測定していた。それらは単なる曖昧な性格の次元ではない。自閉症を診断するために用いられる臨床的基準をほぼ完璧に映し出したものだ。
完全な申し立て書を読んだとき、夜の11時に冷めたチャイを片手に自分の机に座りながら、何年も私を悩ませてきたことが腑に落ちた。AI採用業界にはバイアスの問題があるのではない。アーキテクチャの問題があるのだ。そして、どれだけ「責任あるAI」というブランディングを重ねても、それは解決しない。
崩れた約束
この10年近く、AI採用ベンダーの売り文句は魅力的かつ単純だった。人間はバイアスを持つが、アルゴリズムはそうではない。機械に決めさせれば、より公平な結果が得られる、と。
私も初期には、これの一種を信じていた。Veriprajnaを立ち上げたとき、意思決定を形式化できれば——直感や「カルチャーフィット」という勘、自分に似た人を無意識に好む傾向を取り除けば——実力主義に近いものが得られると本気で信じていた。数学が私たちを自由にしてくれる、と。
AI採用業界にはバイアスの問題があるのではない。アーキテクチャの問題があるのだ。
それから、これらのツールが実際に何を測定しているのかを調べ始めた。すると、その数学こそが、排除すると謳っていたまさにそのバイアスを符号化していることに気づいた——ただそれを、客観的に見える言語へと翻訳していただけなのだ。
Aonの主力性格ツールであるADEPT-15は、候補者を15の次元で評価する。「活発さ」（外向的か内向的か）、「気づき」（行間を読めるか）、「冷静さ」（プレッシャー下で落ち着いているか情熱的か）、「柔軟性」（ルーティンを好むか変化を好むか）といったものだ。このツールは強制選択形式——2つの記述文のどちらかを選ぶ——を用い、あなたの以前の回答に基づいてリアルタイムで適応する。
紙の上では洗練されて聞こえる。だが実際には、こう問いかけているのだ。あなたはどれだけ定型発達的か？
採用ツールが臨床診断を映し出すとき、何が起こるのか？
これが、あの夜私を眠らせなかった部分だ。私は自閉症スペクトラム指数——標準的な臨床スクリーニングツール——を取り出し、AonのADEPT-15の構成概念の定義の隣に並べてみた。その重なりは微妙なものではなかった。構造的だった。
AQは社会的スキル、注意の切り替え、細部への注意、コミュニケーション、想像力を測定する。ADEPT-15は「活発さ」「柔軟性」「構造」「気づき」「主張性」を測定する。これらは遠い親戚などではない。同じ構成概念が別の衣をまとっているだけだ。
アルゴリズムが誰かを「外向的」ではなく「内向的」であることで減点するとき、それは職務適性を測定しているのではない。社会的パフォーマンスを測定しているのだ。そして、脳が社会的情報を異なる方法で処理する人——自閉症の人、ADHDの人、社交不安のある人——にとって、その測定はテストを装った罠なのだ。
ACLUの申し立てはそれを率直にこう述べている。これらの診断は「自閉症/メンタルヘルスの診断法を密接になぞっている」。米国障害者法（ADA）の下では、雇用主は、直接的に職務に関連するものでない限り、採用プロセスの一環として医学的検査を実施することはできない。もし性格テストが機能的に臨床スクリーニングツールと区別がつかないのなら、それは一体何なのか。
私はこれを、産業・組織心理学に何年も携わってきた同僚に持ち出したことを覚えている。彼の最初の反応は防御的だった——「これらは妥当性が検証された心理測定尺度だ」。私の返答はこうだ。何に対して検証されたのか？圧倒的に定型発達者ばかりの標準サンプルに対して？それは検証ではない。白衣をまとった循環論法だ。
ビデオ面接の問題は、あなたが思うより深刻だ
Aonの2つ目のツールであるvidAssess-AIは、非同期のビデオ面接の上に性格モデルを重ねる。候補者は質問に答える自分自身を録画する。NLPエンジンがその発話を書き起こし、内容を分析し、ADEPT-15の性格フレームワークに照らしてスコアリングする。
ここからが本当に憂慮すべきところだ。自然言語処理モデルは、圧倒的に定型発達的なコミュニケーションパターンを反映した膨大なテキストデータセットで訓練されている。典型的な発話のリズム。自信の予想されるリズム。物語を構成する「普通の」やり方。
私のチームは、さまざまな発話パターンが商用NLPシステムとどのように相互作用するかを何週間もかけてテストした。平板なイントネーション——自閉症の話者によく見られる——は「熱意の欠如」としてフラグが立てられる。非定型的な間は「不確かさ」と解釈される。非線形な語り——多くのADHDの人が自然に思考を整理する方法で、つながりのあるアイデアの間を飛び移り、後で元に戻る——は「まとまりのない思考」として記録される。
アルゴリズムが誰かを「外向的」ではなく「内向的」であることで減点するとき、それは職務適性を測定しているのではない。社会的パフォーマンスを測定しているのだ。
これらのどれも、その人が仕事をこなせるかどうかとは何の関係もない。そのすべては、その人がカメラの前で定型発達を説得力をもって演じられるかどうかと、あらゆる関係がある。
デューク大学の研究は、大規模言語モデルが神経多様性に関する用語を系統的に否定的な含意と結びつけていることを明らかにした。一部のモデルでは、「私は自閉症です」が「私は銀行強盗です」よりも否定的にスコアリングされる。これらと同じモデルがAPI連携を通じて採用ツールを動かすとき、それらはそうした連想をスクリーニングプロセスへとそのまま持ち込む。開発者の誰もそれを意図していない。アーキテクチャがそれを保証したのだ。
この技術的な仕組みについては、私たちの研究のインタラクティブ版でより詳しく書いたが、要点はこうだ。バイアスのかかったモデルの周りにラッパーをかぶせても、創発的な能力差別（エイブリズム）を修正することはできない。バイアスはバグではない。それは、システムがどう構築されたかという特徴なのだ。
なぜ私は「バイアスフリー」を信じるのをやめたのか
ある瞬間があった——そしてそれを正確に位置づけられる——私のこの問題に対する考えが、「もっと良いバイアス検査が必要だ」から「パラダイム全体が間違っている」へと変わった瞬間だ。
私たちは、あるクライアントの採用パイプラインの内部監査を行っていた。標準的なものだ。人口統計学的パリティのチェック、不利益影響比率、誰もが使う指標。数字はきれいに見えた。人口統計グループ間の採用率は許容範囲内だった。クライアントは満足していた。彼らの法務チームも満足していた。
そのとき、私のエンジニアの一人であるPriyaが、部屋を静止させる問いを投げかけた。「もし、そもそもふるい落とされたはずの人々が、最初から応募すらしていなかったとしたら？」
彼女は正しかった。私たちは、性格スクリーニングを通過した人々の間での公平性を測定していた。しかしスクリーニングそのものが、すでに候補者プールを絞り込んでいたのだ。私たちは生き残った者たちを監査し、それを公平性と呼んでいた。
そのとき私は、AIの公平性に対する「ラッパー」アプローチの根本的な欠陥を理解した。ラッパーは、既存の基盤モデル——GPT-4であれ何であれ——を取り、そこにデータを通し、出力を提示する。その上にバイアスチェックを追加することはできる。結果を後処理することもできる。しかしモデルの内部表現は、すでに訓練データのバイアスを符号化してしまっている。根本的に不公平な機械に、公平性のステッカーを貼っているにすぎない。
これらのモデルが訓練に使う採用データは、何十年にもわたる定型発達への選好を反映している。モデルが展開されると、その決定は将来の訓練セットへとフィードバックされる。内向的な候補者は不採用になり、するとモデルは「内向的」が不採用を予測すると学習し、さらに多くの内向的な候補者を不採用にする。ループは締まっていく。バイアスは複利で増していく。そしてダッシュボードは、すべて問題ないと告げている。
差別しない採用AIを、実際どうやって構築するのか？
これこそ、私がここ数年間かけて答えようとしてきた問いだ。「どうすればAIのバイアスを減らせるか」ではない——その枠組みは現在のアーキテクチャを受け入れ、それにパッチを当てようとするものだ。本当の問いはこうだ。バイアスが隠れられないシステムを、どうやって構築するのか？
私たちがVeriprajnaで開発したアプローチは、一つの核心的な洞察に基づいている。すなわち、相関こそが、差別が潜む場所である。従来の機械学習はデータの中にパターンを見つける。定型発達的なコミュニケーションスタイルが採用されることと相関しているなら、モデルはコミュニケーションスタイルを採用に値するかどうかの代理指標として使う。モデルは自分が差別していることを知らない。ただ最適化しているだけだ。
これを打ち破るには、単なる統計的なパターンマッチングではなく、因果的な推論が必要だ。
私たちは因果表現学習（Causal Representation Learning）と呼ばれる手法を用いる。「どの特徴が採用の成功を予測するか」と問う代わりに、私たちはこう問う。「採用の成功を予測する特徴のうち、保護属性の因果的な下流にないものはどれか」と。これは根本的に異なる問いであり、根本的に異なるアーキテクチャを必要とする。
こう考えてみてほしい。候補者のプロフィールを、つながり合った属性の網として想像するのだ。いくつかのつながりは正当なものだ——経験年数はスキルレベルにつながる。しかしいくつかのつながりは、保護された領域を通っている——コミュニケーションスタイルは神経型につながり、それは性格テストがあなたをどうスコアリングするかにつながり、それはあなたが面接を受けられるかどうかにつながる。因果表現学習は、これらの経路を地図化し、不当なものを数学的に切断する。
私たちはこれを敵対的学習と組み合わせる——2つのモデルを互いに競わせる手法だ。一方のモデルは職務パフォーマンスを予測しようとする。もう一方は、最初のモデルの内部表現から候補者の障害の有無を推測しようとする。もし敵対者が成功すれば、それは予測器が保護情報を漏洩させていることを意味し、システムはそれにペナルティを課す。訓練サイクルを重ねるうちに、予測器は、その人の神経型を明らかにするようにリバースエンジニアリングされ得ない決定を、真に下せるように学習していく。
バイアスのかかったモデルの周りにラッパーをかぶせても、創発的な能力差別（エイブリズム）を修正することはできない。バイアスはバグではない。それは、システムがどう構築されたかという特徴なのだ。
そしてもう一つ、反事実テストがある——私が最も知的に誠実だと感じる部分だ。私たちは実在する候補者のデータを取り、保護属性だけが変化した合成上の双子を生成し、モデルの推薦が同じままかどうかを確認する。「グループレベルの統計は釣り合っているか？」ではなく、「この特定の人物は、もし自閉症でなかったら異なる結果を得ただろうか？」を問うのだ。それこそがADAが実際に問うている問いだ。それこそが、ほとんどの採用AIが答えられない問いだ。
これらの手法の完全な技術的解説——介入的不変性の背後にある数学、敵対的損失関数、構造的因果モデル——については、私たちの技術研究論文をご覧いただきたい。
規制当局はもはや待ってはいない
Aonの申し立てが紛れもなく明らかにしたことが一つある。「素早く動いて後から監査する」の時代は終わったのだ。
FTCの「オペレーションAIコンプライ」の取り組みは、すでに、根拠のないAIの主張をする企業に対する法執行措置につながっている。DoNotPayは、そのAI法律ツールにできることを過大に約束したとして、19万3,000ドルの罰金を科された。Rytrは偽レビューを生成したとして標的にされた。FTCは明確にこう述べている。自社のツールが「バイアスフリー」だと主張するなら、それを証明する実証的な証拠を用意しておいたほうがいい。「ビッグデータで訓練した」は証拠ではない。それは自白だ。
一方でEEOC（雇用機会均等委員会）は、アルゴリズムによる差別を最優先の法執行事項と位置づけている。その立場は明快だ。雇用主は、たとえベンダーが公平性についてでたらめを売りつけたのだとしても、自らが購入したAIツールが引き起こした差別に対して法的責任を負う。自らの公民権上の義務を、ソフトウェア契約に外注することはできないのだ。
この規制上の圧力が採用におけるAI導入を減速させるのか、と人々は時々私に尋ねる。それは間違った問いだと思う。その圧力が減速させるのは、劣悪なAIの導入だ。それはむしろ、実際に公平性を証明できるツール——マーケティングのコピーではなく、監査可能な証拠によって——の市場を加速させるだろう。厳密なアーキテクチャに投資した企業は、圧倒的な優位性を持つことになる。ラッパーを買った企業は、莫大な法的請求書を抱えることになる。
異なる働き方をする脳のために設計する
技術的・法的な議論の下には、より深い問題があり、それこそが私が最も気にかけているものだ。
ほとんどの採用AIは、障害学の研究者が「医学的欠陥」モデルと呼ぶもの——神経多様性のある特性は、検出され排除されるべき規範からの逸脱だという前提——の上に構築されている。そのアーキテクチャ全体が、脳の「正しい」働き方が存在し、アルゴリズムの仕事はそのように脳が働く候補者を見つけることだと前提している。
これは単に倫理的に破綻しているだけではない。戦略的に愚かなのだ。
神経多様性のある人々は、企業が喉から手が出るほど欲しいと言っている、まさにその能力に秀でていることが多い。深いパターン認識、細部への持続的な注意、従来の枠を打ち破る創造的な問題解決。「活発さ」や「社交的な大胆さ」でふるいにかける採用システムは、他の誰もが見逃すものを見る可能性が最も高い人々を、系統的にふるい落としているのだ。
Veriprajnaでは、私が時間的に弾力的な評価システムと考えるものの構築を始めた。すべての候補者を定型発達のベースライン——平均的な反応時間、典型的な発話のリズム、予想される感情表現——と比較する代わりに、このシステムは相互作用の初期段階で個別のベースラインを確立する。それは、「正常」がどのようなものかを、この人物にとって学習するのであって、何らかの抽象的な平均にとってではない。
私たちはまた、当然であるべきことを強く主張している。すべての自動化された評価には、人間による代替手段を要求できる、明確でペナルティのない選択肢が含まれていなければならない。ADAは合理的配慮を求めている。しかし法的順守を超えて、それは単純に良いエンジニアリングでもある。ユーザーが別のインターフェースを求めたときに壊れてしまうシステムは、脆弱なシステムだ。
誰も答えたくない問い
私がこの仕事を発表するとき、いつも気まずい沈黙の瞬間がある。それはたいてい、フォーチュン500の企業が「多様性を高める」ために使っているまさにそのAIツールが、障害のある候補者を系統的に排除している可能性がある、と私が指摘した後にやってくる。部屋の中の誰か——たいていはそのベンダーと契約を結んだ人——が、座席の上で身じろぎする。
気まずい真実は、ほとんどの企業が、自社の採用AIを障害バイアスについて一度も監査したことがないということだ。彼らは人種や性別の格差についてはチェックしてきた。それらは、規制当局が歴史的に注目してきた指標だからだ。しかし神経多様性は？それはダッシュボードにさえ載っていない。
Aonの申し立ては、これを変える。Aonが特異的にひどいからではない——彼らは業界全体のアプローチを代表している。それが物事を変えるのは、そのメカニズムに名前を与えるからだ。それは、「性格診断」がどのようにして障害スクリーニングになるのかを、正確に示している。そして一度それを見てしまえば、もう見なかったことにはできない。
性格を代理指標とするアルゴリズムを使って候補者をふるいにかけているどの企業も、イノベーションを推進するまさにその人材を、系統的にふるい落としているのだ。
私は友人のことを考える——性格スクリーニングを通過できなかった、あの優秀なエンジニアだ。彼は最終的に、代わりにライブの技術評価を行った企業に採用された。半年以内に、彼はそのデータパイプライン全体を再設計した。彼を不採用にした11社は、単に良い人材を逃しただけではない。彼らは、彼が話す価値のない相手だと、アルゴリズムに告げられたのだ。
それはバイアスの問題ではない。それは、壊れたシステムが自分自身に対して、うまく機能していると言い聞かせているのだ。
これが次にどこへ向かうのか
Aon-ACLUの申し立ては、何かの終わりではない。それは、あらゆる企業が人的資本に関する意思決定におけるAIをどう考えるかを作り変える、清算の始まりだ。
この法執行と訴訟の波が頂点に達する頃、生き残っている企業は、AIガバナンスをPR活動ではなくエンジニアリングの規律として扱った企業だろう。相関ではなく因果的な論理を求めた企業。単なる人口統計学的パリティではなく、個人レベルの公平性について監査した企業。訓練データにたまたま一致する断片だけでなく、人間の認知の全スペクトルのために設計した企業だ。
私はコンプライアンスツールを作るためにVeriprajnaを始めたのではない。私がそれを始めたのは、AIが採用の歴史上、最も強力な平等化装置になり得ると信じているからだ——ただし、正しく構築した場合に限る。バイアスのかかったモデルの上のラッパーではない。心理測定を装った性格の代理指標でもない。人が何をできるかと、その人の脳がたまたまどう配線されているかとの違いを理解する、深いシステムだ。
私の友人を11回不採用にしたアルゴリズムは、邪悪だったのではない。ただ浅かっただけだ。そして採用において、浅いということは、差別的であることと同じなのだ。
私たちはもっと深く構築できる。そうしなければならない。
