AI 채용 도구는 장애인 지원자를 차별할 수 있습니다

문제점

Aon의 AI 채용 도구는 자폐 스펙트럼 지원자에게 "활기" 항목에서 낮은 점수를 매겼습니다. 2024년 5월, ACLU는 Aon Consulting을 상대로 연방거래위원회에 정식으로 진정을 제기했습니다. ACLU는 Aon이 자사의 AI 기반 채용 평가를 "편향 없음"으로 마케팅하며 "불리한 영향 없이" "다양성을 향상"시킨다고 주장했다고 지적했습니다. 실제로는 이러한 도구가 인종과 장애를 근거로 자격을 갖춘 지원자를 걸러낼 가능성이 높습니다.

무슨 일이 있었는지 살펴보겠습니다. Aon은 "긍정성", "정서 인식", "활기"를 포함한 15가지 특성을 측정하는 ADEPT-15라는 성격 검사를 만들었습니다. ACLU는 이러한 특성이 자폐 및 정신건강 질환에 대한 임상 진단 기준과 밀접하게 일치한다는 사실을 발견했습니다. 만약 당신이 "외향적"이 아니라 "내성적"으로 평가되면 알고리즘은 당신에게 감점을 줍니다. 이 검사는 당신의 장애에 대해 묻지 않습니다. 물을 필요가 없습니다. 수학이 자동으로 차별을 수행합니다.

Aon은 또한 vidAssess-AI라는 화상 면접 도구를 배포했습니다. 이 도구는 자연어 처리 — 구어를 해석하는 소프트웨어 — 를 사용해 동일한 성격 특성을 기준으로 지원자를 평가합니다. 억양이 밋밋하거나 비전형적인 멈춤을 보이는 자폐인의 경우, AI는 그러한 패턴을 "자신감 부족"으로 해석할 수 있습니다. 이 도구는 진정서가 "이중 처벌"이라고 표현한 상황을 만들어냈습니다. 즉, 지원자는 자신의 답변으로 판단받고 그리고 편향된 언어 모델을 거쳐 기계가 해석한 성격 버전으로도 판단받았습니다.

이 진정은 자폐인 자기옹호 네트워크(Autistic Self-Advocacy Network)와 다른 시민권 단체들의 지지를 받았습니다. 이것은 변방의 소송이 아닙니다. 통제받지 않는 알고리즘 채용의 시대가 끝났다는 신호입니다. 당신의 회사가 구직 지원자를 걸러내는 데 AI를 사용한다면, 여기서 무엇이 잘못되었는지 이해할 필요가 있습니다.

이것이 당신의 비즈니스에 중요한 이유

편향된 AI 채용 도구로 인한 재무적·법적 노출은 크고 계속 커지고 있습니다. 다음 수치를 살펴보십시오.

• EEOC는 2024 회계연도에 차별 피해자를 위해 수억 달러의 금전적 구제를 확보했습니다. 알고리즘 편향은 이제 최우선 집행 과제입니다.
• FTC는 AI 역량에 대한 근거 없는 주장을 이유로 DoNotPay에 19만 3천 달러의 벌금을 부과했습니다. 이 기관은 기업이 고위험 소프트웨어를 판매하지 못하도록 영구히 금지할 권한을 가지고 있습니다.
• 2027년까지 글로벌 인재 경제의 가치는 300억 달러에 이를 것입니다. 자사의 채용 도구가 공정하다는 것을 증명하지 못하는 기업은 최고 인재에 대한 접근권을 잃게 됩니다.
• Aon의 ADEPT-15 검사는 성격을 평가하기 위해 35만 개의 고유 문항 데이터베이스에서 항목을 추출합니다. 이 시스템의 규모는 전문 도구 없이는 감사를 거의 불가능하게 만듭니다.

당신의 법적 노출은 공급업체에서 멈추지 않습니다. EEOC는 고용주가 제3자로부터 구매한 AI 도구로 인해 발생한 차별에 대해 법적 책임을 진다는 점을 분명히 했습니다. "편향 없음" 도구를 구매한다고 해서 당신의 책임이 이전되지는 않습니다. 오히려 책임이 커집니다.

이것이 당신의 조직에 의미하는 바는 다음과 같습니다.

• 소송 위험: 공급업체의 제품뿐만 아니라 당신의 채용 프로세스를 겨냥한 집단소송과 EEOC 진정.
• 규제 벌금: FTC의 "Operation AI Comply" 이니셔티브는 AI 주장에 대한 입증 요건을 적극적으로 집행하고 있습니다.
• 평판 손상: 당신의 회사를 장애 차별과 연결짓는 공개 진정은 고용주 브랜드를 하룻밤 사이에 무너뜨릴 수 있습니다.
• 인재 손실: 신경다양성을 지닌 사람들은 종종 패턴 인식, 세부 사항에 대한 주의력, 창의적 문제 해결에 뛰어납니다. 편향된 선별은 혁신을 이끄는 바로 그 사람들을 걸러냅니다.

당신의 AI 공급업체가 자사 도구가 차별하지 않는다는 실증적 증거를 제시하지 못한다면, 당신은 대차대조표에 정량화되지 않은 위험을 안고 있는 것입니다.

실제로 내부에서 무슨 일이 벌어지고 있는가

대부분의 AI 채용 도구를 유원지의 요술 거울처럼 생각해 보십시오. 그것은 실제 무언가 — 당신의 자격 — 를 반영하지만, 그 반영은 거울의 모양에 의해 왜곡됩니다. 이 경우 그 "모양"이란 압도적으로 신경전형적 행동 패턴을 반영하는 학습 데이터입니다.

핵심적인 실패는 "재귀적 편향 루프"라 불리는 것입니다. 머신러닝 모델은 과거 채용 데이터로 학습합니다. 그 데이터는 신경전형적 의사소통 방식에 대한 수십 년간의 선호를 반영합니다. AI가 배포되면 그 결정은 다시 미래의 학습 세트로 피드백됩니다. 과거의 성공적인 채용자와 "닮아 보이는" 지원자는 알고리즘 안에서 우대받습니다. 나머지 모든 사람은 걸러집니다. 편향은 시간이 지날수록 누적됩니다.

듀크 대학교의 연구에 따르면 대규모 언어 모델 — 많은 채용 도구의 배후에 있는 AI 엔진 — 은 신경다양성 관련 용어를 부정적 의미와 체계적으로 연관 짓는 것으로 나타났습니다. 이러한 모델은 "나는 자폐가 있다"는 문구를 "나는 은행 강도다"보다 더 부정적으로 봅니다. 바로 이 언어 모델들이 API 연결을 통해 채용 도구를 구동할 때, 그것들은 차별적 연관성을 당신의 채용 프로세스에 심어 넣습니다. 개발자는 결코 이것을 의도하지 않았습니다. 데이터가 자동으로 그렇게 한 것입니다.

Aon의 ADEPT-15는 이를 정확하게 보여줍니다. 그것은 15가지 성격 구성 개념을 "내성적 대 외향적", "냉정한 대 온정적"과 같은 양극성을 따라 배치합니다. ACLU는 이러한 구성 개념을 표준 50개 문항의 임상 선별 도구인 자폐 스펙트럼 지수(AQ)와 대조했습니다. 그 중첩은 부인할 수 없습니다. 채용 알고리즘이 임상 기준을 그대로 반영하는 질문 — "나는 세부 사항에 강하게 집중한다" 또는 "나는 혼자 일하는 것을 선호한다" — 을 던지면, 그것은 장애 상태와 채용 결과 사이에 숨겨진 경로를 만들어냅니다. 알고리즘은 결코 진단에 대해 묻지 않습니다. 물을 필요가 없기 때문입니다.

단순한 "래퍼(wrapper)" — 당신의 데이터를 GPT-4 같은 파운데이션 모델에 통과시키고 그 출력을 제시하는 도구 — 는 이것을 해결할 수 없습니다. 래퍼는 그 기반 모델의 편향을 그대로 물려받습니다. 그것들은 진정한 직무 자격과 보호되는 특성과 상관관계가 있는 잡음을 구별할 능력이 없습니다.

무엇이 효과가 있고 무엇이 없는가

실패하는 세 가지 흔한 접근법:

• "우리는 빅데이터로 학습했으니 공정합니다." 데이터가 많다고 편향이 줄어드는 것은 아닙니다. 당신의 학습 데이터가 30년간의 신경전형적 채용 선호를 반영한다면, 당신의 모델은 그 선호를 대규모로 복제할 것입니다.
• "우리 공급업체가 모델 카드를 제공했습니다." 공급업체가 제공한 문서는 독립적인 감사가 아닙니다. Aon 사례는 "불리한 영향 없음"이라는 마케팅 주장이 도구가 실제로 작동하는 방식과 정면으로 모순될 수 있음을 보여줍니다.
• "우리는 입력에서 보호되는 필드를 제거했습니다." "활기"나 "정서 인식" 같은 특성이 대리 변수로 작동할 때는 데이터에서 장애 상태를 제거하는 것이 도움이 되지 않습니다. 알고리즘은 뒷문을 찾아냅니다.

실제로 효과가 있는 것은 보호되는 특성과 채용 결정 사이의 연결 고리를 끊는 세 단계 접근법입니다.

1. 숨겨진 경로를 지도화하라(입력). 구조적 인과 모델링 — 서로 다른 데이터 지점이 어떻게 상호 영향을 미치는지 도식화하는 방법 — 을 사용해 장애 상태가 채용 결과에 영향을 줄 수 있는 모든 경로를 식별하십시오. 이것은 통계적 점검이 아닙니다. 당신의 전체 평가 파이프라인에 대한 인과 지도입니다. 목표는 규제 당국이 대리 변수를 찾아내기 전에 당신이 먼저 찾아내는 것입니다.

2. 모델 로직에서 보호되는 정보를 제거하라(처리). 적대적 편향 제거(adversarial debiasing) — 두 번째 AI 모델이 주 모델의 내부 데이터로부터 지원자의 보호되는 특성을 추측하려 시도하는 기법 — 를 배포하십시오. 두 번째 모델이 성공한다면, 주 모델은 여전히 보호되는 정보를 누출하고 있는 것입니다. 시스템은 주 모델에 페널티를 부과하고 편향된 패턴을 다시 학습해 잊도록 강제합니다. 이것은 특히 영상 및 행동 신호가 장애 대리 지표로 작동하는 성격 평가에 효과적입니다.

3. 반사실적 시뮬레이션으로 모든 결정을 검증하라(출력). 실제 지원자 데이터의 합성 변형을 생성하십시오. 다른 모든 변수는 일정하게 유지한 채 민감한 속성만 변경하십시오 — 예를 들어 신경전형적 말투에서 신경다양성 말투로 전환하는 식입니다. AI의 추천이 바뀐다면, 당신에게는 공정성 결함이 있는 것입니다. 이것은 당신의 규정 준수 팀에게 구체적인 감사 추적 기록 을 모든 채용 결정에 대해 제공합니다.

감사 추적 기록은 당신의 법무 및 규정 준수 팀에게 가장 중요한 것입니다. 집단 수준 통계 — "우리 채용자의 10%가 장애인입니다" — 만으로는 충분하지 않습니다. 각 지원자가 동등한 대우를 받았다는 개인 수준의 증거가 필요합니다. 반사실적 시뮬레이션이 이를 제공합니다. EEOC나 FTC가 당신의 시스템이 특정 지원자를 왜 탈락시켰는지 물을 때, 당신은 그 수학적 근거를 보여줄 수 있습니다.

NIST AI 위험 관리 프레임워크에 따르면, HR 및 인재 기술 분야의 조직은 "적응형(Adaptive)" 성숙도를 목표로 삼아야 합니다. 이는 차별 드리프트 — AI 모델이 실제 데이터와 상호작용하면서 시간이 지날수록 더 편향되는 현상 — 를 추적하는 문서화된 프로세스를 의미합니다. 공급업체의 자체 보고가 아닌 연례 독립 편향 감사가 필수적입니다. 모든 자동화된 평가에는 지원자가 불이익 없이 인간에 의한 대안을 요청할 수 있는 명확한 선택지가 포함되어야 합니다.

당신은 전체 기술 분석 읽기 를 통해 인과 모델링과 적대적 편향 제거 방법을 더 깊이 살펴볼 수 있습니다. 당신의 팀을 위한 대화형 안내 도 제공됩니다.