우연히 의학적 검사가 되어버린 채용 알고리즘
제 친구 중 한 명 — 뛰어난 소프트웨어 엔지니어이자 제가 만나본 최고의 패턴 사고가 중 한 명 — 은 자신이 열한 개 회사에서 연달아 탈락했다고 제게 말했습니다. 기술 면접 이후가 아니었습니다. 그 이전이었죠. 그는 초기 '인성 평가(personality assessment)'를 한 번도 통과하지 못했습니다.
그는 자폐인입니다. 그리고 그 회사들은 하나같이 동일한 AI 기반 선별 도구의 어떤 버전을 사용하고 있었습니다.
2024년 5월, ACLU가 연방거래위원회(FTC)에 Aon Consulting을 상대로 정식 진정을 제기했을 때, 저는 그 대화를 계속 떠올렸습니다. 그 주장은 구체성에서 놀라웠습니다. '편향 없음(bias-free)'과 다양성 증진을 표방하며 마케팅된 Aon의 AI 채용 도구 모음이 사실상 은밀한 장애 선별 장치로 기능하고 있을 가능성이 크다는 것이었습니다. 이 도구들은 '활기(liveliness)', '긍정성(positivity)', '정서 인식(emotional awareness)' 같은 특성을 측정했습니다. 단지 모호한 성격 차원이 아닌 특성들 말입니다. 이것들은 자폐를 진단하는 데 쓰이는 임상 기준을 거의 완벽하게 반영하는 거울입니다.
밤 11시, 식어버린 차이 한 잔을 옆에 두고 책상에 앉아 진정서 전문을 읽었을 때, 몇 년 동안 저를 괴롭혀 온 무언가가 딱 맞아떨어졌습니다. AI 채용 산업에는 편향 문제가 있는 것이 아닙니다. 아키텍처 문제가 있는 것입니다. 그리고 아무리 '책임 있는 AI(Responsible AI)' 브랜딩을 해도 그것을 고칠 수는 없습니다.
무너진 약속
거의 10년 가까이 AI 채용 벤더들의 세일즈 문구는 매혹적이면서도 단순했습니다. 인간은 편향되어 있지만 알고리즘은 그렇지 않다는 것. 기계가 결정하게 두면 더 공정한 결과를 얻는다는 것이었습니다.
저도 초기에는 이 논리의 한 버전을 믿었습니다. Veriprajna를 시작했을 때, 저는 의사결정을 형식화할 수 있다면 — 직감, '문화적 적합성(culture fit)'이라는 감, 자신을 닮은 사람에 대한 무의식적 선호를 제거한다면 — 능력주의에 더 가까운 무언가를 얻을 수 있다고 진심으로 믿었습니다. 수학이 우리를 자유롭게 해주리라 여겼죠.
AI 채용 산업에는 편향 문제가 있는 것이 아닙니다. 아키텍처 문제가 있는 것입니다.
그러다 저는 이 도구들이 실제로 무엇을 측정하는지 들여다보기 시작했습니다. 그리고 그 수학이 제거하겠다고 주장한 바로 그 편향을 오히려 부호화하고 있다는 것을 — 단지 그것을 객관적으로 보이는 언어로 옮겨 놓았을 뿐이라는 것을 — 깨달았습니다.
Aon의 대표 인성 도구인 ADEPT-15는 후보자를 열다섯 개 차원에서 평가합니다. '활기(Liveliness)'(당신은 외향적인가 내향적인가?), '인식력(Awareness)'(행간을 읽을 수 있는가?), '침착함(Composure)'(압박 속에서 차분한가 아니면 열정적인가?), '유연성(Flexibility)'(일상을 선호하는가 변화를 선호하는가?) 같은 것들이죠. 이 도구는 강제 선택 방식 — 두 개의 진술 중 하나를 고르는 방식 — 을 사용하며, 이전 답변에 기반해 실시간으로 적응합니다.
서류상으로는 정교하게 들립니다. 하지만 실제로 이 도구가 묻는 것은 이것입니다: 당신은 얼마나 신경전형적인가?
채용 도구가 임상 진단을 그대로 반영하면 어떤 일이 벌어질까?
이것이 그날 밤 저를 잠 못 이루게 한 대목입니다. 저는 표준 임상 선별 도구인 자폐 스펙트럼 지수(Autism Spectrum Quotient)를 꺼내 Aon의 ADEPT-15 구성 개념 정의 옆에 나란히 놓았습니다. 그 중첩은 미묘하지 않았습니다. 구조적이었습니다.
AQ는 사회적 기술, 주의 전환, 세부에 대한 주의, 의사소통, 그리고 상상력을 측정합니다. ADEPT-15는 '활기(Liveliness)', '유연성(Flexibility)', '체계성(Structure)', '인식력(Awareness)', '자기주장(Assertiveness)'을 측정합니다. 이들은 먼 친척이 아닙니다. 다른 옷을 입은 동일한 구성 개념입니다.
알고리즘이 누군가를 '외향적'이지 않고 '내향적'이라는 이유로 감점할 때, 그것은 직무 적합성을 측정하는 것이 아닙니다. 사회적 수행 능력을 측정하는 것입니다. 그리고 사회적 정보를 다르게 처리하는 뇌를 가진 사람 — 자폐인, ADHD가 있는 사람, 사회 불안이 있는 사람 — 에게 그 측정은 검사로 위장한 함정입니다.
ACLU의 진정서는 이를 직설적으로 표현합니다. 이러한 평가들은 '자폐/정신 건강 진단을 밀접하게 추적한다'는 것입니다. 미국 장애인법(Americans with Disabilities Act)에 따르면, 고용주는 채용 과정의 일부로서 직접적으로 직무와 관련되지 않는 한 의학적 검사를 시행할 수 없습니다. 인성 검사가 임상 선별 도구와 기능적으로 구별되지 않는다면, 그것은 정확히 무엇일까요?
저는 산업·조직 심리학에 수년을 보낸 한 동료에게 이 이야기를 꺼냈던 것을 기억합니다. 그의 첫 반응은 방어적이었습니다. '이것들은 검증된 심리측정 도구야.' 제 대답은 이랬습니다. 무엇에 비추어 검증되었는데? 압도적으로 신경전형적인 규준 표본에 비추어? 그것은 검증이 아닙니다. 실험복을 입은 순환 논리입니다.
영상 면접 문제는 당신이 생각하는 것보다 더 심각하다
Aon의 두 번째 도구인 vidAssess-AI는 비동기 영상 면접 위에 인성 모델을 덧씌웁니다. 후보자들은 질문에 답하는 자신의 모습을 녹화합니다. NLP 엔진이 그들의 발화를 전사하고 내용을 분석한 뒤, ADEPT-15 인성 프레임워크에 비추어 점수를 매깁니다.
여기서부터 정말로 우려스러워집니다. 자연어 처리 모델은 압도적으로 신경전형적인 의사소통 패턴을 반영하는 방대한 텍스트 데이터셋으로 학습됩니다. 전형적인 말의 리듬. 자신감의 예상되는 억양. 이야기를 구성하는 '정상적인' 방식 말입니다.
저희 팀은 다양한 말하기 패턴이 상용 NLP 시스템과 어떻게 상호작용하는지 몇 주에 걸쳐 테스트했습니다. 자폐 화자에게 흔한 단조로운 억양은 '열의 부족'으로 표시됩니다. 비전형적인 멈춤은 '불확실성'으로 해석됩니다. 많은 ADHD인이 생각을 자연스럽게 정리하는 방식 — 연결된 아이디어 사이를 오가다 다시 원점으로 돌아오는 방식 — 인 비선형적 서술은 '체계가 없는 사고'로 기록됩니다.
알고리즘이 누군가를 '외향적'이지 않고 '내향적'이라는 이유로 감점할 때, 그것은 직무 적합성을 측정하는 것이 아닙니다. 사회적 수행 능력을 측정하는 것입니다.
이 중 어느 것도 그 사람이 그 일을 할 수 있는지와는 아무런 관련이 없습니다. 이 모든 것은 그 사람이 카메라 앞에서 신경전형성을 설득력 있게 연기하는지와 전적으로 관련이 있을 뿐입니다.
듀크 대학교의 연구는 대규모 언어 모델이 신경다양성 관련 용어를 부정적 함의와 체계적으로 연관 짓는다는 사실을 발견했습니다. 일부 모델에서는 '나는 자폐가 있다'가 '나는 은행 강도다'보다 더 부정적으로 채점됩니다. 바로 이 모델들이 API 통합을 통해 채용 도구를 구동할 때, 그러한 연관성을 선별 과정으로 그대로 가져옵니다. 어떤 개발자도 그것을 의도하지 않았습니다. 아키텍처가 그것을 보장한 것입니다.
저는 이것의 기술적 작동 원리에 대해 더 깊이 있게 우리 연구의 인터랙티브 버전에서 다루었지만, 짧게 요약하면 이렇습니다: 편향된 모델을 감싼 래퍼로는 창발적 비장애중심주의(ableism)를 고칠 수 없습니다. 편향은 버그가 아닙니다. 그것은 시스템이 구축된 방식의 특징입니다.
내가 '편향 없음'을 더 이상 믿지 않게 된 이유
제가 이에 대한 생각이 '우리에게 더 나은 편향 테스트가 필요하다'에서 '패러다임 전체가 잘못되었다'로 바뀐 순간이 있었습니다 — 그리고 저는 그 순간을 정확히 짚어낼 수 있습니다.
우리는 한 고객사의 채용 파이프라인에 대해 내부 감사를 진행하고 있었습니다. 표준적인 것들이었죠. 인구통계학적 형평성 점검, 불리효과 비율, 모두가 사용하는 지표들 말입니다. 수치는 깨끗해 보였습니다. 인구통계 집단 전반의 채용률이 허용 가능한 범위 안에 있었습니다. 고객사는 만족했습니다. 그들의 법무팀도 만족했습니다.
그때 저희 엔지니어 중 한 명인 Priya가 방 안을 멈춰 세운 질문을 던졌습니다. '걸러졌을 사람들이 애초에 지원조차 하지 않았다면 어떻게 되는 거죠?'
그녀가 옳았습니다. 우리는 인성 선별을 통과한 사람들 사이에서 공정성을 측정하고 있었습니다. 하지만 그 선별 장치 자체가 이미 후보자 풀을 걸러낸 뒤였습니다. 우리는 생존자들을 감사하면서 그것을 형평성이라 부르고 있었던 것입니다.
바로 그때 저는 AI 공정성에 대한 '래퍼(wrapper)' 접근법의 근본적인 결함을 이해했습니다. 래퍼는 기존 기반 모델 — GPT-4든 무엇이든 — 을 가져와 데이터를 통과시키고 그 출력을 제시합니다. 그 위에 편향 점검을 덧붙일 수 있습니다. 결과를 후처리할 수 있습니다. 하지만 모델의 내부 표현은 이미 학습 데이터의 편향을 부호화해 놓았습니다. 근본적으로 불공정한 기계에 공정성 스티커를 붙이고 있는 셈입니다.
이 모델들이 학습하는 채용 데이터는 수십 년에 걸친 신경전형적 선호를 반영합니다. 모델이 배포되면 그 결정이 미래의 학습 세트로 다시 피드백됩니다. 내향적인 후보자들이 탈락하고, 그래서 모델은 '내향적'이 탈락을 예측한다고 학습하며, 그래서 더 많은 내향적 후보자를 탈락시킵니다. 순환이 조여듭니다. 편향이 누적됩니다. 그리고 대시보드는 모든 것이 괜찮다고 말합니다.
차별하지 않는 채용 AI를 실제로 어떻게 구축할까?
이것이 지난 몇 년간 제가 답하려 애써온 질문입니다. '어떻게 AI의 편향을 줄일까'가 아닙니다 — 그런 틀은 현재의 아키텍처를 받아들이고 그것을 땜질하려 합니다. 진짜 질문은 이것입니다. 편향이 숨을 수 없는 시스템을 어떻게 구축할까?
Veriprajna에서 우리가 개발한 접근법은 하나의 핵심 통찰에 기반합니다: 상관관계는 차별이 숨는 곳이다. 전통적인 머신러닝은 데이터에서 패턴을 찾습니다. 신경전형적 의사소통 방식이 채용되는 것과 상관관계를 가진다면, 모델은 의사소통 방식을 채용 가치의 대리 지표로 사용할 것입니다. 모델은 자신이 차별하고 있다는 것을 모릅니다. 그저 최적화하고 있을 뿐입니다.
이것을 깨려면 단순한 통계적 패턴 매칭이 아니라 인과적 추론이 필요합니다.
우리는 인과적 표현 학습(Causal Representation Learning)이라는 것을 사용합니다. '어떤 특성이 채용 성공을 예측하는가?'라고 묻는 대신, 우리는 '어떤 특성이 채용 성공을 예측하되, 보호 대상 특성의 인과적 하류에 있지 않은가?'라고 묻습니다. 이는 근본적으로 다른 질문이며, 근본적으로 다른 아키텍처를 요구합니다.
이렇게 생각해 보세요. 후보자의 프로필을 서로 연결된 속성들의 그물망이라고 상상해 봅시다. 어떤 연결은 정당합니다 — 경력 연수는 기술 수준으로 이어집니다. 하지만 어떤 연결은 보호되는 영역을 통과합니다 — 의사소통 방식은 신경 유형으로 이어지고, 이는 다시 인성 검사가 당신을 어떻게 채점하는지로 이어지며, 이는 다시 당신이 면접을 보게 되는지로 이어집니다. 인과적 표현 학습은 이러한 경로들을 지도화하고 부당한 경로를 수학적으로 절단합니다.
우리는 여기에 적대적 학습(adversarial training) — 두 모델을 서로 맞붙이는 기법 — 을 결합합니다. 한 모델은 직무 성과를 예측하려 합니다. 다른 모델은 첫 번째 모델의 내부 표현으로부터 후보자의 장애 상태를 추측하려 합니다. 만약 적대자가 성공한다면, 이는 예측 모델이 보호 정보를 새어 나가게 하고 있다는 뜻이며, 시스템은 그것에 벌점을 부과합니다. 학습 주기를 거치면서 예측 모델은 누군가의 신경 유형을 드러내도록 역설계될 수 없는 결정을 내리는 법을 진정으로 학습합니다.
편향된 모델을 감싼 래퍼로는 창발적 비장애중심주의(ableism)를 고칠 수 없습니다. 편향은 버그가 아닙니다. 그것은 시스템이 구축된 방식의 특징입니다.
그리고 반사실적 테스트(counterfactual testing)가 있습니다 — 제가 지적으로 가장 정직하다고 여기는 부분이죠. 우리는 실제 후보자의 데이터를 가져와 오직 보호 대상 특성만 바뀐 합성 쌍둥이를 생성하고, 모델의 추천이 동일하게 유지되는지를 확인합니다. '집단 수준의 통계가 균형 잡혀 있는가?'가 아니라 '이 특정한 사람이 자폐인이 아니었다면 다른 결과를 얻었을까?'를 묻는 것입니다. 그것이 바로 ADA가 실제로 던지는 질문입니다. 그것이 바로 대부분의 채용 AI가 답할 수 없는 질문입니다.
이 방법들에 대한 완전한 기술적 분석 — 개입 불변성 뒤의 수학, 적대적 손실 함수, 구조적 인과 모델 — 은 우리의 기술 연구 논문에서 확인하실 수 있습니다.
규제 당국은 더 이상 기다리지 않는다
Aon 진정 사건이 분명하게 드러낸 한 가지는 이것입니다. '일단 빠르게 움직이고 나중에 감사하자'는 시대가 끝났다는 것입니다.
FTC의 '오퍼레이션 AI 컴플라이(Operation AI Comply)' 이니셔티브는 이미 근거 없는 AI 주장을 하는 기업들에 대한 집행 조치로 이어졌습니다. DoNotPay는 자사의 AI 법률 도구가 할 수 있다고 과장한 것에 대해 $193,000의 벌금을 부과받았습니다. Rytr은 가짜 리뷰를 생성한 것으로 표적이 되었습니다. FTC는 명확히 밝혔습니다. 당신의 도구가 '편향 없음'이라고 주장한다면, 그것을 입증할 경험적 증거를 갖추는 편이 낫다고 말이죠. '우리는 빅데이터로 학습시켰다'는 증거가 아닙니다. 그것은 자백입니다.
한편 EEOC는 알고리즘 차별을 최우선 집행 과제로 삼았습니다. 그들의 입장은 명확합니다. 고용주는 자신이 구매한 AI 도구가 야기한 차별에 대해 법적 책임이 있으며, 설령 벤더가 공정성에 관해 허위 약속을 팔았더라도 마찬가지라는 것입니다. 시민권 의무를 소프트웨어 계약에 외주로 넘길 수는 없습니다.
사람들은 때때로 이러한 규제 압력이 채용에서의 AI 도입을 늦출지를 제게 묻습니다. 저는 그것이 잘못된 질문이라고 생각합니다. 그 압력은 나쁜 AI의 도입을 늦출 것입니다. 그것은 실제로 공정성을 입증할 수 있는 도구들의 시장을 — 마케팅 문구가 아니라 감사 가능한 증거로 입증하는 도구들의 시장을 — 가속화할 것입니다. 엄격한 아키텍처에 투자한 기업들은 막대한 우위를 갖게 될 것입니다. 래퍼를 구매한 기업들은 막대한 법적 청구서를 받게 될 것입니다.
다르게 작동하는 뇌를 위한 설계
기술적·법적 논쟁 아래에는 더 깊은 문제가 있으며, 그것이 바로 제가 가장 마음을 쓰는 문제입니다.
대부분의 채용 AI는 장애 학자들이 '의학적 결핍(medical deficit)' 모델이라 부르는 것 위에 구축됩니다 — 신경다양성 특성이 탐지되고 걸러내야 할 규범으로부터의 일탈이라는 가정 말입니다. 그 아키텍처 전체는 뇌가 작동하는 '올바른' 방식이 존재하며, 알고리즘의 역할은 그런 방식으로 작동하는 뇌를 가진 후보자를 찾는 것이라고 전제합니다.
이것은 단지 윤리적으로 파산한 것이 아닙니다. 전략적으로도 어리석은 것입니다.
신경다양인은 흔히 기업들이 간절히 원한다고 말하는 바로 그 역량에서 탁월합니다. 깊은 패턴 인식, 지속적인 세부에 대한 주의, 관습적 틀을 벗어나는 창의적 문제 해결 말입니다. '활기'와 '사회적 대담함'을 선별하는 채용 시스템은 다른 모두가 놓치는 것을 볼 가능성이 가장 큰 사람들을 체계적으로 걸러내고 있는 것입니다.
Veriprajna에서 우리는 제가 시간적으로 탄력적인 평가 시스템이라 여기는 것을 구축하기 시작했습니다. 모든 후보자를 신경전형적 기준선 — 평균 응답 시간, 전형적인 말의 억양, 예상되는 감정 표현 — 에 비교하는 대신, 이 시스템은 상호작용 초기 단계에서 개인별 기준선을 설정합니다. 이 시스템은 '정상'이 무엇처럼 보이는지를 이 사람에게 학습하는 것이지, 어떤 추상적인 평균에게 학습하는 것이 아닙니다.
우리는 또한 당연해야 할 것을 강력히 주장합니다. 모든 자동화된 평가에는 인간 대안을 요청할 수 있는 명확하고 불이익 없는 선택지가 반드시 포함되어야 한다는 것입니다. ADA는 합리적 편의 제공을 요구합니다. 하지만 법적 준수를 넘어, 그것은 그저 좋은 엔지니어링입니다. 사용자가 다른 인터페이스를 요청할 때 망가지는 시스템은 취약한 시스템입니다.
아무도 답하고 싶어 하지 않는 질문
제가 이 작업을 발표할 때면 언제나 불편한 침묵의 순간이 찾아옵니다. 대개 그것은 포춘 500대 기업들이 '다양성을 개선하기' 위해 사용하는 바로 그 AI 도구들이 장애가 있는 후보자들을 체계적으로 배제하고 있을 수 있다고 제가 지적한 뒤에 찾아옵니다. 방 안의 누군가 — 대개 벤더와 계약서에 서명한 사람 — 가 자리에서 몸을 뒤척입니다.
불편한 진실은 대부분의 기업이 자사의 채용 AI를 장애 편향에 대해 한 번도 감사한 적이 없다는 것입니다. 그들은 인종적·성별적 격차는 점검해 왔는데, 그것이 규제 당국이 역사적으로 초점을 맞춰온 지표이기 때문입니다. 하지만 신경다양성은요? 그것은 대시보드에 아예 들어 있지도 않습니다.
Aon 진정 사건은 이것을 바꿉니다. Aon이 유별나게 나빠서가 아닙니다 — 그들은 업계 전반의 접근법을 대표할 뿐입니다. 그것이 상황을 바꾸는 이유는 그 메커니즘의 이름을 명명하기 때문입니다. 그것은 '인성 평가'가 어떻게 장애 선별 장치가 되는지를 정확히 보여줍니다. 그리고 일단 그것을 보고 나면, 다시 보지 않은 상태로 되돌릴 수 없습니다.
인성을 대리 지표로 삼는 알고리즘을 사용해 후보자를 선별하는 기업은 혁신을 이끄는 바로 그 인재를 체계적으로 걸러내고 있는 것입니다.
저는 제 친구를 떠올립니다 — 인성 선별을 통과하지 못한 그 뛰어난 엔지니어 말입니다. 그는 결국 인성 검사 대신 실시간 기술 평가를 진행한 회사에 채용되었습니다. 6개월 만에 그는 그 회사의 전체 데이터 파이프라인을 재설계했습니다. 그를 탈락시킨 열한 개 회사는 단지 좋은 인재를 놓친 것만이 아닙니다. 그들은 알고리즘으로부터 그가 이야기를 나눌 가치도 없다는 말을 들은 것입니다.
그것은 편향 문제가 아닙니다. 그것은 스스로 잘 작동한다고 되뇌는 고장 난 시스템입니다.
이것은 다음으로 어디로 가는가
Aon-ACLU 진정 사건은 무언가의 끝이 아닙니다. 그것은 모든 기업이 인적 자본 의사결정에서 AI를 어떻게 바라보는지를 재편할 청산의 시작입니다.
이 집행과 소송의 물결이 정점에 이를 무렵, 살아남아 서 있을 기업은 AI 거버넌스를 홍보 활동이 아니라 엔지니어링 분야로 다룬 기업들입니다. 상관관계 대신 인과적 논리를 요구한 기업들. 단순한 인구통계학적 형평성이 아니라 개인 수준의 공정성을 감사한 기업들. 학습 데이터에 우연히 들어맞는 일부만이 아니라 인간 인지의 전체 스펙트럼을 위해 설계한 기업들 말입니다.
저는 규정 준수 도구를 만들기 위해 Veriprajna를 시작한 것이 아닙니다. 저는 AI가 채용 역사상 가장 강력한 평등 실현자가 될 수 있다고 믿기에 시작했습니다 — 단, 우리가 그것을 제대로 구축할 때만 가능한 일이죠. 편향된 모델 위의 래퍼가 아닙니다. 심리측정으로 치장한 인성 대리 지표가 아닙니다. 한 사람이 무엇을 할 수 있는지와 그 사람의 뇌가 어떻게 배선되어 있는지 사이의 차이를 이해하는 깊이 있는 시스템입니다.
제 친구를 열한 번 탈락시킨 그 알고리즘은 악하지 않았습니다. 그저 얕았을 뿐입니다. 그리고 채용에서 얕음은 차별과 같은 것입니다.
우리는 더 깊이 구축할 수 있습니다. 반드시 그래야 합니다.
