문제 상황
아마존은 "women's"라는 단어가 포함된 모든 이력서에 불이익을 주도록 스스로 학습한 AI 채용 도구를 만들었습니다. 이력서에 "여성 체스 클럽 회장(Women's Chess Club Captain)"이라고 적으면 시스템은 평가를 깎았습니다. 여성대학 두 곳의 졸업생들도 낮게 평가했습니다. 이 시스템은 아마존이 완전히 폐기할 때까지 3년간 가동되었습니다.
이것은 버그가 아니었습니다. 설계된 대로 정확히 작동하는 수학이었습니다. 아마존은 회사에 접수된 10년치 이력서로 모델을 학습시켰습니다. 기술 부문은 역사적으로 남성 중심이었기 때문에, 그 데이터셋에서 성공적인 채용의 압도적 대다수는 남성이었습니다. 그래서 AI는 간단한 패턴, 즉 "남성이라는 것이 채용될 가능성을 예측한다"는 패턴을 학습했습니다. AI는 그 패턴에 맞춰 최적화했고, 다른 신호를 내보이는 모든 것에 불이익을 주었습니다.
아마존의 엔지니어들은 문제를 고치려 했습니다. 특정 성별 관련 용어를 무시하도록 시스템을 프로그래밍했지만, 소용이 없었습니다. 딥러닝 모델은 프록시 변수(proxy variables), 즉 무시하라고 지시받은 것과 상관관계가 있는 간접 신호를 찾아내는 데 능숙합니다. 모델은 성별과 상관관계가 있는 동사 선택, 문장 구조, 과외 활동에 매달렸습니다. 연구에 따르면 남성 이력서는 "executed"나 "captured" 같은 공격적인 동사를 쓰는 경향이 있고, 여성 이력서는 더 공동체적인 언어를 사용합니다. AI는 그런 패턴을 포착해 뒷문으로 성별 편향을 조용히 재구축했습니다.
아마존은 이 시스템이 새로운 차별 방식을 찾아내지 않으리라고 보장할 수 없었습니다. 그래서 시스템을 폐기했습니다. 여러분의 조직이 그만큼 빨리 문제를 잡아낼 수 있다고 장담하기는 어렵습니다.
이 문제가 비즈니스에 중요한 이유
규제 환경은 급격히 바뀌었습니다. 회사가 채용에 AI를 사용한다면 오늘 — 먼 훗날이 아니라 — 실질적인 법적 노출에 직면해 있습니다.
NYC Local Law 144(2023년 7월 발효)는 뉴욕시에서 자동화된 채용 도구를 사용하는 모든 고용주에게 매년 독립적인 편향 감사(bias audit)를 실시할 것을 요구합니다. 이 법은 인종, 민족, 성별별로 구분된 선발률(selection rate)과 영향 비율(impact ratio)이라는 구체적인 계산을 요구합니다. 어떤 보호 집단의 선발률이 가장 많이 선발된 집단의 선발률의 80% 미만으로 떨어지면(이른바 "5분의 4 규칙(four-fifths rule)"), 그것이 편향의 표면적 징후(prima facie indicator)가 됩니다.
EU AI 법(EU AI Act) — 세계 최초의 포괄적인 AI 규제 — 는 채용 AI를 **고위험(high-risk)**으로 분류합니다. 제13조는 시스템이 사용자가 출력을 해석할 수 있을 만큼 투명할 것을 요구합니다. 제14조는 의미 있는 인간 감독을 요구합니다. 즉, 리크루터가 AI의 결정을 이해하고, 재정(override)하고, 번복(reverse)할 수 있어야 한다는 뜻입니다.
**GDPR 제15조(1)(h)**는 후보자가 자동화된 결정의 "배경에 있는 논리에 관한 의미 있는 정보"를 얻을 권리를 부여합니다. 전문(Recital) 71은 "달성된 결정에 대한 설명을 얻을 권리"를 명시적으로 언급합니다.
이것이 회사의 최종 손익에 의미하는 바는 다음과 같습니다:
- 감사 실패: AI가 어떤 보호 집단에 대해 0.4의 영향 비율을 보이는데 그 이유를 설명할 수 없다면, 해결 경로 없는 컴플라이언스 위기에 빠진 것입니다.
- 소송 리스크: 설명 없는 획일적인 거절 이메일은 GDPR 하에서 법적으로 위험합니다. 모든 자동화된 결정에는 구체적이고 데이터에 기반한 근거가 필요합니다.
- 평판 훼손: 아마존의 실패는 전 세계적인 뉴스가 되었고 수년간의 엔지니어링 투자를 날렸습니다. 여러분의 "아마존의 순간"은 아무런 경고 없이 찾아올 수 있습니다.
- 인재 손실: 키워드 기반 시스템과 편향된 AI는 다른 용어를 사용하거나 비전통적인 배경을 가진 유능한 후보자를 거절합니다. 여러분은 스스로 인재 풀을 줄이고 있는 것입니다.
내부에서 실제로 일어나는 일
대부분의 채용 AI가 실패하는 이유를 이해하려면, 채용 AI가 실제로 하는 일 — 그리고 하지 않는 일 — 을 이해해야 합니다.
기존 딥러닝 모델은 인과가 아닌 상관관계로 작동합니다. 모델은 Python이 데이터 사이언스에 유용한 프로그래밍 언어라는 사실을 모릅니다. 단지 "Python"이라는 텍스트 문자열이 채용된 사람들의 이력서에 등장했다는 것만 압니다. 여기에 위험한 부분이 있습니다. 만약 "Lacrosse"도 성공적인 이력서에 자주 등장했다면 — 채용되는 사람들의 사회경제적 패턴 때문일 수 있습니다 — 모델은 "Lacrosse"를 "Python"만큼 무겁게 반영할지 모릅니다. 모델은 진짜 자격 요건과 우연한 일치를 구분하지 못합니다.
작년에 여러분의 배송 기사들이 이동한 경로만으로 학습된 GPS를 생각해 보세요. GPS는 특정 동네를 피하는 법을 학습할 것입니다 — 교통 데이터 때문이 아니라, 기사들이 어디로 가야 좋은지에 대해 개인적인 편견을 갖고 있었기 때문입니다. 그리고 GPS는 그 편견을 이후의 모든 경로 추천에 그대로 반영할 것입니다. 특정 우편번호(zip code) 지역을 왜 계속 우회하는지 여러분은 끝내 알 수 없을 것입니다.
최근 세대의 채용 도구는 문제를 LLM(대형 언어 모델)으로 감싸고 있습니다. 이는 새로운 리스크를 가져옵니다. LLM은 **환각(hallucination)**을 일으킵니다 — 이력서가 전문적으로 들린다는 이유만으로 후보자가 자격증을 갖고 있다고 추론해버릴 수 있습니다. LLM은 또한 **비결정적(non-deterministic)**입니다 — 같은 이력서를 두 번 넣으면 서로 다른 두 점수가 나올 수 있습니다. 감사에서 이런 비일관성은 치명적입니다. 채용이나 거절 뒤의 의사결정 로직을 재현할 수 없다면 감사에 실패합니다. LLM에는 지식 컷오프(knowledge cutoff)도 있습니다 — 학습 데이터가 수집된 시점 이후에 등장한 새 프레임워크나 기술을 인식하지 못할 수 있습니다.
이 모든 접근법을 관통하는 핵심 문제는 하나입니다. 이력서를 읽는 AI가 곧 후보자를 판단하는 AI라는 것입니다. 읽기와 판단은 수백만~수십억 개의 파라미터를 가진 단 하나의 불투명한 시스템 안에 얽혀 있습니다. 엔지니어조차 특정 결정이 왜 내려졌는지 정확히 추적할 수 없습니다.
효과가 있는 것 (그리고 없는 것)
이 문제를 해결하지 못하는 것부터 시작해 보겠습니다:
키워드 매칭 시스템(레거시 ATS): 단순한 예/아니오 논리를 사용합니다. 이력서에 "Java"가 포함되어 있습니까? 후보자가 대신 "J2EE"라고 썼다면 점수는 0입니다. 이 방식은 유능한 사람을 놓치고 동의어를 처리하지 못합니다.
"수정된" 딥러닝 모델: 아마존은 모델에서 성별 관련 용어를 제거해 보았습니다. AI는 프록시 변수를 찾아내고 편향을 재구축했습니다. 모델이 작동하는 능력을 훼손하지 않고는 블랙박스에서 편향을 수술처럼 제거할 수 없습니다.
그라운딩 없는 LLM 래퍼: 이력서를 범용 LLM에 넣고 후보자 점수를 매기도록 하면 환각 리스크, 일관성 없는 결과, 감사 추적(audit trail)의 부재라는 대가를 치르게 됩니다. 이 접근법은 EU AI 법 제13조와 어떠한 진지한 편향 감사도 통과하지 못합니다.
효과가 있는 것은 읽기와 판단을 분리하는 아키텍처입니다. 방법은 다음과 같습니다:
1단계 — 추출("리더"): LLM이 이력서의 비정형 텍스트를 읽고 구체적인 팩트 — 기술, 역할, 날짜, 자격증 — 를 추출합니다. 결정적으로, 이 단계에서 인구통계학적 신호를 제거하거나 중립화합니다. "여성 체스 클럽"은 "체스 클럽 — 리더십"이 됩니다. 성별 수식어는 데이터가 의사결정 엔진에 도달하기 전에 제거됩니다.
2단계 — 구조화된 추론("판사"): 추출된 팩트는 설명 가능한 지식 그래프(Explainable Knowledge Graph) — 기술, 역할, 자격 요건이 서로 어떻게 연관되는지에 대한 구조화된 지도에 입력됩니다. 이 시스템은 숨겨진 패턴을 기반으로 누가 성공할지 예측하지 않습니다. 대신 후보자가 보유한 것과 직무가 요구하는 것 사이의 정확한 거리를 계산합니다. "PyTorch"는 "딥러닝"과 연결되고, 딥러닝은 "인공지능"과 연결됩니다. 직무가 AI 경험을 요구하고 후보자가 PyTorch를 기재했다면, 그래프가 그 연결을 추적합니다. 이 논리는 **결정론적(deterministic)**입니다 — 동일한 입력은 항상 동일한 출력을 만듭니다.
3단계 — 설명 가능한 출력: 시스템은 점수(예: 100점 만점에 92점)를 생성하고 그 이유를 정확히 보여줍니다. 직접 매칭: Python, SQL. 추론된 매칭: 딥러닝 프로젝트를 통해 연결된 PyTorch. 갭(gap): Kubernetes 미보유 — 후보자의 현재 기술에서 3단 연결 거리. 그런 다음 LLM이 이 그래프 팩트를 리크루터를 위한 쉬운 언어의 요약으로 번역합니다.
감사 이점은 구조적인 것입니다. 인구통계 노드가 추론 그래프에서 물리적으로 배제되므로, 시스템은 결정에 성별, 인종, 연령을 사용할 수 없습니다. 데이터에는 "후보자"에서 "성별"로, 다시 "직무"로 이어지는 경로가 없습니다. 편향은 덧칠한 것이 아니라 아키텍처 수준에서 절단됩니다. 한편, 별도의 감사 계층이 익명화된 점수를 인구통계 데이터와 다시 결합하여 NYC Local Law 144 및 EU AI 법 준수를 위한 영향 비율을 실시간으로 계산할 수 있습니다. 특정 직무 요건이 어떤 보호 집단을 불균형적으로 걸러내고 있다면, 시스템이 이를 표시하여 팀이 검토하고 조정할 수 있습니다.
이 접근법은 블랙박스 시스템이 잘못 거절한 후보자도 되찾아옵니다. 명시적인 SQL 경험은 없지만 Pandas와 R Dplyr에 깊은 숙련도를 갖춘 후보자는 "높은 전이 가능성(High Transferability)"으로 표시됩니다 — 지식 그래프가 데이터 조작 개념이 이 기술들을 연결한다는 것을 이해하기 때문입니다. 기존 시스템이라면 놓쳤을 채용입니다.
이러한 과제를 헤쳐나가는 HR 및 인재 기술 조직 에게는 예측에서 측정으로의 전환이 모든 것을 바꿉니다. 더 깊은 아키텍처 세부 정보를 확인하려면 다음을 할 수 있습니다: 전체 기술 분석 읽기 또는 인터랙티브 버전 탐색 을 통해 본 연구를 더 깊이 살펴보세요.
핵심 요점
- 아마존의 AI 채용 도구는 3년간 "women's"가 언급된 이력서에 불이익을 주었습니다 — 그리고 엔지니어들은 모델을 망가뜨리지 않고는 편향을 수정할 수 없었습니다.
- NYC Local Law 144는 이제 자동화된 채용 도구에 대해 인종, 민족, 성별별 구체적인 영향 비율 계산과 함께 매년 독립적인 편향 감사를 요구합니다.
- EU AI 법은 채용 AI를 고위험으로 분류하며, 모든 자동화된 결정에 대해 설명 가능성과 의미 있는 인간 감독을 요구합니다.
- 이력서를 읽는 AI와 후보자를 채점하는 시스템을 분리하고 인구통계 데이터를 채점 엔진에서 물리적으로 배제하면, 편향은 아키텍처 수준에서 차단됩니다.
- 결정론적 지식 그래프 시스템은 동일한 입력에 대해 항상 동일한 점수를 산출하여, LLM 기반 도구로는 제공할 수 없는 재현 가능한 감사 추적을 제공합니다.
결론
여러분의 채용 AI는 기술을 측정하거나 과거의 차별을 반복하거나 둘 중 하나입니다 — 중간 지대는 없습니다. 뉴욕과 유럽의 규제는 이제 어느 쪽인지 증명할 것을 요구합니다. AI 벤더에게 물으세요. 시스템이 후보자를 거절할 때, 그 결정을 이끈 정확한 기술 격차를 보여줄 수 있습니까? 그리고 감사인이 내일 같은 이력서를 다시 넣으면 동일한 결과를 재현할 수 있습니까?