성차별을 학습한 AI 채용 도구 — 그리고 공정한 도구를 만들며 제가 배운 것

몇 달 전, 저는 한 중견 테크 기업의 CHRO와 마주 앉았는데, 그는 진심 어린 자부심으로 자신들이 채용 파이프라인에서 "편향을 해결했다"고 말했습니다. 그들은 AI 기반 스크리닝 도구를 구매했습니다. 그 도구는 이력서를 분석하고, 지원자의 순위를 매기고, 충원 소요 시간을 40% 단축했습니다.

저는 한 가지 질문을 던졌습니다. "그 도구는 무엇을 예측하나요?"

침묵. 그러더니 이렇게 답했습니다. "무슨 말씀이신지? 누구를 채용할지 예측하죠."

"아닙니다." 제가 말했습니다. "그 도구는 당신이 채용했을 법한 사람을 예측합니다. 엔지니어링 팀이 84%가 남성이었던 지난 10년간의 데이터를 바탕으로요."

그의 얼굴에서 핏기가 가셨습니다. 그는 자신이 제거하고 있다고 생각한 바로 그 편향을 자동화하는 도구에 수억 원을 쓴 것이었습니다.

이 대화가 저를 잊지 못하게 하는 이유는, 이것이 예외적인 사례가 아니기 때문입니다. 이것이 표준입니다. AI 채용 도구의 첫 세대 전체 — 지금 시장에 나와 있는 것들의 압도적 다수를 말합니다 — 는 근본적으로 결함이 있는 전제 위에 세워져 있어, 그 결과가 사람들의 생계가 아니었다면 우스울 정도입니다. 이 도구들은 과거 채용 데이터로 학습된 예측 AI를 사용합니다. 이 도구들은 과거에 누가 채용되었는지를 학습합니다. 그런 다음 그 패턴을 무자비한 효율성으로 대규모로 복제하며, 우리를 구할 수 있었을지도 모를 단 한 가지를 제거해 버립니다. 바로 뻔하지 않은 지원자를 보고 이렇게 생각한, 가끔 있는 인간 채용 담당자입니다. 그거 아세요, 한번 기회를 줘 봅시다라고요.

Veriprajna에서 우리는 AI 채용 시스템을 다르게 만듭니다. 우리는 인과 AI를 사용합니다 — 누가 채용되었을 법한지를 예측하기 위해서가 아니라, 누가 실제로 잘 수행할지를 예측하기 위해서입니다. 그리고 대부분의 AI 시스템이 이해조차 하지 못하는 질문을 던져 그 예측을 스트레스 테스트합니다. 이 지원자가 다른 인구통계 집단 출신이라면, 우리의 답이 바뀔까?

만약 바뀐다면, 그 모델은 실패한 것입니다. 우리는 되돌아가서 그것을 고칩니다.

이것은 그 구분이 지금 HR 기술에서 일어나고 있는 그 무엇보다도 더 중요한 이유에 관한 이야기입니다.

"컬처 핏"은 더 나은 마케팅으로 포장한 동종선호일 뿐이다

기술 이야기를 하기 전에, 저는 인간의 문제에 대해 이야기해야 합니다 — 왜냐하면 AI 문제는 그 하류에 있기 때문입니다.

사회학에는 동종선호(homophily)라는 개념이 있습니다. 사람들이 자신과 비슷한 이들과 어울리고, 유대감을 형성하고, 선호하는 경향을 말합니다. 이것은 사회과학에서 가장 견고하게 입증된 현상 중 하나입니다. 그리고 이것은 세상 대부분의 채용 결정을 이끄는 보이지 않는 엔진입니다.

동종선호는 럭비를 했던 채용 관리자가 럭비를 언급한 지원자를 무의식적으로 높이 평가하는 이유입니다. 그것은 "컬처 핏" — 모든 채용 담당자의 어휘에서 신성하고 반박할 수 없는 그 표현 — 이 거의 언제나 "이 사람은 나 자신을 떠올리게 한다"로 번역되는 이유입니다. 버클리의 연구자들은 면접관들이 일상적으로 "의사소통 능력"을 "나처럼 말한다"와 혼동한다는 사실을 발견했습니다. 다른 사회경제적 배경 출신으로 다른 언어적 어투를 쓰는 지원자는 "세련미 부족"으로 감점을 받습니다. 그들이 한 답변의 내용은 거의 인식되지 않습니다.

저는 Veriprajna 초기에 한 선임 자문위원과 벌였던 격렬한 논쟁을 기억합니다. 그는 컬처 핏이 정당한 채용 기준이라고 — 팀에는 결속, 공유된 가치, 공통의 언어가 필요하다고 — 주장했습니다. 저는 그 원칙에 동의하지 않은 것이 아닙니다. 저는 그 실행 방식에 동의하지 않았습니다. 왜냐하면 연구자들이 "컬처 핏"에 최적화된 조직에서 실제로 무슨 일이 일어나는지를 연구하면, 그들은 불안한 무언가를 발견하기 때문입니다. 그런 조직들은 네트워크 과학자들이 동종선호 함정(homophily traps)이라고 부르는 것에 빠집니다. 일단 소수 집단의 비율이 약 25% 아래로 떨어지면, 다수가 다수를 채용하고, 인구통계적 구성이 고정되어 버립니다. 혁신이 정체됩니다. 집단사고가 지배합니다. 조직은 거울들이 마주 보는 방(hall of mirrors)이 됩니다.

"컬처 핏"은 채용 기준처럼 들립니다. 실제로는, 기존 팀을 복제하는 메커니즘입니다 — 그리고 그것을 전략이라고 부르는 것입니다.

해법은 문화적 정합성이라는 개념을 폐기하는 것이 아닙니다. 그것은 "컬처 핏"에서 "컬처 애드"로 전환하는 것입니다 — 가정을 확인해 주는 사람이 아니라 가정에 도전하는 사람을 채용하는 것입니다. 하지만 그 전환은 대부분의 인간 채용 담당자가 안정적으로 해내지 못하는 무언가를 요구합니다. 지원자의 인구통계적 신호에 진정으로 눈이 먼 채로 그 지원자의 잠재적 기여를 평가하는 일 말입니다.

이것이 우리를 블라인드 오디션으로 이끕니다.

오케스트라가 1970년대에 알아낸 것

1970년대에 미국의 주요 심포니 오케스트라들은 압도적으로 남성이었습니다. 여성은 특정 악기에 필요한 "폐활량"이나 "기질"이 부족하다는 것이 당시의 통념이었습니다. 그러다 오케스트라들이 지원자를 스크린 뒤에 세우기 시작했습니다. 심사위원들은 음악을 — 연주의 실제 인과적 동인을 — 들을 수 있었지만, 연주자를 볼 수는 없었습니다.

여성 채용이 급증했습니다.

스크린은 음악의 질을 바꾸지 않았습니다. 그것은 듣기의 질을 바꿨습니다. 그것은 평가자들이 잡음(외모)이 아니라 신호(소리)에 반응하도록 강제했습니다.

이 비유는 우리가 무엇을 만들고 있는지에 대한 제 생각의 토대가 되었습니다. 디지털 시대에는 모든 구직자를 물리적 스크린 뒤에 세울 수 없습니다. 하지만 수학적 스크린으로 기능하는 AI를 만들 수는 있습니다 — 성별, 인종, 나이 같은 보호 속성에 증명 가능할 정도로 눈이 먼 채로, 직무 성과의 인과적 동인을 평가하는 AI 말입니다.

문제는 표준 AI가 그 반대로 한다는 것입니다. 그것은 투명한 창문처럼 작동합니다. 과거 데이터에 담긴 모든 편향이 그대로 통과해 흘러갑니다.

왜 아마존의 AI는 "여성의(women's)"라는 단어에 불이익을 주었을까?

AI 채용에서 가장 유명한 경고성 사례는 2018년에 폐기된 아마존의 내부 채용 도구입니다. 이 시스템은 회사에 제출된 10년치 이력서로 학습되었습니다. 테크 업계가 심하게 남성 쪽으로 치우쳐 있었기 때문에, 학습 데이터는 그 편향을 반영했습니다.

이 AI는 설계된 대로 정확히 — "채용됨"을 예측하는 패턴을 찾아 — 남성 코드화된 신호가 채용 성공과 상관관계가 있음을 학습했습니다. 그것은 "여성 체스 클럽 주장"처럼 "여성의(women's)"라는 단어가 포함된 이력서에 불이익을 주었습니다. 그것은 두 곳의 여자 대학 졸업생을 강등시켰습니다. 아무도 그것을 성차별적으로 프로그래밍하지 않았습니다. 그것은 단지 남성이라는 것이 아마존에서 채용되는 것의 강력한 예측 변수임을 발견했고, 그 패턴에 최적화했을 뿐입니다.

과거에 정확한 것은 미래에 불공정한 것입니다. 만약 "정확성"이 인간의 결정을 예측하는 것을 의미한다면, "좋은" AI는 필연적으로 편향된 AI입니다.

이것이 모방 학습(imitation learning)의 핵심적 실패입니다 — 인간 채용 담당자를 흉내 내도록 AI를 학습시키는 것 말입니다. 채용 담당자들이 편향되어 있었다면(그리고 동종선호 때문에, 그들은 그러했습니다), AI는 제가 "편향 캡슐"이라고 부르기 시작한 것이 됩니다. 그것은 10년치 편견을 결정화하여 모든 새로운 지원자에게 기계의 속도로 적용합니다.

아마존은 적어도 프로젝트를 폐기할 만한 진정성은 있었습니다. 비슷한 도구를 사용하는 대부분의 기업은 자신들에게 그 문제가 있다는 것조차 모릅니다.

GPT는 어떤가? LLM 래퍼(wrapper)의 함정

아마존 이야기가 터진 뒤, 저는 업계가 방향을 바로잡을 것이라고 생각했습니다. 그런데 오히려 생성형 AI 붐은 틀림없이 더 나쁜 무언가를 낳았습니다. GPT-4나 Claude 같은 범용 대규모 언어 모델 위에 얹은 얇은 인터페이스 — 래퍼 — 로 만들어진 "AI 기반" 채용 도구들의 홍수 말입니다.

저는 "그냥 GPT를 쓰세요. 채용 데이터로 파인튜닝하세요. 출시하세요."라고 말한 투자자와 잠재적 파트너의 수를 셀 수 없을 정도로 들었습니다. 매번 저는 똑같이 대답합니다. GPT가 무엇으로 학습되었는지 아십니까?

열린 인터넷입니다. 인간이 쓴 텍스트의 총합입니다 — 그 편향, 고정관념, 편견까지 포함해서요. 워싱턴 대학교의 연구자들은 LLM이 이력서를 스크리닝할 때 백인과 연관된 이름이 85%의 경우에 선호된다는 사실을 발견했습니다. 자격 요건이 동일할 때에도 말입니다. 일부 테스트 반복에서는 흑인 남성 이름이 단 한 번도 1위에 오르지 못했습니다. 이 모델은 학습 데이터의 통계적 패턴에 근거해 특정 이름을 "역량"과 연관 짓습니다. 래퍼는 그것을 쉽게 끌 수 없는데, 그 편향이 언어에 대한 모델의 근본적 이해에 짜여 들어가 있기 때문입니다.

그리고 그것은 환각(hallucination)에 이르기도 전의 이야기입니다. LLM은 논리 엔진이 아니라 확률적 텍스트 생성기입니다. 그것은 지원자가 갖고 있지 않은 기술을 지어내거나, 갖고 있는 기술을 놓칠 수 있습니다. 왜냐하면 이 모델은 사실적 정확성이 아니라 그럴듯하게 들리는 텍스트에 최적화하고 있기 때문입니다. 컴플라이언스 맥락에서 — 탈락한 지원자가 소송을 걸 수도 있는 상황에서 — "AI가 당신에게 필수 자격증이 없다고 환각을 일으켰다"는 것은 실효성 있는 법적 방어가 되지 못합니다.

그다음에는 블랙박스 문제가 있습니다. 래퍼에게 왜 지원자 A를 지원자 B보다 높게 순위 매겼는지 물어보면, 자신 있게 들리는 설명을 생성해 낼 수 있습니다. 하지만 그 설명은 결정에 대한 인과적 서술이 아니라 사후 합리화입니다. NYC 지방법 144와 EU AI 법 아래에서, 그 불투명성은 점점 더 규정 위반이 되어 가고 있습니다.

저는 이 문제 — 그리고 그것을 해결하기 위한 우리의 접근법 — 에 대해 우리 연구의 인터랙티브 버전에서 다뤘습니다.

잘못된 질문 대 올바른 질문

여기에 모든 것의 핵심이 있습니다.

표준 채용 AI는 이렇게 묻습니다. "과거에 근거할 때, 이 사람이 채용될까?"

우리는 이렇게 묻습니다. "이 사람이 잘 수행할까?"

그것들은 비슷하게 들립니다. 그것들은 하늘과 땅 차이입니다.

첫 번째 질문은 채용 담당자의 결정으로 학습합니다 — 동종선호, 친화 편향, 그리고 기존 팀의 인구통계에 대한 패턴 매칭으로 오염된 결정 말입니다. 두 번째 질문은 비즈니스 성과로 학습합니다. 18개월 이상 근속, KPI 달성, 성과 평가, 팀 산출물 개선 같은 것들 말입니다.

결정 대신 성과로 학습하면, 놀라운 일이 일어납니다. 다양한 배경의 지원자들이 과거에 잘 수행했지만 거의 채용되지 않았다면 — 많은 조직에서 데이터가 정확히 보여 주는 바로 그것입니다 — 성과 기반 모델은 그들을 가치 있게 평가하는 법을 학습합니다. 모방 기반 모델은 그들을 무시하는 법을 학습합니다.

이것은 미묘한 구분이 아닙니다. 그것은 과거를 자동화하는 것과 미래를 설계하는 것의 차이입니다.

어떻게 AI를 증명 가능할 정도로 공정하게 만드는가?

좋습니다. 그래서 우리는 결정 대신 성과로 학습합니다. 그것은 필요하지만 충분하지는 않습니다. 왜냐하면 성과 데이터조차 구조적 편향의 흔적을 담을 수 있기 때문입니다 — 다양한 배경의 직원들이 더 적은 자원, 더 나쁜 업무 배정, 더 적은 멘토링을 받았다면, 그들의 성과는 인위적으로 억눌렸을 수 있습니다.

여기서 우리는 예측 AI에서 인과 AI로, 그리고 구체적으로는 반사실적 공정성(counterfactual fairness)이라는 프레임워크로 넘어갑니다.

주디아 펄(Judea Pearl)의 "인과 관계의 사다리(Ladder of Causation)"에 뿌리를 둔 이 아이디어는 겉보기와 달리 단순합니다. 표준 머신러닝은 펄의 사다리 1단계에서 작동합니다. 연관(association)입니다. 그것은 패턴을 봅니다. "특성 X를 가진 사람은 성과 Y를 얻는 경향이 있다." 유용하지만, 상관관계와 인과관계의 차이에 대해서는 눈이 멀어 있습니다.

인과 AI는 3단계에서 작동합니다. 반사실(counterfactuals)입니다. 그것은 대안적 현실을 상상할 수 있습니다. "이 지원자가 여성 대신 남성이었다면, 다른 모든 것이 동일하게 유지된 채로, 모델의 예측이 바뀔까?"

만약 답이 예라면, 그 모델은 불공정한 것입니다. 이론의 여지가 없습니다.

우리는 이것을 구조적 인과 모델(Structural Causal Models)을 사용해 구현합니다 — 변수들 사이의 원인-결과 관계를 지도화하는 투명한 그래프입니다. 블랙박스 신경망과 달리, SCM은 어떤 경로가 입력을 출력에 연결하는지, 그리고 왜 그런지를 우리가 정확히 볼 수 있게 해 줍니다.

어느 날 밤 제 팀을 늦게까지 붙잡아 둔 구체적인 사례가 있습니다. 우리는 한 모델을 만들다가 "우편번호"가 근속의 강력한 예측 변수임을 알아챘습니다. 말이 됩니다 — 긴 통근은 사람들을 지치게 하니까요. 하지만 우편번호는 대부분의 미국 도시에서 인종과도 상관관계가 있습니다. 표준 모델은 우편번호를 무차별적으로 사용하여, "중립적인" 변수를 사용하는 것처럼 보이면서 실질적으로는 인종에 따라 차별하게 됩니다.

우리의 SCM은 두 경로를 모두 지도화합니다.

• 정당한 경로: 우편번호 → 통근 시간 → 근속
• 허위 경로: 우편번호 → 인구통계 → 과거의 편향

우리는 첫 번째 경로를 보존하면서 두 번째 경로를 수학적으로 차단합니다. 이 모델은 우편번호가 통근 시간을 예측하는 한에서만 우편번호를 사용할 수 있습니다. 만약 그것이 우편번호를 사용해 인종을 추론하기 시작하면, 페널티가 작동합니다.

문제는 당신의 AI가 보호 속성을 직접 사용하느냐가 아닙니다. 문제는 그것이 그 속성들을 옆문으로 다시 몰래 들여오는 대리 변수(proxy)를 사용하느냐입니다.

자신의 편견을 잊도록 모델을 학습시키기

학습 중에 우리는 이것을 실제로 어떻게 강제할까요? 적대적 편향 제거(adversarial debiasing)라는 기법을 통해서입니다 — 본질적으로, 모델의 학습 과정에 구워 넣은 공정성 페널티입니다.

학습 중에 이 모델은 두 개의 경쟁하는 목표에 대해 동시에 최적화합니다. 첫째, 직무 성과 예측의 정확성을 극대화합니다. 둘째, 모델의 내부 표현으로부터 지원자의 보호 속성(인종, 성별, 나이)을 예측하는 능력을 최소화합니다.

우리는 "적대자(adversary)"를 도입합니다 — 주 모델의 출력으로부터 지원자의 인구통계를 추측하려 시도하는 것이 유일한 임무인 보조 모델입니다. 만약 주 모델이 "라크로스"(사회경제적 지위의 대리 변수로, 인종과 상관관계가 있음)나 특정 대학 이름 같은 대리 변수 특징에 기대기 시작하면, 적대자는 이제 인구통계를 더 쉽게 추측할 수 있음을 탐지합니다. 이것은 페널티를 촉발하여, 주 모델의 현재 상태에 드는 비용을 증가시킵니다.

총 손실을 최소화하기 위해, 이 모델은 인구통계를 드러내지 않으면서 성과를 예측하는 특징을 찾도록 강제됩니다. 기술. 경력. 객관적인 시험 점수. 실제 인과적 동인들입니다.

저는 때때로 제 팀이 싫어하는 어리석은 비유로 이것을 설명합니다. 그것은 개에게 신문을 물어 오도록 훈련시키는 것과 같습니다. 개가 신문을 물어 오지만 찢으면, 간식은 없습니다. 결국 개는 찢지 않고 물어 오는 법을 배웁니다. 우리 모델은 차별하지 않고 예측하는 법을 배웁니다.

배포 전에, 우리는 수천 번의 반사실적 시뮬레이션을 실행합니다. 우리는 실제 지원자의 이력서를 가져와, 다른 이름과 대명사를 갖지만 동일한 기술과 경력을 지닌 "합성 쌍둥이"를 생성하고, 둘 다를 모델에 통과시킵니다. 만약 점수가 갈라지면, 그 모델은 감사를 통과하지 못한 것입니다. 우리는 점수가 수렴할 때까지 반복합니다. 이 과정에 대한 전체 기술적 설명은 우리 연구 논문을 참조하세요.

이 모든 것이 법적으로 왜 중요한가?

규제의 벽이 조여 오고 있고, 대부분의 기업이 준비되어 있지 않기 때문입니다.

NYC 지방법 144는 2023년부터 시행되어, 지난 1년 이내에 독립적인 편향 감사를 거치지 않은 자동화 채용 도구의 사용을 금지합니다. 이 법은 영향 비율(impact ratio)의 산출을 의무화합니다 — 인구통계 집단 간 선발률을 비교하는 것입니다. 많은 블랙박스 벤더가 이 감사를 통과하지 못하고 있는데, 자신들의 모델이 서로 다른 특징에 어떻게 가중치를 두는지 통제할 수 없기 때문입니다. 그들은 사후에 편향을 땜질하려고 허둥대는데, 이는 케이크를 다시 굽지 않은 상태로 되돌리려는 것과 같습니다.

EU AI 법은 한발 더 나아가, 채용 AI를 "고위험"으로 분류합니다 — 의료 기기와 동일한 규제 등급입니다. 이는 데이터 거버넌스, 인간의 감독, 그리고 입증 가능한 편향의 부재에 관한 엄격한 요건을 부과합니다. 제3자 API를 통해 데이터를 처리하는 래퍼 솔루션은 여기서 실존적 문제에 직면합니다. 데이터가 당신의 인프라를 떠나고, 모델은 불투명하며, 컴플라이언스를 보장할 수 없습니다.

우리 모델은 설계상 감사 준비가 되어 있습니다. 학습 중의 공정성 페널티가 법이 요구하는 것보다 수학적으로 더 엄격하기 때문에, 컴플라이언스는 나중에 덧붙이는 것이 아니라 자연스러운 부산물입니다. 그리고 인과 그래프가 투명하기 때문에, 우리는 감사관에게 — 또는 법정에게 — 주어진 어떤 결정을 어떤 요인이 이끌었는지 정확히 보여 주고 보호 속성이 가중치가 전혀 없었음을 증명할 수 있습니다.

사람들은 때때로 저에게 이 모든 공정성 엔지니어링이 성과를 희생하는 대가로 오는 것이 아니냐고 묻습니다. 그것은 제가 듣는 가장 흔한 반론인데, 보통 이렇게 표현됩니다. "공정성과 정확성 사이에 트레이드오프가 있지 않나요?"

그렇지 않습니다. 더 정확히 말하면, 공정성과 정확성의 착각 사이에 트레이드오프가 있습니다. 편향된 인간의 결정을 예측하는 데 "정확한" 모델은 실제로는 직무 성과를 예측하는 데 정확하지 않습니다. 그것은 편견을 예측하는 데 정확합니다. 편향을 걷어내고 실제 성과로 학습하면, 예측력을 잃는 것이 아니라 — 실제로 중요한 것을 향해 그것을 다시 겨냥하게 됩니다.

채용에 적용된 머니볼 원리

직원 이직에 관한 한 사례 연구에서, 인과 추론은 "교육 기회의 부족"이 — 급여가 아니라 — 이직의 진정한 동인임을 밝혀냈습니다. 그 회사는 전면적인 임금 인상 대신 교육 프로그램으로 개입하여, 훨씬 적은 비용으로 이직을 23.9% 줄였습니다. 그것이 단지 무엇을이 아니라 왜를 묻는 것의 힘입니다.

데이터 기반의 성과 기반 채용 모델로 전환한 유니레버와 힐튼 같은 기업들은 채용 소요 시간을 최대 90%까지 줄이는 동시에 다양성을 높였다고 보고했습니다. 공정성과 효율성은 긴장 관계에 있지 않습니다. 그것들은 실제로 올바른 것을 측정하는 시스템의 상관된 성과입니다.

저는 이것을 HR에 적용된 머니볼 원리라고 생각합니다. 전통적인 채용 담당자들은 혈통을 과대평가합니다 — 아이비리그 학위, 유명 기업 경력 — 야구 스카우트들이 타율을 과대평가하곤 했던 것과 똑같은 방식으로 말입니다. 인과 AI는 출루율에 해당하는 것을 찾아냅니다. 승리하는 결과를 실제로 예측하는, 저평가된 신호들 말입니다. "컬처 핏"의 편향을 제거함으로써, 다른 모든 기업이 체계적으로 간과하고 있는 고성과자들을 포함하도록 인재 풀을 넓힙니다.

공정성은 성과에 매기는 세금이 아닙니다. 그것은 혈통을 잠재력과 혼동하는 것을 멈출 때 성과가 어떤 모습인지를 보여 줍니다.

무엇이 어려운지 인정하는 대목

이것이 만들기 쉬웠다거나 팔기 쉬웠다고 말한다면 거짓말일 것입니다.

기술은 어렵습니다. 인과 모델은 구축하는 데 도메인 전문성을 요구합니다 — 단지 알고리즘에 데이터를 던져 넣는 것이 아니라, 주어진 직무에서 직무 성과의 실제 인과 구조를 이해해야 합니다. 그 구조를 잘못 파악하면 정당한 경로를 차단하거나 허위 경로를 열어 둔 채로 두게 됩니다. 우리는 특정 변수가 정당한 예측 변수인지 대리 변수인지를 두고 며칠씩 이어진 내부 논쟁을 벌인 적이 있습니다. 지름길은 없습니다. 생각해야만 합니다.

영업 사이클도 어렵습니다. 채용 관리자들은 자신의 직감을 신뢰합니다. 그들은 자신이 인물을 잘 판단한다고 믿습니다. 누군가에게 그들의 "직감"이 실제로는 자기 자신의 인구통계적 프로필에 대한 패턴 매칭이라고 말하는 것은 저녁 식사 자리에서 당신을 인기 있게 만들어 주지 못합니다. 우리는 이 기술을 비난이 아니라 의사결정 지원 도구로 — 맞춤법 검사기에 비유되는 "편향 검사"로 — 자리매김하는 법을 배웠습니다. 그것은 당신을 위해 책을 써 주지 않습니다. 그것은 당신이 피할 수 있는 오류를 저지르지 않도록 보장합니다.

그리고 데이터 준비성은 실제적인 도전 과제입니다. 인과 AI는 견고한 데이터를 필요로 하는데, 소수 집단은 과거 데이터셋에서 종종 과소 대표됩니다. 우리는 합성 데이터 생성으로 이 문제에 대응합니다 — GAN을 사용해 과소 대표된 집단의 통계적 속성을 모방하는 프라이버시 안전 데이터 포인트를 만들어, 모델이 모두를 위한 공정한 의사결정 경계를 학습할 만큼 충분한 예시를 갖도록 보장합니다.

이 중 어느 것도 GPT에 API 호출을 감싸서 제품을 출시하는 것만큼 간단하지 않습니다. 하지만 그 간단한 버전은 작동하지 않습니다. 그것은 그저 조용히, 대규모로, 실제 사람들의 삶을 해치는 방식으로 실패할 뿐입니다.

거울이 아니라 스크린

채용에서 AI의 첫 세대는 거울이었습니다. 그것은 우리의 편향을 우리에게 되비추었고, 자동화로 증폭했으며, 우리는 그것을 지능이라고 불렀습니다.

다음 세대는 스크린이 되어야 합니다 — 저 오케스트라 오디션의 그것처럼요. 지원자를 바라보고 인구통계를 보는 도구가 아니라. 음악에 귀 기울이는 도구 말입니다.

우리는 업계로서 아직 거기에 도달하지 못했습니다. 시장은 여전히 잘못된 목표에 최적화된, 스스로를 설명하지 못하는 모델 위에 세워진, 어떤 질문을 해야 할지 모르는 기업들에게 팔리는 도구들이 지배하고 있습니다. 하지만 규제 환경은 변하고 있습니다. 증거는 쌓이고 있습니다. 그리고 이것을 먼저 알아낸 조직들은 경쟁사들이 알고리즘적으로 배제하고 있는 인재 풀에 접근할 수 있게 될 것입니다.

저는 공정성이 있으면 좋은 것(nice-to-have)이라고 생각해서 Veriprajna를 시작한 것이 아닙니다. 저는 데이터를 들여다보고 편향이 단지 윤리적 실패가 아니라 — 예측의 실패임을 깨달았기 때문에 시작했습니다. 모델이 이름이나 우편번호나 "잘못된" 인구통계와 상관관계가 있는 취미 때문에 자격을 갖춘 지원자를 탈락시킬 때마다, 그것은 잘못된 예측을 하고 있는 것입니다. 그것은 성과를 테이블 위에 남겨 두는 것입니다. 그것은 정확성보다 편안함을 택하는 것입니다.

문제는 AI가 채용을 변혁할 것이냐가 아닙니다. 문제는 우리가 그것을 우리의 최선의 직감을 확장하는 데 쓸 것이냐, 아니면 최악의 직감을 확장하는 데 쓸 것이냐입니다.

저는 제가 어느 편을 위해 만들고 있는지 압니다.