AI가 청각장애인 여성에게 "적극적 경청을 연습하세요"라고 말했다. 이 산업이 망가졌다는 걸 내가 확신한 순간이다.

화요일 밤 늦게, 나는 집 사무실에 앉아 Intuit와 HireVue를 상대로 한 ACLU의 소송 제기 서류를 훑어보고 있었는데, 노트북을 내려놓고 그냥 벽만 멍하니 바라보게 만든 한 문장에 다다랐다.

소송 서류에 D.K.라는 이니셜로 표기된 한 청각장애인 원주민 여성은 승진을 위해 자동화된 화상 면접을 완료하라는 요구를 받았다. 그녀는 이미 긍정적인 평가와 연간 보너스, 그리고 승진을 당연하게 만들었어야 할 실적을 쌓아둔 상태였다. 그러나 그녀의 면접을 처리한 AI 시스템은 이 산업을 앞으로 수년간 괴롭힐 피드백 한 조각을 만들어냈다: 시스템은 그녀에게 이렇게 지시했다 — "적극적 경청을 연습하세요."

그녀는 청각장애인이다.

시스템은 알지 못했다. 시스템은 개의치 않았다. 시스템은 모든 대규모 언어 모델이 하는 일을 했다 — 압도적으로 청인, 신경전형적, 표준 미국 영어를 구사하는 사람들로 구축된 훈련 데이터셋에 패턴을 맞춰보고는, 그 데이터셋처럼 들리지 않는 사람은 누구든 결함이 있다고 판정했다. 다른 것이 아니라. 결함이 있다고.

나는 사람에 관한 고위험 결정을 내리도록 설계된 AI 시스템을 Veriprajna에서 여러 해 동안 구축해 왔다. 그리고 나는 절대적인 확신을 갖고 말할 수 있다: 이것은 버그가 아니었다. 이것은 설계된 그대로 정확히 작동하는 아키텍처였다. 바로 그것이 문제다.

D.K.에게 실제로 무슨 일이 있었나?

이 사실들은 곱씹어 볼 가치가 있다. 단일 소프트웨어 결함보다 더 깊은 무언가를 드러내기 때문이다.

D.K.는 합리적 편의 제공을 요청했다 — 구체적으로는 화상 면접을 진행하는 데 도움을 줄, 인간이 작성하는 실시간 문자 통역(CART) 속기사였다. 하지만 그녀에게 주어진 것은 자동 자막이었다. 가벼운 지역 억양을 가진 화자를 자동 자막이 엉망으로 망쳐놓는 것을 본 적이 있다면, 언어학자들이 "청각장애인 억양"이라 부르는 것 — 청각적 피드백 없이 평생 소통해 온 데서 형성된 말투 — 을 가진 화자에게는 무슨 일이 벌어질지 상상해 보라.

자동 음성 인식 시스템은 그녀의 말을 해석하지 못했다. 그것이 생성한 전사본은 기능적으로 쓰레기였다. 그리고 두 번째 AI 계층이 그 쓰레기 전사본을 "리더십 자질"과 "의사소통 능력"의 관점에서 분석하고는, 그녀가 관리직을 맡을 준비가 되어 있지 않다고 결론지었다.

이것이 바로 내가 연쇄 실패(cascading failure)라고 팀과의 대화에서 부르기 시작한 것이다 — 한 AI 계층에서 발생한 오류가 단지 지속되는 데 그치지 않고 이후 계층들을 통과하며 증폭될 때를 가리킨다. 잘못된 전사본이 잘못된 분석을 낳고, 잘못된 분석이 잘못된 추천을 낳는다. 인간이 그 출력물을 볼 무렵이면 결과는 깔끔해 보인다. 점수 하나. 순위 하나. 탈락 통보 하나. 그 밑에 깔린 78%의 단어 오류율은 아무도 보지 못한다.

기초가 되는 전사본의 오류율이 78%일 때, 그 위에 구축된 모든 모델은 지원자를 분석하는 것이 아니다 — 잡음을 분석하고 있는 것이다.

그 숫자는 가정이 아니다. 평균에서 낮은 수준의 말 명료도를 가진 청각장애인 화자를 처리하는 ASR 시스템에 대한 연구는 일관되게 77%에서 78% 사이의 단어 오류율을 보여준다. 비교하자면, 표준 미국 영어 화자의 경우 10~18%다. 이 시스템은 애초에 D.K.에게 작동할 수 없었다. 그것은 근본에서부터 그녀를 배제하도록 설계되었다.

왜 모든 AI 채용 도구가 이 문제를 갖고 있나?

여기서 나는 내가 몸담은 이 산업에 대해 솔직해질 필요가 있다.

지금 시장에 나와 있는 "AI 채용 솔루션"의 절대다수는 우리가 wrapper products라고 부르는, 즉 래퍼 제품이다. 이들은 범용 대규모 언어 모델 — GPT-4, Claude, Gemini — 위에 얹힌 얇은 인터페이스다. 회사는 근사한 UI와 HR 특화 프롬프트 몇 개, 어쩌면 차트가 있는 대시보드를 덧붙이고는, 그것을 "AI 기반 인재 인텔리전스"로 판매한다.

나는 래퍼와 목적 지향적으로 구축된 시스템의 차이를 정말로 구분하지 못하는 기업 구매자들과 마주 앉아 본 적이 있다. 그리고 어떻게 구분하겠는가? 마케팅은 똑같아 보인다. 데모는 세련되어 있다. 래퍼 회사는 "우리는 첨단 AI를 사용합니다"라고 말하고, 딥 AI 회사도 "우리는 첨단 AI를 사용합니다"라고 말하니, 구매 팀은 가격표가 더 낮은 쪽을 고른다.

그 차이는 D.K. 같은 사람이 문을 열고 들어올 때에야 비로소 드러난다.

범용 LLM은 자신이 훈련받은 인터넷 규모의 데이터셋에 새겨진 모든 편향을 물려받는다. 수십 년간의 채용 데이터가 특정한 방식으로 말하고, 특정한 방식으로 생기고, 특정한 방식으로 자신을 드러내는 지원자에 대한 선호를 반영한다면, 모델은 그 패턴을 의심하지 않는다 — 오히려 그것에 맞춰 최적화한다. 그것은 모델의 추론에 있는 결함이 아니다. 그것은 문자 그대로 모델이 하도록 만들어진 일이다: 패턴을 찾아내고 그것을 복제하는 것.

나는 우리 엔지니어 중 한 명 — 그를 Ravi라고 부르겠다 — 과 적대적 편향 제거가 연산 부담을 감수할 만한 가치가 있는지를 두고 격렬하게 논쟁했던 것을 기억한다. 그의 입장은 실용적이었다: "대부분의 지원자는 엣지 케이스를 건드리지 않아요. 우리는 아마 면접의 2% 정도에만 영향을 주는 시나리오를 위해 지연 시간을 추가하고 있는 겁니다." 내 대답은 직설적이었다: "당신의 시스템이 98%의 사람에게는 완벽하게 작동하면서 나머지 2%를 체계적으로 차별한다면, 당신은 엣지 케이스가 있는 좋은 제품을 만든 게 아닙니다. 당신은 높은 정확도를 가진 시민권 침해를 만든 겁니다."

Ravi는 생각을 바꿨다. 하지만 나는 그 대화를 자주 떠올린다. 지금 이 순간에도 모든 AI 회사에서 그런 일이 벌어지고 있고, 그 대부분에서는 Ravi 같은 이들이 이기고 있다는 걸 알기 때문이다.

차별하지 않는 AI를 실제로 어떻게 구축하는가?

기술적인 답도 중요하지만, 나는 그것을 사양서에 쓰는 방식이 아니라 친구에게 설명하듯이 설명하고 싶다.

우리가 Veriprajna에서 구축하는 것의 핵심 아이디어는 adversarial debiasing라고 불리는 적대적 편향 제거다. 두 개의 AI 모델을 동시에 훈련한다고 상상해 보라. 첫 번째 모델 — 당신이 실제로 관심을 두는 모델 — 은 지원자가 어떤 직무에서 성공할지를 예측하려 한다. 두 번째 모델은 적대자다. 그것의 유일한 임무는 첫 번째 모델의 내부 표현을 들여다보고 지원자의 인종, 성별, 장애 여부, 또는 그 밖의 보호 속성을 추측하려 시도하는 것이다.

그런 다음, 적대자가 성공할 때마다 첫 번째 모델에 벌점을 준다.

수천 번의 훈련 주기를 거치면서, 주 모델은 보호 특성에 진정으로 눈먼 예측을 내리는 법을 배운다 — 입력에서 그런 데이터 지점들을 제거해서가 아니라(그것은 순진한 접근법이며, 대리 변수가 남기 때문에 작동하지 않는다), 모델의 내부 추론이 인구통계 정보를 거치지 않는 결론 경로를 찾도록 강제되었기 때문이다.

반사실적 공정성이란 지원자의 보호 속성 — 인종, 성별, 장애 — 이 달랐더라도 그 점수가 동일하게 유지될 것임을 증명하는 것을 의미한다. 그것은 열망이 아니다. 그것은 수학적 검증이다.

이것은 래퍼가 할 수 있는 일과 근본적으로 다르다. 당신은 GPT API 호출에 적대적 편향 제거를 나사로 조여 붙일 수 없다. 당신은 통제하지 못하는 모델의 내부 표현을 사후에 감사할 수 없다. 당신은 그저 블랙박스에 텍스트를 보내고 그 출력이 차별적이지 않기를 바랄 뿐이다. 희망은 컴플라이언스 전략이 아니다.

나는 전체 기술 아키텍처에 대해 — 멀티모달 융합 접근법과 공식적인 공정성 지표를 포함하여 — our interactive whitepaper우리의 인터랙티브 백서에 썼으니, 더 깊이 파고들고 싶다면 참고하기 바란다.

D.K.를 침몰시킨 모달리티 붕괴

HireVue 사건에는 대부분의 보도가 놓쳤다고 내가 생각하는 특정한 기술적 결함이 하나 있는데, 그것은 나를 밤잠 못 이루게 하는 종류의 것이다.

이 시스템은 연구자들이 modality collapse라고 부르는 모달리티 붕괴 현상을 겪었다. 멀티모달 AI 시스템 — 영상, 음성, 텍스트를 동시에 처리하는 시스템 — 에서는 각 채널(즉 "모달리티")이 최종 평가에 기여한다. 이론상 이것은 단일 채널 시스템보다 더 견고하다. 음성에 잡음이 있으면 영상이 보완할 수 있다. 전사본이 뒤죽박죽이면 시각적 단서가 그것을 메울 수 있다.

실제로는 HireVue의 시스템이 음성 채널에 과도하게 의존한 것으로 보인다. D.K.의 말이 모델이 기대한 패턴과 일치하지 않자, 음성 신호는 단지 낮은 점수를 기여하는 데 그치지 않았다 — 그것이 평가 전체를 지배했다. 그녀의 몰입도와 자신감, 표현력을 포착했을지도 모를 시각 채널은 묻혀 버렸다.

우리는 이 문제를 Modality Fusion Collaborative Debiasing이라고 부르는 모달리티 융합 협력적 편향 제거로 해결한다. 우리 시스템은 한 모달리티가 낮은 신뢰도의 출력을 내고 있다고 감지하면 — 예컨대 ASR이 비표준 억양을 처리하는 데 어려움을 겪을 때 — 단지 문제를 표시만 하지 않는다. 자동으로 다른 모달리티들의 가중치를 높인다. 서면 응답이 더 큰 영향력을 갖게 된다. 시각적 행동 단서가 더 큰 영향력을 갖게 된다. 품질이 저하된 음성 채널은 영향력이 줄어든다.

그런데 여기서 내가 가장 중요하다고 생각하는 부분이 있는데, 그것은 전혀 기술적인 것이 아니다: 우리 시스템의 신뢰도가 임계값 아래로 떨어지면, 그것은 사람에게 넘긴다. 뒤늦게 덧붙인 기능으로서가 아니다. 설정 메뉴에 파묻힌 "에스컬레이션 경로"로서가 아니다. 핵심적인 아키텍처 결정으로서다.

D.K.는 인간 속기사를 요청했다. 그녀는 거절당했다. 우리 시스템에서라면 그녀는 요청할 필요조차 없었을 것이다. 시스템이 스스로의 한계를 인식하고 자동으로 사람을 끌어들였을 것이다.

AI는 자신이 실패하고 있을 때를 알아야 한다. HireVue의 시스템이 78% 오류율의 전사본에 자신 있게 점수를 매겼다는 사실은, 이런 도구들이 어떻게 만들어지는지 — 그리고 누구를 위해 만들어지는지 — 에 관한 모든 것을 말해준다.

법이 따라잡으면 무슨 일이 벌어지나?

여러 해 동안 AI 채용 산업은 규제 공백 속에서 운영되었다. 회사들은 원하는 것은 무엇이든 배포하고, 아무것도 감사하지 않으며, 서비스 약관에서 책임을 부인할 수 있었다. 그 시대는 빠르게 끝나가고 있다.

바로 Colorado Artificial Intelligence Act (SB 24–205)콜로라도 인공지능법은 2026년 초에 발효되며, 전례 없는 무언가를 확립한다: 고위험 AI 시스템을 개발하거나 배포하는 모든 이에 대한 법적 "합리적 주의 의무"다. 채용 및 승진 결정은 명시적으로 고위험으로 분류된다. 이 법은 알고리즘 차별을 선별하는 연례 영향 평가를 요구한다. 자발적인 것이 아니다. "모범 관행"이 아니다. 의무다.

뉴욕시의 지역법 144호(Local Law 144)는 이미 자동화된 고용 결정 도구에 대한 독립적 편향 감사를 요구한다. 캘리포니아와 일리노이에서도 유사한 입법이 진행 중이다. EU AI법은 채용 AI를 고위험으로 분류하고, 매출 기반 벌금으로 뒷받침되는 투명성 및 인간 감독 요건을 부과한다.

그리고 그다음으로는 Mobley v. Workday가 있는데, 이는 대부분의 사람들이 들어보지 못한 가장 중대한 판례일지도 모른다. 한 연방 법원이 집단 소송을 인증하고, AI 소프트웨어가 전통적으로 인간 채용 관리자가 처리하던 기능을 수행할 때 그 AI 공급업체가 "대리인" 또는 "간접 고용주"로 취급될 수 있다고 판결했다. 그 단 하나의 판결이 모든 래퍼 회사가 의존하는 책임 방화벽 — 공급업체는 도구를 제공하지만 위험은 전적으로 고용주가 진다는 발상 — 을 무너뜨렸다.

약 1년 전, 한 잠재적 투자자가 나에게 컴플라이언스 우선 AI는 "틈새 시장 플레이"라고 말했다. 시장이 원하는 것은 속도와 규모이지 감사 가능성이 아니라고. 나는 그에게 시장이 곧 소송을 당해서 감사 가능성을 원하게 될 것이라고 말했다. ACLU의 소송 제기가 그 요점을 증명했다고 나는 생각한다.

상세한 규제 분석과 기업이 어떻게 대비해야 하는지에 대한 전체 프레임워크는, the technical deep-dive is here여기 기술 심층 분석에서 확인할 수 있다.

"하지만 우리 시스템은 편향 감사를 통과했는데요"

사람들은 나에게 끊임없이 이렇게 묻는다 — 시스템이 연례 편향 감사를 통과하면, 그것으로 충분하지 않느냐고?

아니다. 그리고 그 이유는 이렇다.

대부분의 편향 감사는 disparate impact차별적 영향을 5분의 4 규칙(Four-Fifths Rule)을 사용해 검사한다: 보호 집단의 선발률이 가장 높은 선발률을 보인 집단의 80% 미만으로 떨어지면 문제가 있다는 것이다. 이것은 유용한 하한선이지만, 형편없는 상한선이다. 시스템은 전체적으로는 5분의 4 규칙을 통과하면서도 특정한 교차적 집단 — 예컨대 청각장애인 원주민 여성 — 에게는 체계적으로 실패할 수 있다. 표본 크기가 너무 작아 통계적 임계값을 건드리지 못하기 때문이다.

D.K.는 여성 전반에 대해 편향되었거나 원주민 전반에 대해 편향된 시스템 때문에 탈락한 것이 아니다. 그녀는 자신의 정체성과 의사소통 방식의 특정한 조합을 처리하지 못하는 시스템 때문에 탈락했다. 집계적 공정성 지표로는 결코 그것을 잡아내지 못했을 것이다.

그래서 우리는 SHAP (SHapley Additive exPlanations) 분석을 연 1회 체크박스가 아니라 지속적인 모니터링 계층으로 사용한다. SHAP은 모든 개별 결정을 그 기여 특성들로 분해할 수 있게 해준다. 지원자가 낮은 점수를 받으면, 우리는 어떤 특성들이 그 점수를 이끌었는지 정확히 볼 수 있다. 그리고 만약 그 특성들이 직무 관련 역량이 아니라 보호 속성과 상관관계를 갖는다면 — "문제 해결 능력"이나 "도메인 전문성"이 아니라 "운율"이나 "말의 리듬"이 핵심 역할을 하고 있다면 — 시스템은 실시간으로 스스로에게 시정 표시를 한다.

편향 감사와 지속적인 설명 가능성 모니터링의 차이는 연례 건강검진과 심장 모니터의 차이다. 하나는 이미 무엇이 잘못되었는지를 알려준다. 다른 하나는 아직 손쓸 시간이 있을 때 문제를 잡아낸다.

이것을 잘못했을 때의 진짜 대가

나는 기술이나 규제에 관한 것이 아닌 무언가로 이 글을 마무리하고 싶다.

D.K.가 승진을 거부당했을 때, 회사는 단지 그녀의 권리를 침해한 것이 아니다. 보너스와 긍정적인 평가를 받아냈던 고성과 직원 — 인간의 모든 잣대로 보아 그 역할에 준비되어 있던 사람 — 을 잃은 것이다. AI는 잘못된 채용으로부터 회사를 지켜준 것이 아니다. 그것은 훌륭한 채용으로부터 회사를 지켜냈다.

편향된 시스템이 자격을 갖춘 지원자를 걸러낼 때마다 — 억양 때문에, 장애 때문에, 이름 때문에, 훈련 데이터와 일치하지 않는 말투 때문에 — 회사는 단지 법적 위험에 직면하는 것이 아니다. 그 사람을 잃는다. 그 관점을, 그 문제 해결 방식을, 그 어떤 "문화 적합성" 최적화로도 복제할 수 없는 살아 있는 경험을 잃는다.

나는 시작할 때보다 지금 더 강하게 붙드는 확신 위에 Veriprajna를 세웠다: 다가올 10년을 지배할 회사는 AI를 그렇지 않았다면 놓쳤을 인재로 이어지는 다리로 사용하는 법을 알아낸 회사이지, 인재를 걸러내는 필터로 사용하는 회사가 아니라는 것이다. 래퍼 시대는 자신의 소송들의 무게에 짓눌려 무너지고 있다. 블랙박스 시대는 입법으로 소멸되어 가고 있다.

그것을 대체하는 것은 정도의 차이가 아니라 종류의 차이여야 한다. 더 나은 래퍼가 아니다. 더 신중하게 프롬프트된 GPT 호출이 아니다. 근본적으로 다른 아키텍처 — 자신이 언제 틀렸는지를 알고, 자신이 왜 옳은지를 설명하며, 둘 중 어느 것도 확실하지 않을 때 사람을 끌어들이는 아키텍처여야 한다.

AI는 인재로 이어지는 다리여야지, 인재를 가로막는 장벽이어서는 안 된다. 장애와 결함의 차이를 구분하지 못하는 시스템은 그 어떤 것도 사람들의 경력에 관한 결정을 내릴 자격이 없다.

"배포하고 부인하는" 시대는 끝났다. 그다음에 오는 것은 더 어렵고, 더 느리며, 구축하는 데 더 많은 비용이 들지만, 실제로 작동할 유일한 것이다.