220만 달러의 대가를 치른 AI 세입자 심사 편향 — 다음은 귀사의 시스템입니까?

문제점

연방 정부 지원 주거 바우처를 소지한 두 흑인 여성인 메리 루이스(Mary Louis)와 모니카 더글러스(Monica Douglas)는 아파트 입주를 신청했다가 거절당했습니다. 집주인에 의해서가 아니라, 알고리즘에 의해서였습니다. 세이프렌트 솔루션즈(SafeRent Solutions)는 세입자를 200점에서 800점 척도로 평가하는 "Registry ScorePLUS"라는 점수 산정 시스템을 구축했습니다. 이 시스템은 신용 기록과 비임대 부채에 크게 의존했습니다. 하지만 중요한 사실 하나를 완전히 무시했습니다. 바로 주거 바우처가 안정적인 소득 흐름을 보장한다는 점입니다. 정부가 임대료의 일부를 직접 부담하기 때문에, 바우처를 소지한 세입자는 통계적으로 임대료를 제때 계속 납부할 가능성이 높습니다.

알고리즘은 실제로는 저위험군인 이 신청자들을 고위험군으로 취급했습니다. 이들이 불량 세입자여서가 아니라, 신용 프로필이 고소득 임차인과 다르게 보였기 때문에 낮은 점수를 부여한 것입니다. 2022년 5월, 루이스와 더글러스는 이 시스템이 흑인 및 히스패닉계 신청자에게 불균등한 영향(disparate impact)을 초래했다고 주장하며 집단 소송을 제기했습니다. 2024년 11월, 법원은 227만 5,000달러 규모의 합의를 승인했습니다.

귀사가 세입자를 직접 심사하지는 않을 수도 있습니다. 하지만 사람에 대한 결정을 점수화하고, 순위를 매기거나, 추천하는 AI 시스템을 사용하고 있다면, 이 사건의 이면에 있는 논리는 귀사에도 직접 적용됩니다. 법원은 집주인뿐만 아니라 소프트웨어 공급업체(벤더) 역시 차별적 결과에 대한 법적 책임을 공유한다고 판결했습니다. 그 단 하나의 판결이 모든 것을 바꾸어 놓았습니다.

이것이 귀사의 비즈니스에 중요한 이유

여기서 발생하는 재무적 위험 노출은 세입자 심사를 훨씬 뛰어넘습니다. 세이프렌트 합의에는 피해 신청자에 대한 직접 보상금 117만 5,000달러와 변호사 수임료 110만 달러가 포함되었습니다. 대표 원고들은 각각 1만 달러를 지급받았으며, 이는 개인이 향후 소송을 제기할 명확한 재정적 유인을 마련했습니다. 또한 법원은 법원의 감독하에 지속적인 관행 개선을 요구하는 5년 기한의 금지명령(injunction)을 부과했습니다.

하지만 금전적 수치는 시작에 불과합니다. 귀사의 경영진이 밤잠을 설치며 주목해야 할 점은 다음과 같습니다.

• 귀사의 AI 공급업체에도 법적 책임을 물을 수 있습니다. 법원은 자사가 "중립적" 기술 제공업체라는 세이프렌트의 주장을 기각했습니다. 집주인이 주로 제3자 점수에 의존하는 경우, 해당 점수의 제공업체 역시 의사결정 사슬의 일원으로서 법적 책임을 공유합니다.
• 의도는 중요하지 않습니다. 미국 주택도시개발부(HUD)의 2024년 5월 지침은 그 기준이 "불균등한 영향(disparate impact)"임을 확인했습니다. 아무도 차별할 의도가 없었더라도 귀사의 시스템은 공정주거법(Fair Housing Act)을 위반할 수 있습니다. 중요한 것은 바로 결과입니다.
• 신용 점수는 숨겨진 편향을 수반합니다. 2021년 10월 기준 백인 소비자의 신용 점수 중앙값은 725점이었습니다. 히스패닉계 소비자는 661점, 흑인 소비자는 612점이었습니다. 귀사의 AI가 신용 기록을 중립적인 것으로 취급할 때, 이는 인종 간 격차를 의사결정에 그대로 고착화(hard-coding)하는 결과를 낳습니다.
• 규제 당국이 주시하고 있습니다. HUD와 미 법무부(DOJ)는 알고리즘 개발자에게 공정주거법(Fair Housing Act)을 적극적으로 적용하고 있습니다. 곧 시행될 EU AI 법(EU AI Act)은 주거 및 신용 평가 시스템을 "고위험(High Risk)"으로 분류하여 2025~2026년까지 공식적인 컴플라이언스를 요구할 것입니다.

귀사의 AI 시스템이 동일한 비즈니스 목표를 달성하기 위해 덜 편향된 방식을 모색했음을 입증하지 못한다면, 귀사는 위험에 노출된 것입니다.

내부에서 실제로 벌어지고 있는 일

전통적인 AI 심사 모델을 단 한 곳의 대학교 출신 이력서만 검토하는 채용 담당자에 비유해 보십시오. 그 담당자가 불공정하게 행동하려는 것은 아닙니다. 하지만 그 대학교가 역사적으로 주로 특정 인구 집단만을 입학시켰기 때문에 그 결과는 차별적으로 나타납니다. AI가 과거의 편향을 수반하는 데이터 피처(data features, 모델이 예측을 수행하기 위해 사용하는 개별 데이터 포인트)에 의존할 때도 똑같은 일이 벌어집니다.

세이프렌트의 모델은 신용 기록을 핵심 피처로 사용했습니다. 신용 점수는 금융, 대출 및 자산 형성 기회에 대한 수십 년간의 불평등한 접근성을 반영합니다. 알고리즘이 신용도에는 큰 가중치를 부여하면서 바우처 소득에는 전혀 가중치를 두지 않았을 때, 규제 당국이 "대리 변수(proxy variable)" 문제라고 부르는 현상이 발생했습니다. 이 피처는 서류상으로는 인종 중립적으로 보이지만, 실제로는 인종과 거의 직접적으로 일치합니다.

오늘날 수많은 AI 시스템이 실패하는 지점이 바로 여기입니다. ChatGPT와 같은 도구의 기반 기술인 대규모 언어 모델(LLM)은 다른 방식으로 이 문제와 씨름합니다. LLM은 법적 공개 요건을 충족하는 형식으로 추론 과정을 설명하지 못하는 경우가 많습니다. 공정신용보고법(Fair Credit Reporting Act, FCRA)은 누군가의 신청이 거절될 때 구체적인 "사유 코드(Reason Codes)"를 제시하도록 요구합니다. LLM은 그럴듯하게 들리지만 실제로는 날조된 설명을 생성할 수 있습니다. 규제 대상 의사결정에서 자신감 넘치게 들리는 오답은 대답이 아예 없는 것보다 더 나쁩니다.

진짜 위험은 연구자들이 "데이터 드리프트(data drift)"라고 부르는 현상입니다. 세상은 변하는데 모델은 업데이트되지 않는 경우를 말합니다. 바우처 이용률이 변동하고, 인구 통계가 변화합니다. 2019년 데이터로 구축된 모델은 단순히 기반 인구 집단이 변화했다는 이유만으로 2025년에 차별적인 결과를 낳을 수 있습니다. 지속적인 모니터링이 없다면, 소송장이 날아오기 전까지는 이를 알아차리지 못할 것입니다.

무엇이 통하고 (무엇이 통하지 않는가)

먼저, 규제 환경에서 실패하는 세 가지 일반적인 접근법입니다.

"우리는 1년에 한 번 감사를 받습니다." 연 1회 실시하는 정적 공정성 감사는 실시간 편향을 놓칩니다. 사회경제적 데이터는 끊임없이 변하며, 1월에 받은 결백한 감사 결과는 7월이 되면 아무런 의미가 없습니다.

"우리의 AI는 의사결정 과정을 설명합니다." 많은 LLM 기반 도구는 그럴듯하게 들리지만 환각(hallucination)일 수 있는 설명을 생성합니다. 즉, 시스템이 결정이 내려진 실제 방식을 실제로 반영하지 않는 그럴듯한 텍스트를 만들어낸다는 뜻입니다. 이는 기능이 아니라 법적 책임(리스크)입니다.

"우리는 입력 데이터에서 인종 항목을 제거했습니다." 보호 속성을 제거한다고 해서 신용 점수, 우편번호, 부채 이력과 같은 대리 변수까지 제거되는 것은 아닙니다. 이러한 피처들은 높은 정확도로 인종적 패턴을 재구성할 수 있습니다.

실제로 효과가 있는 것은 사후에 공정성을 덧붙이는 대신 시스템 자체에 공정성을 구축하는 3단계 아키텍처입니다.

1. 전처리: 학습 전에 데이터를 교정합니다. 이는 역사적으로 불리한 입장에 있던 인구 집단이 공정하게 대표될 수 있도록 대표성이 낮은 집단을 리샘플링하고 데이터의 가중치를 재조정하는 것을 의미합니다. 세이프렌트의 맥락에서는 수십 년간의 신용 편향을 보정하기 위해 임대료를 성공적으로 납부한 바우처 소지자 데이터를 오버샘플링하는 것이 여기에 해당합니다.

2. 인프로세싱: 학습 도중 모델을 제약합니다. 대신 정확도만을 위해 최적화하는 대신, 모델의 학습 과정에 "공정성 페널티(fairness penalty)"를 추가합니다. 한 가지 기법은 적대적 편향 완화(adversarial debiasing)로, 보조 모델이 주 모델의 출력값으로부터 해당 인물의 인종을 예측하도록 시도하는 방식입니다. 보조 모델이 인종 예측에 성공하면 주 모델은 페널티를 받게 되며, 인종과 무관하게 임대차 계약 이행을 진정으로 예측하는 피처만을 학습하도록 강제됩니다.

3. 후처리: 산출물을 공평한 기준에 맞게 정렬합니다. 모델 학습 후, 모든 인구통계학적 집단 전반에서 위양성률과 위음성률이 동일하도록 보장하는 균등화된 기회(Equalized Odds)라는 방법을 사용하여 의사결정 임계값을 조정합니다. 이를 통해 자격을 갖춘 소수자 신청자가 동일한 자격을 갖춘 다수자 신청자보다 더 자주 거절당하는 사태를 방지합니다.

감사 추적(audit trail)의 이점은 귀사의 컴플라이언스 및 법무 팀에 가장 중요한 요소입니다. 규제 당국이 0.8 미만일 때 문제를 제기하는 불균등 영향 비율(Disparate Impact Ratio)과 같은 공정성 지표를 모니터링 대시보드에 직접 내장하면, "공정성 드리프트(fairness drift)"를 실시간으로 감지할 수 있습니다. 소송이 제기될 때까지 기다리지 않고, 즉시 감지하여 문서화하고 수정할 수 있습니다. 이러한 문서는 규제 당국이 조사를 시작할 때 가장 강력한 방어 수단이 됩니다. 귀사의 시스템은 모든 결정에 대해 어떤 피처가 중요했는지, 각 피처의 가중치는 얼마였는지, 그리고 왜 해당 결과가 취할 수 있는 가장 덜 차별적인 대안이었는지를 명확히 보여주는 논리 추적 경로를 생성해야 합니다.

이제 세이프렌트 합의안은 시민권 전문가들이 해당 회사의 모델을 검증하도록 요구하고 있습니다. 이는 사실상 덜 편향된 대안을 의무적으로 탐색하도록 한 것입니다. 이러한 탐색을 사전에 선제적으로 수행한다면 규제 기관과 원고들보다 한발 앞서 나갈 수 있습니다. 미루고 기다린다면, 귀사는 다음번 소송 사례 연구의 대상이 될 것입니다.