귀사의 AI 대출 시스템은 편향성 감사를 통과할 수 있습니까?

문제점

네이비 연방 신용조합(Navy Federal Credit Union)은 2022년에 흑인 주택 담보 대출 신청자의 절반 이상을 거절했습니다. 반면 백인 신청자의 승인율은 77%에 달했습니다. 이 29%포인트의 격차는 미국 상위 50대 모기지 대출 기관 중 가장 컸습니다. 한편 어니스트 오퍼레이션(Earnest Operations LLC)은 매사추세츠주가 자사의 AI 대출 모델이 흑인, 히스패닉 및 비시민권자 대출자에게 불균형적으로 피해를 입혔음을 밝혀낸 후 2025년 7월 250만 달러의 합의금을 지불했습니다.

이것들은 개별적인 사건이 아닙니다. 업계 전반에 걸친 구조적 문제의 경고 신호입니다. 여러분의 금융기관이 신용 평가에 자동화된 의사결정을 사용하고 있다면 — 실제로 거의 모든 대출 기관이 사용하고 있습니다 — 여러분 역시 동일한 위험에 노출되어 있습니다.

어니스트의 핵심 문제는 코호트 채무불이행률(Cohort Default Rate, CDR)이라는 변수였습니다. 이 지표는 특정 학교 출신의 평균 대출 채무불이행을 추적합니다. 겉보기에는 중립적으로 들립니다. 그러나 역사적 흑인 대학(Historically Black Colleges and Universities, HBCU)은 수십 년간의 구조적 자금 부족과 자산 격차로 인해 채무불이행률이 더 높습니다. 모델에서 CDR에 가중치를 둠으로써, 어니스트는 개별 신청자의 개인적 재무 건전성과 무관하게 모교의 역사적 불이익을 이유로 신청자에게 불이익을 주었습니다. 알고리즘은 서류상으로는 인종 중립적으로 보였습니다. 실제로는 차별을 코드화한 것이었습니다.

네이비 연방 신용조합의 경우 문제는 원인을 규명하기가 훨씬 더 어려웠습니다. 연구진이 소득, 총부채상환비율(DTI), 부동산 가치, 거주 지역 등 12가지 이상의 요인을 통제했을 때도, 흑인 신청자는 동일한 프로필을 가진 백인 신청자에 비해 대출이 거절될 확률이 여전히 두 배 이상 높았습니다. 신용조합의 언더라이팅 알고리즘 내부의 무언가가 전통적인 신용 요인으로는 설명할 수 없는 편향을 만들어내고 있었습니다.

이것이 여러분의 비즈니스에 중요한 이유

재무적 결과는 이미 현실화되었습니다. 어니스트는 단 한 건의 주 정부 조사를 무마하기 위해 250만 달러의 합의금을 지불했습니다. 네이비 연방 신용조합은 병합된 집단 소송과 미 의회의 조사에 직면해 있습니다. 2024년 5월, 연방 판사는 네이비 연방 신용조합에 대한 불균형적 영향(disparate impact) 소송이 진행될 수 있다고 판결하여 신용조합의 내부 모델 로직에 대한 증거 개시(discovery)의 문을 열었습니다.

이것이 여러분의 금융기관에 의미하는 바는 다음과 같습니다:

• 규제 당국의 집행이 구체화되고 있습니다. 미국 소비자금융보호국(CFPB)은 이제 불리한 조치(adverse action)에 대해 "정확하고 구체적인 이유"를 제공하도록 요구합니다. 실제 거절 사유가 비전통적 데이터 항목에 대한 알고리즘의 플래그였음에도 불구하고 신청자에게 단순히 "소득 부족"으로 거절되었다고 말할 수는 없습니다. "알고리즘이 결정했다"는 말은 법적 방어 논리가 되지 못합니다.
• 통계적 격차만으로도 기각 신청(motion to dismiss)을 넘어서 소송을 유지할 수 있습니다. 법원은 입증 책임을 여러분에게 넘기고 있습니다. 여러분의 금융기관은 자사의 언더라이팅 프로세스가 필수적이며 이용 가능한 가장 덜 차별적인 선택지임을 스스로 입증해야 합니다.
• 정책과 실행 사이의 격차는 곧 법적 책임이 됩니다. 어니스트는 모델 예외 처리에 대해 고위 관리자의 감독을 요구하는 내부 정책을 두고 있었습니다. 하지만 조사관들은 심사역들이 문서화 없이 빈번하게 모델을 우회하고 자의적인 기준을 적용했음을 발견했습니다. 이러한 괴리는 시스템을 감사하는 것도, 방어하는 것도 불가능하게 만들었습니다.
• 전국 벤치마크는 이상치를 즉각 드러냅니다. CFPB의 전국 평균 대출 거절률은 백인 신청자의 경우 5.6%, 흑인 신청자의 경우 16.2%로 10.6%포인트의 격차를 보입니다. 네이비 연방 신용조합의 격차는 그 세 배에 달했습니다. 여러분의 수치가 전국 평균을 상회한다면 규제 당국이 이를 놓치지 않을 것입니다.

여러분의 이사회, 법무 총괄(General Counsel), 규제 당국은 모두 동일한 질문을 던질 것입니다: 여러분의 AI가 어떻게 대출 결정을 내리는지 명확하게 설명할 수 있습니까? 이에 명확히 답할 수 없다면, 여러분 역시 어니스트와 네이비 연방 신용조합이 직면한 것과 동일한 위험을 안고 있는 것입니다.

내부에서 실제로 벌어지고 있는 일

오늘날 대부분의 AI 대출 도구는 업계에서 이른바 "래퍼(wrapper)"라고 부르는 것입니다. 범용 제품에 새로운 라벨만 붙인 것과 같다고 생각하면 됩니다. 이러한 시스템은 여러분의 데이터를 가져와 GPT-4나 Gemini 같은 범용 대규모 언어 모델(LLM)에 전달한 뒤 그 결과를 반환합니다. 겉보기에는 정교해 보입니다. 하지만 내부적으로는 금융 규제 당국이 요구하는 도메인 특화 규칙, 투명성 계층, 인과적 추론 능력이 결여되어 있습니다.

여기에 근본적인 부조화가 존재합니다. 금융 서비스에는 결정론적(deterministic) 논리가 필요합니다. 즉, 동일한 입력은 언제나 동일한 출력을 생성해야 합니다. 그러나 LLM은 확률론적(probabilistic)입니다. 이들은 시퀀스에서 다음 단어를 예측할 뿐입니다. 사실을 검색하거나 보험수리적 계산을 수행하지 않습니다. 신용 언더라이팅 환경에서 LLM은 그럴듯하게 들리지만 신청자의 실제 금융 서류에는 근거가 없는 날조된 대출 거절 사유, 즉 "환각(hallucination)"을 만들어낼 수 있습니다.

이것은 이론적인 위험이 아닙니다. 에어캐나다의 챗봇이 존재하지도 않는 유족 할인 운임 정책을 꾸며냈을 때, 항공사는 법적 책임을 져야 했습니다. 동일한 원칙이 여러분의 대출 결정에도 적용됩니다.

범용 AI 플랫폼은 모기지 서류, 세금 신고서, 은행 거래 내역서를 정확하게 해석할 수 있는 산업 특화 컨텍스트(vertical context) 역시 갖추지 못하고 있습니다. 업계 특화 학습이 없으면 이러한 모델은 소득 패턴과 현금 흐름을 잘못 해석하여 신용도가 우수한 대출자를 부당하게 거절하게 만듭니다. 또한 LLM은 과거의 편향이 스며든 방대한 인터넷 텍스트를 학습하기 때문에, 개별 신청자의 데이터에 문제가 없음에도 특정 국적이나 직업을 더 낮은 신용도와 연관 지을 수 있습니다.

가장 심각한 점은 표면적인 감사로는 이러한 문제가 전혀 드러나지 않는다는 것입니다. 편향은 연구진이 모델의 "잠재 공간(latent space)"이라 부르는 상관관계가 형성되는 숨겨진 계층에 존재합니다. 적절한 도구가 없다면 규제 기관이나 원고 측 변호사가 이를 발견하기 전까지 여러분은 결코 알아챌 수 없습니다.

무엇이 통하고 (무엇이 통하지 않는가)

정밀 조사에서 실패하는 방식부터 살펴보겠습니다:

• "모델에서 인종 항목을 제외했습니다." 인종 필드를 삭제한다고 해서 인종적 편향이 제거되는 것은 아닙니다. 출신 학교 채무불이행률, 우편번호, 소비 패턴과 같은 대리 변수(proxy variables)가 동일한 신호를 전달하기 때문입니다. 어니스트는 신청자에게 인종을 묻지 않았지만 여전히 차별을 자행했습니다.
• "우리는 신뢰할 수 있는 외부 AI 벤더를 사용합니다." AI를 외주화한다고 해서 법적 책임까지 외주화할 수는 없습니다. CFPB는 벤더가 아닌 대출 기관에 책임을 묻습니다. 공급업체의 모델이 결정을 설명하지 못한다면, 그로 인한 컴플라이언스 공백은 전적으로 귀사의 몫입니다.
• "우리 팀이 예외 사례를 수동으로 검토합니다." 체계화되지 않은 사람의 수동 개입(human override)은 실제로 상황을 더 악화시킵니다. 어니스트의 심사역들은 기록 없이 모델을 우회하여 알고리즘 편향과 인간의 편향이 공존하면서도 둘 다 감사가 불가능한 하이브리드 시스템을 만들었습니다.

실제로 효과를 발휘하는 것은 각 결정이 요구하는 요건에 따라 서로 다른 유형의 의사결정을 분리하는 계층화된 아키텍처입니다:

1. 입력: AI가 데이터를 확인하기 전 데이터 검증. 모든 데이터 포인트는 정확성, 완전성, 일관성, 적시성, 관련성, 대표성에 대한 검증을 거칩니다. 이를 통해 오염된 데이터가 편향된 결과를 만들어내는 것을 방지합니다. 여러분의 시스템은 모든 입력이 어디에서 왔고 어떻게 처리되었는지에 대한 데이터 계보(data lineage)를 완벽히 파악하고 있어야 합니다.

2. 처리: 적재적소에 맞는 최적의 모델. 거주 요건과 같은 엄격한 컴플라이언스 점검은 매번 동일한 답을 내놓는 결정론적 규칙 엔진을 통해 실행됩니다. 정형 신용 평가는 그래디언트 부스팅 의사결정 나무(gradient-boosted decision trees)와 같은 설명 가능한 모델을 사용합니다. LLM은 문서 분석과 같은 비정형 작업만 처리하며, AI가 추측하게 두는 대신 실제 원본 문서를 제공하는 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술을 통해 신청자의 실제 서류에 엄격히 근거하도록 통제됩니다.

3. 출력: 모든 결정에 대한 설명 제공. 각 입력 요인에 특정 기여도 점수를 부여하는 게임 이론 기반 기법인 SHAP(SHapley Additive exPlanations)과 같은 설명 가능성 도구가 모든 불리한 조치에 대해 감사에 즉시 대응할 수 있는 사유를 생성합니다. 나아가 시스템은 반사실적 설명(counterfactual explanation)을 제공합니다: "신용 이용률이 15% 더 낮았거나 소득이 5,000달러 더 높았다면 이 대출은 승인되었을 것입니다." 이것이 바로 CFPB가 현재 요구하는 구체성의 수준입니다.

이 모든 것을 하나로 묶어주는 것이 바로 감사 추적(audit trail)의 이점입니다. 인간의 모든 수동 개입(override)은 필수적인 사유와 함께 기록됩니다. 지속적인 모니터링을 통해 유입 데이터가 훈련 세트와 일치하지 않게 되는 모델 드리프트(model drift)와 편향 드리프트(bias drift)를 모두 추적하며, 불균형적 영향 비율(disparate impact ratio)이 허용 기준치 이하로 떨어지면 실시간 경보를 발령합니다. 여러분의 컴플라이언스 팀은 불투명한 블랙박스가 아닌 법적으로 방어 가능한 기록을 확보하게 됩니다. 그리고 규제 당국이 조사를 나올 때, 모든 결정이 어떻게 내려지고, 검증되고, 문서화되었는지 정확하게 입증할 수 있습니다.

NIST AI 리스크 관리 프레임워크 2.0(NIST AI Risk Management Framework 2.0)은 이제 데이터 소스, 모델, 서드파티 구성 요소의 전체 인벤토리인 "AI 부품 명세서(AI Bill of Materials)"를 요구합니다. 지금 이를 제출할 수 없다면, 여러분의 금융기관은 규제 당국이 집중적으로 주시하고 있는 거버넌스 공백을 안고 있는 것입니다.