250만 달러 벌금이 드러낸 AI 대출의 진짜 문제 — 당신이 생각하는 그것이 아니다

2025년 7월 어느 목요일 저녁, 나는 홈 오피스에 앉아 Earnest Operations에 관한 매사추세츠주 법무장관실 보도자료를 훑어보다가 예상치 못한 감정을 느꼈다. 안도감이었다.

AI 기반 차별로 흑인과 히스패닉 대출자에게 피해를 준 대출기관이 250만 달러의 벌금을 물었기 때문이 아니었다. 그건 분통 터지는 일이었다. 안도감은 다른 데서 왔다 — 혐의의 구체성이었다. 법무장관실은 그저 "당신들의 AI가 편향됐다"고 말하지 않았다. 그들은 정확한 변수를 지목했다. 정확한 메커니즘을 추적했다. 그리고 겉보기에 중립적인 데이터 포인트 — 대출자가 다닌 대학의 코호트 부도율(Cohort Default Rate) — 이 어떻게 코드에 새겨진 인종 차별의 통로가 되었는지를 집요할 만큼 상세하게 보여주었다.

수년 동안 Veriprajna의 우리 팀과 나는 대부분의 핀테크가 대출에 AI를 도입하는 방식이 아키텍처 차원에서 망가져 있다고 주장해 왔다. 단지 윤리적으로 의심스러운 정도가 아니라 — 구조적으로 공정할 능력이 없다. Earnest 합의는 규제 당국이 실제로 사용하는 언어로 우리가 옳았음을 입증한 첫 번째 대형 집행 조치였다.

그리고 이것이 마지막은 아닐 것이다.

무해해 보였던 변수

Earnest가 한 일은 이렇다. 잠시 곱씹어 보길 바란다. "알고리즘이 인종차별적이었다"는 말보다 미묘한 이야기이기 때문이다.

Earnest는 AI 기반 학자금 대출 리파이낸싱 모델을 구축했다. 입력값 중 하나가 코호트 부도율, 즉 CDR이었다 — 특정 학교 졸업생이 연방 학자금 대출을 얼마나 자주 상환하지 못하는지를 추적하는 지표다. 서류상으로는 합리적으로 보인다. 부도율이 높은 학교는 상환에 어려움을 겪는 대출자를 배출할 수도 있다. 그걸 반영하지 않을 이유가 있겠는가?

왜냐하면 CDR은 개인의 신용도를 측정하지 않기 때문이다. 그것이 측정하는 것은 기관의 성과다. 그리고 그 성과는 수십 년에 걸친 구조적 재정 부족, 세대 간 부의 격차, 고등교육의 인종 분리에 의해 형성된다. 역사적 흑인 대학(HBCU)의 CDR이 높은 이유는 졸업생의 역량이 부족해서가 아니라, 시스템이 그 기관과 학생들에게 더 적은 자원만을 허락했기 때문이다.

어떤 개인을 그 사람이 속한 기관의 통계적 이력으로 처벌한다면, 그건 위험을 예측하는 것이 아니다. 위험을 영속시키는 것이다.

매사추세츠주 법무장관실은 CDR의 예측력이 대출자에 관한 어떤 신호에서 나온 것이 아니라 인종 및 사회경제적 계층과의 상관관계에서 나왔다고 주장했다. 흠잡을 데 없는 신용, 탄탄한 소득, 연체 이력 제로를 갖춘 HBCU 출신 흑인 졸업생이, 재정이 넉넉한 주립대를 나온 백인 졸업생보다 낮은 점수를 받게 된다 — 졸업 후 무엇을 했는지가 아니라, 어느 대학을 다녔는지 때문에.

나는 합의 문서를 열어 전화로 공동창업자에게 소리 내어 읽어주던 기억이 난다. "녹아웃 룰(자동 탈락 규칙)도 있었어." 내가 말했다. "최소한 영주권(그린카드)이 없으면 자동으로 거절하는 하드코딩된 관문 말이야." 긴 침묵이 흘렀다. "그러니까 편향이 처음부터 아키텍처 안에 있었던 거네." 그녀가 말했다. 그렇다. 의사결정 트리의 맨 첫 줄부터.

왜 아무도 이걸 잡아내지 못했을까?

그날 밤 나를 잠 못 들게 한 대목이 바로 이것이다. Earnest에는 내부 정책이 있었다. 모델 감독 요건도 있었다. 예외 처리에 대한 고위급 검토 절차도 있었다.

그중 어느 것도 작동하지 않았다.

조사 결과 인수심사자들이 문서화 없이 일상적으로 모델을 우회하거나 자의적인 기준을 적용해 온 것으로 드러났다. 규제 당국이 문을 두드릴 때마다 모든 AI 기업이 내세우는 그 방어 장치 — 휴먼 인 더 루프 — 는 연극이었다. 일관된 로깅이 없었다. 독립적인 검토도 없었다. 특정 오버라이드가 왜 발생했는지 알려줄 감사 추적 기록도 없었다.

나는 이 패턴을 하도 여러 번 봐서, 우리끼리 이름을 붙여 부르게 됐다. 거버넌스 코스프레. 기관은 서류상 필요한 정책을 모두 갖추고 있다. 조직도에는 컴플라이언스 팀이 있다. 이사회 자료에는 "책임 있는 AI"가 언급된다. 하지만 뚜껑을 열어 보면 정책과 코드를 연결하는 메커니즘이 없다. 알고리즘은 한 우주에서 돌아가고, 거버넌스 프레임워크는 다른 우주에 존재한다.

Earnest 사건은 이를 명시적으로 드러냈다. 알고리즘 편향과 감시되지 않은 인간의 편향이 같은 시스템 안에 공존했고, 그 결과 — 내가 이 사건에 대한 우리의 인터랙티브 분석에서 썼듯이 — 감사도 방어도 근본적으로 불가능한 시스템이 되어버렸다.

격차가 29퍼센트포인트일 때는 어떤 일이 벌어지는가?

Earnest가 메스에 해당하는 사건 — 정밀하고, 변수 단위이며, 추적 가능한 — 이었다면, Navy Federal Credit Union은 대형 해머다.

2022년, 미국 최대 신용조합인 Navy Federal은 백인 일반 주택담보대출 신청자의 약 77%를 승인했다. 흑인 신청자는? 48.5%였다. 거의 29퍼센트포인트에 달하는 격차 — 미국 상위 50대 주택담보대출 기관 중 가장 큰 격차다.

Navy Federal의 방어 논리는 예상 가능했다. "공개된 HMDA 데이터에는 신용점수나 보유 현금이 포함되어 있지 않다. 전체 그림 없이는 결론을 내릴 수 없다." 모든 기관이 손을 뻗는 바로 그 방어 논리다. 10년 전이었다면 통했을지도 모른다.

이번에는 통하지 않았다. 독립 연구자들이 소득, 총부채상환비율(DTI), 부동산 가치, 주변 지역 특성 등 열두 개가 넘는 변수를 통제했을 때 — 흑인 신청자는 동일한 프로필의 백인 신청자보다 거절될 확률이 여전히 두 배 이상 높았다.

작년 한 핀테크 콘퍼런스에서 이 수치를 발표하던 때가 기억난다. 청중 한 명 — 중견 대출기관의 리스크 담당 부사장 — 이 손을 들고 말했다. "하지만 우리가 못 보고 있는 무언가가 데이터에 있을 수도 있잖아요. 어떤 정당한 요인이요." 나는 그에게 물었다. "당신이 이름 댈 수 있는 모든 변수를 통제한 뒤에도 29포인트의 인종 격차가 남는 모델이라면, 어느 시점에 무해한 설명을 찾는 걸 멈추고 모델을 들여다보기 시작하시겠습니까?"

그는 답하지 못했다. 업계 대부분이 답하지 못한다.

2024년 5월, 한 연방 판사는 Navy Federal에 대한 차별적 영향(disparate impact) 청구가 증거개시 절차로 넘어갈 수 있다고 판결했다. 원고 측이 이 신용조합 인수심사 알고리즘의 내부 로직을 들여다볼 수 있게 된다는 뜻이다. "우리 모델은 독점 자산이고 너무 복잡해서 설명할 수 없다"는 시대는 끝났다.

이제는 통계적 격차만으로도 각하 신청을 넘길 수 있다. 입증 책임이 이동한 것이다. 당신의 절차가 공정함을 증명하든가, 아니면 증거개시를 각오하라.

LLM 래퍼는 왜 계속 공정성 테스트에 실패하는가?

여기서부터는 AI 업계의 많은 사람들이 듣고 싶어 하지 않는 이야기를 솔직하게 해야겠다.

지금 핀테크 AI의 지배적 아키텍처 — 내가 "래퍼" 모델이라고 부르는 것 — 는 이미 존재하는 규제 기준조차 충족할 구조적 능력이 없다. 2026년에 닥칠 기준은 말할 것도 없다.

래퍼는 당신의 데이터를 받아 GPT-4나 Gemini 같은 서드파티 대규모 언어 모델에 넘기고, 출력값을 돌려준다. 빨리 만들 수 있다. 데모는 근사하게 나온다. 그리고 그것은 컴플라이언스 시한폭탄이다.

LLM은 시퀀스의 다음 토큰을 예측한다. 사실을 검색해 오지 않는다. 보험계리적 계산을 수행하지 않는다. 인과관계를 추론하지 않는다. LLM에게 대출 신청을 평가하라고 하면, 그것은 신용 평가처럼 들리는 텍스트를 만들어낸다. 하지만 신청자의 실제 서류에 아무 근거도 없는 거절 사유를 지어낼 수도 있다. 업계는 이를 환각(hallucination)이라 부른다. 규제 당국은 위반이라 부른다.

CFPB(소비자금융보호국)의 입장은 분명했다. 신용제공자는 불이익 조치에 대해 "정확하고 구체적인 이유"를 제공해야 한다. 거절된 신청자에게 "알고리즘이 결정했다"고 말할 수 없고, 실제 거절 요인은 모델이 붙잡은 비전통적 데이터 포인트였는데도 "구매 이력" 같은 모호한 범주를 들먹일 수도 없다. "알고리즘이 결정했다"는 법적으로 방어 가능한 진술이 아니다 — CFPB가 명시적으로 그렇게 밝혔다.

그리고 더 깊은 문제가 있다. LLM은 인터넷으로 학습된다. 인터넷은 인종·성별·사회경제적 편향 등 역사적 편향으로 포화되어 있다. 당신의 래퍼가 LLM을 사용해 대출자의 고용 이력이나 서술을 "평가"할 때, 모델은 학습 데이터에 박혀 있는 고정관념을 적용할 수 있다. 특정 국적, 특정 직업, 특정 우편번호가 모델의 잠재 공간에서 보이지 않는 가중치를 갖는다. 누군가 편향을 프로그래밍해 넣어서가 아니다. 학습 데이터가 곧 편향이기 때문이다.

초기에 이 문제를 두고 한 투자자와 논쟁한 적이 있다. 그는 말했다. "그냥 GPT에 좋은 프롬프트를 쓰면 되잖아요. 너무 복잡하게 생각하시는 거예요." 나는 데모를 하나 띄웠다. 동일한 대출 신청서를 래퍼에 두 가지 버전으로 넣어본 것이었다 — 하나는 백인으로 읽히는 이름, 하나는 흑인으로 읽히는 이름. 출력은 동일하지 않았다. 어조가 달라졌다. 리스크를 서술하는 언어가 달라졌다. 극적이지는 않았다. 미묘했다. 수백만 건의 결정에 걸쳐 확대되면 29포인트 격차를 만들어내는, 바로 그런 종류의 미묘함이었다.

그는 더 이상 반박하지 않았다.

"딥 AI"란 실제로 무엇을 의미하는가?

나는 "딥 AI"라는 용어를 마케팅으로 쓰는 것이 아니라 — 회의적인 시선도 이해한다 — 업계 대부분이 만들고 있는 것과 구별되는 기술적 개념으로 쓴다.

대출을 위한 딥 AI 시스템은 단일 모델을 호출해 답을 돌려주지 않는다. 서로 다른 유형의 지능이 서로 다른 유형의 결정을 처리하고, 모든 계층이 감사 가능한 다층 아키텍처다.

결정론적 규칙 엔진은 100% 정확해야 하는 것들을 처리한다 — 거주 요건, 규제 임계값, 엄격한 컴플라이언스 검사. 이것들은 확률적이지 않다. 논리다. 환각을 일으키지 않는다.

그래디언트 부스팅 모델은, XGBoost가 대표적인데, 정형 신용 평가를 처리한다 — 언어적 유창함보다 해석 가능성과 안정성이 더 중요한 표 형식 데이터 말이다. 이런 모델은 지루하다. 동시에 신뢰할 수 있고, 설명 가능하며, 규제 당국이 잘 이해하고 있다.

파인튜닝된 LLM도 사용된다 — 다만 실제로 잘하는 일에만 쓰인다. 비정형 문서에서 개체를 추출하고, 세금 신고서를 파싱하고, 은행 명세서를 읽는 일이다. 그리고 검색 증강 생성(Retrieval-Augmented Generation)으로 근거가 고정되어, 모델은 학습 데이터의 모호한 연상이 아니라 신청자의 실제 문서만 참조할 수 있다.

이 모든 것 위에 모델 드리프트, 편향 드리프트, 환각률을 실시간으로 추적하는 지속적 모니터링 계층이 얹힌다. 차별적 영향 비율(Disparate Impact Ratio) — 보호집단과 대조집단 간 승인율의 비율 — 이 0.8 임계값(규제 당국이 위험 신호로 삼는 5분의 4 규칙) 아래로 떨어지면, 사람의 민원이 제기되기도 전에 시스템이 경보를 울린다.

이건 희망사항이 아니다. 우리가 이걸 만든 이유는 대안 — 래퍼, 블랙박스, 거버넌스 코스프레 — 이 계속해서 Earnest 같은 합의와 Navy Federal 같은 소송을 만들어내기 때문이다.

모델에 공정성을 실제로 어떻게 엔지니어링하는가?

사람들이 나에게 끊임없이 이걸 묻는데, 아마 답이 단순하기를 기대하는 것 같다. 단순하지 않다. 하지만 신비로운 것도 아니다.

공정성 엔지니어링이란 모델 생애주기의 모든 단계에 수학적 제약을 적용하는 것을 뜻한다. 학습 전에는 데이터에 대표성 공백이 있는지 살피고, 합성 오버샘플링 같은 기법으로 과소대표된 인구집단의 균형을 맞춘다. 학습 중에는 적대적 편향 제거를 적용한다 — 보조 모델이 주 모델의 출력으로부터 신청자의 인종을 예측해 보는 기법이다. 예측이 가능하다면 주 모델이 보호 정보를 흘리고 있다는 뜻이므로, 적대 모델이 실패할 때까지 재학습한다.

학습 후에는 균등화된 확률(equalized odds)을 보장하도록 결정 임계값을 보정한다 — 모델이 인구집단 전반에 걸쳐 동등하게 정확하다는 뜻이다. 동등하게 관대한 것이 아니다. 동등하게 정확한 것이다. 모두를 승인하는 모델은 공정하지 않다. 모두에 대해 같은 비율로 옳은 모델이 공정하다.

그리고 설명 가능성이 있다. 우리 시스템이 생성하는 모든 불이익 조치에는 SHAP 값이 함께 따라온다 — 어떤 특성이 그 결정을 얼마나 이끌었는지 정확히 알려주는, 수학적으로 엄밀한 기여도 분석 기법이다. 우리는 반사실적 설명을 실시간으로 생성한다. "신용 사용률이 15% 더 낮았거나 소득이 5,000달러 더 높았다면 이 대출은 승인되었을 것입니다." 이건 배려가 아니다. 현행 CFPB 지침 아래서는 요건에 가까워지고 있다.

공정한 AI란 불쾌한 말을 하지 않는 모델이 아니다. 모든 결정을 분해하고, 반박하고, 수학으로 방어할 수 있는 시스템이다.

우리의 공정성 엔지니어링 파이프라인과 아키텍처를 온전히 기술적으로 다룬 상세한 연구 논문을 발표했다. 여기서 다룰 수 있는 것보다 더 깊이 들어간다.

규제의 벽이 좁혀 오고 있다

아직 시간이 있다고 생각하는 사람들을 위해 규제 지형도를 간략히 그려보겠다.

불이익 조치 통지에 관한 CFPB의 2023년 및 2025년 지침에는 이빨이 있다. SR 11-7 — 연방준비제도의 모델 리스크 관리 기준 — 은 이제 문서화된 개념적 타당성, 개발과 무관한 팀의 독립적 검증, 정기적인 결과 분석을 요구한다. 2025년에 발표된 NIST AI 리스크 관리 프레임워크 2.0은 "AI 자재명세서(AI Bill of Materials)"라는 개념을 도입했다 — 모든 데이터 소스, 모든 모델(서드파티 API 포함), 구성 요소 간의 모든 상호작용을 담은 완전한 목록이다.

무시할 수 있는 지침이 아니다. 한 연방 판사가 최근 Navy Federal의 알고리즘에 대한 증거개시를 허용했다. 매사추세츠주 법무장관실은 Earnest에 벌금만 물린 것이 아니라, 회사가 모델 거버넌스를 전면 개편하고 독립적 검증을 도입하며 지속적인 모니터링을 받도록 요구했다.

메시지는 분명하다. 모델을 설명할 수 없다면 방어할 수 없다. 그리고 방어할 수 없다면 대가를 치르게 된다 — 합의금으로, 소송 비용으로, 평판 손상으로, 그리고 당신이 섬긴다고 말하는 그 커뮤니티의 신뢰가 잠식되는 것으로.

"대안 탐색"이 아무도 준비되지 않은 요건인 이유

업계를 그 무엇보다 크게 재편할 것이라고 생각하는 규제 개념이 하나 있는데, 거의 아무도 이야기하지 않는다.

현행 공정대출법 아래서는 모델이 정확하다는 것을 보이는 것만으로는 충분하지 않다. 당신은 능동적으로 덜 차별적인 대안을 찾아 나서야 한다 — 더 작은 격차로 비슷한 예측 성능을 달성하는 모델을 말한다. 원고가 그런 대안이 존재했는데도 당신이 사용하지 않았음을 입증할 수 있다면, 당신의 모델은 정확도와 무관하게 법적 테스트에 실패한다.

그것이 운영상 무엇을 의미하는지 생각해 보라. 모델 하나를 만들어 편향을 테스트하고 출시하면 끝나는 게 아니다. 여러 구성을 학습시켜야 한다 — 서로 다른 특성 집합, 서로 다른 알고리즘, 서로 다른 임계값 보정 — 그리고 왜 그중 하나를 선택했는지 문서화해야 한다. 더 공정한 선택지를 찾아봤고 그것을 발견해 채택했거나, 혹은 실질적으로 덜 차별적인 대안이 존재하지 않음을 입증했다는 증거가 필요하다.

우리는 LDA 탐색 파이프라인을 만드는 데 세 달을 썼다. 그 세 달 동안 우리 엔지니어링 팀은 계속 물었다. "우리가 지나치게 깊이 생각하는 거 아닌가요?" 그리고 Earnest 합의가 터졌고, 법무장관실은 이 회사가 대안을 탐색하지 않았다는 점을 구체적으로 지적했다. 우리가 지나치게 생각한 게 아니었다. 업계가 지나치게 생각을 안 했던 것이다.

대부분이 놓치고 있는 Earnest의 교훈

7월 이후로 계속 마음에 걸리는 이야기로 글을 맺고 싶다.

Earnest 합의에 대한 논평 대부분은 CDR 변수에 집중했다. 그렇다, 그게 헤드라인이었다. 하지만 더 깊은 실패는 나쁜 변수가 아니었다. 그 나쁜 변수가 프로덕션에 도달하기 전에 잡아냈을 아키텍처의 부재였다.

Earnest에는 독립적인 모델 검증이 없었다. 체계적인 프록시 테스트가 없었다. 감사 가능한 인간 오버라이드 로깅이 없었다. 지속적인 편향 모니터링이 없었다. 그들에게 있던 것은 모델 하나, 정책 문서 하나, 그리고 그 둘 사이의, 집단소송이 통과할 만큼 넓은 간극이었다.

250만 달러는 편향의 대가가 아니었다. 편향이 언제 존재하는지 알아낼 인프라 없이 AI를 만든 대가였다.

내가 계속 되돌아오는 구분이 바로 이것이다. 질문은 "당신의 AI가 편향되어 있는가?"가 아니다 — 역사적 데이터로 학습된 모든 모델은 역사적 불평등의 지문을 지니고 있다. 질문은 이것이다. 규제 당국이 대신 하기 전에, 그것을 탐지하고, 측정하고, 설명하고, 바로잡을 아키텍처를 갖추고 있는가?

대출기관 대부분은 솔직하다면 아니라고 답할 것이다.

우리가 Veriprajna를 세운 이유는 그 답이 반드시 '그렇다'여야 한다고 믿기 때문이다 — 열망으로서가 아니라, 시스템 자체의 구조적 속성으로서 말이다. 공정성은 출시 후에 덧붙이는 기능이 아니다. 그것은 내력벽이다. 그것을 빼면 건물 전체가 무너진다.

대출 AI의 첫 번째 물결은 속도와 규모로 정의되었다. 두 번째 물결은 당신의 시스템이 소환장을 견뎌낼 수 있는지로 정의될 것이다. 나는 내가 어느 쪽을 위해 만들고 있는지 안다.