세입자 심사 AI가 공정성 테스트를 통과했다. 그런데도 차별하고 있었다.

부동산 관리 회사의 컴플라이언스 팀과 처음 마주 앉았을 때, 나는 대부분의 엔지니어가 저지른다고 생각하는 실수를 저질렀다. 나는 내가 그곳에 하나의 알고리즘을 고치러 왔다고 가정했다.

그들에게는 지원자를 점수화하는 세입자 심사 모델과 임대료를 설정하는 수익 관리 도구가 있었다. 들어설 때만 해도 나에게 그 둘은 같은 소프트웨어 스택의 두 기능이었다 — 둘 다 "그 AI"이고, 둘 다 내가 방어 가능하게 만들어야 할 문제. 그곳을 나설 무렵, 나는 그 이후 우리의 모든 주택 AI 컴플라이언스 작업을 규정해 온 것을 이해하게 되었다: 그 둘은 두 얼굴을 가진 하나의 문제가 아니다. 그것들은 곧 터질 완전히 다른 두 건의 소송이며, 서로 무관한 두 법 체계의 지배를 받고, 같은 회사가 그 둘 모두에 동시에 노출되어 있다.

그 간극 — 구축자가 이 시스템들을 보는 방식과 법원이 그것들을 보는 방식 사이의 간극 — 이 바로 주택 AI 컴플라이언스를 그토록 틀리기 쉽게 만드는 것이다. 그래서 나는 내가 먼저 무엇을 틀렸는지 짚어보고 싶다. 그 실패가 해법보다 더 많은 것을 가르쳐주기 때문이다.

우리를 속인 5분의 4 규칙

우리는 모두가 시작하는 곳에서 시작했다: 심사의 공정성. 여기서 법적 근거는 공정주택법(Fair Housing Act)이며, 대부분의 팀이 손을 뻗는 실무적 기준은 5분의 4 규칙이다 — 어떤 보호 집단에 대한 승인율이 승인율이 가장 높은 집단의 80% 미만으로 떨어지면, 추정적 차별적 영향 문제가 있는 것이다.

그래서 우리는 모델의 결정 전반에 걸쳐 바로 그 비율을 계산하는 감사를 구축했다. 집계 수치는 깨끗하게 나왔다. 인종 집단 전반의 승인율은 80% 기준선을 편안하게 웃돌았다. 그 방 안의 안도감이 기억난다. 우리는 그것을 규정 준수로 정리할 준비가 되어 있었다.

그러다 우리 엔지니어 중 한 명이 바우처 소지자를 별도의 열로 뽑아냈다.

그림이 뒤집혔다. 주거 선택 바우처 — 정부가 보장하는 소득 — 로 지불하는 지원자 사이에서, 그 모델은 어떤 규제 당국 앞에서도 변호할 수 없었을 비율로 거절하고 있었다. 5분의 4 규칙이 통과된 것은 그 격차가 승인된 풀 안에 숨어 있었기 때문이다. 보조금을 받는 세입자를 분리해 내자, 그것은 붉은 글씨로 바로 거기 드러나 있었다.

심사 모델은 집계상으로 5분의 4 규칙을 통과하면서도, 그 규칙이 잡아내라고 존재하는 바로 그 차별을 여전히 담아낼 수 있다.

이는 SafeRent에 일어난 일과 거의 정확히 일치한다. 그들의 Registry ScorePLUS 알고리즘은 바우처가 제공하는 보장된 소득 흐름을 고려하지 않고 신용 이력에 큰 가중치를 두었기 때문에 바우처 소지자를 낮게 점수화했다. 그 모델은 신용 점수를 중립적 예측 변수로 취급했다. 그것은 중립적이지 않다. FICO 점수 중앙값은 인종에 따라 갈린다 — 백인 지원자 727, 히스패닉 667, 흑인 627 — 그리고 백인 가구의 절반 이상이 700을 넘는 반면 흑인 가구는 약 5분의 1만이 그렇다. 신용 이력을 주요 특성으로 투입하면 그러한 격차를 곧바로 당신의 승인율에 쏟아붓는 것이다.

SafeRent는 그 집단 소송을 $2.275 million에 2024년 11월 합의했다. 공급업체들이 밤잠을 설쳐야 할 부분은 그 금액이 아니다. 법원이 SafeRent의 "중립적 공급업체" 항변을 전면 기각했다는 점이다. 그들은 단지 점수를 제공했을 뿐이고 결정은 임대인이 내렸다고 주장했다. 법원은 이를 받아들이지 않았다. 임대인이 주로 제3자 점수에 의존한다면, 그 점수의 제공자는 차별적 결과에 대한 책임을 함께 진다.

그 판결은 내가 품고 들어갔던 편안한 가정을 무너뜨렸다: 임대 결정에서 한 단계 떨어진 도구 공급업체라는 것이 법적 방패라는 가정 말이다. 그렇지 않다. 모델이 곧 결정이다.

당신의 가격 책정 엔진은 언제 카르텔이 되는가?

여기가 정말로 나를 놀라게 한 부분이며, 그것이 바로 내가 이제 주택 관련 프로젝트를 심사만으로 한정하기를 거부하는 이유다.

우리가 차별적 영향에 몰두해 있는 동안, 더 큰 법적 지진은 가격 책정 쪽에서 일어나고 있었다 — 그리고 그것은 공정성과는 아무 관련이 없었다. RealPage의 수익 관리 제품인 AIRM과 YieldStar는 경쟁 임대인들로부터 비공개 임대료, 임대 조건, 입주율 데이터를 수집한 다음, 그 통합된 데이터를 사용해 DOJ의 표현으로 임대료를 "일제히" 움직이도록 설계된 가격 권고를 생성했다.

법무부는 그것을 사생활 문제나 공정성 문제로 다루지 않았다. 그들은 그것을 허브 앤 스포크 카르텔로, 셔먼법 제1조 위반으로 취급했다. RealPage가 허브였다. 플랫폼을 통해 경쟁사 데이터를 공급하는 모든 임대인이 스포크였다. 내면화해야 할 것은 이 반독점 이론의 형태다: 누구도 한 방에 앉아 가격을 담합하기로 합의할 필요가 없었다. 알고리즘이 곧 합의였다.

상황을 악화시킨 것은 자동화 기본 설정이었다. AIRM은 일일 3%, 주간 8% 변동 범위 내에서 자체 가격 권고를 자동 수락했고 — 대부분의 임대인은 그 설정을 결코 건드리지 않았다. 사실상 그 알고리즘이 사람 개입 없이 임대료를 설정하고 있었던 것이다. DOJ 소송 서류에 인용된 ProPublica의 분석은 세입자가 치르는 비용을 대략 월 $70, 임대료의 약 4%로 추산했으며, 이는 2023년 한 해에만 약 $3.8 billion의 추가 임대 비용에 이른다.

임대인들이 그 값을 치렀다. Greystar는 $50 million에 더해 주 정부에 $7 million을 추가로 지불하며 합의했다. BH Management는 $15 million에. Simpson Property Group은 $6.5 million에. 더 작은 건들까지 더하면 임대인 집단 소송 합의금 $140 million을 2025년 10월이면 넘어선다. FPI Management는 Yardi의 가격 책정 도구를 사용했다는 이유만으로 $2.8 million을 지불했다. 공급업체의 알고리즘, 운영자의 책임.

그래서 내 앞에 앉아 있던 그 회사는 하나의 위험 프로파일에 직면한 것이 아니었다. 그 회사는 심사 쪽에서는 공정 주택 차별적 영향 노출을, 가격 책정 쪽에서는 셔먼법 반독점 노출을, 자사 엔지니어들이 "그 AI"라고 여기던 두 시스템으로부터 동시에 직면하고 있었다.

실제로 소송을 이긴 것: 의도가 아니라 아키텍처

한동안 나는 가격 책정 문제가 행동에 관한 것이라고 가정했다 — 경쟁사 데이터를 모으지 말고, 자동 수락하지 말고, 당신의 선한 의도를 문서화하라는 식으로. 그러다 나는 Yardi가 실제로 어떻게 이겼는지 읽었다.

캘리포니아 주 소송에서 Yardi는 자사에 유리한 약식 판결을 받아냈다. 그들이 자신들의 진심이 순수했다고 주장해서가 아니라, 그들의 Revenue IQ 제품이 구조적인 무언가를 증명할 수 있었기 때문이다: 그것은 "어떤 고객의 기밀 가격 정보도 다른 고객을 위해 사용하지 않으며 설계상 사용할 수 없다." 데이터는 시스템 수준에서 격리되어 있었다. 고객 간 오염은 단지 정책에 위배되는 것이 아니라 — 구조적으로 불가능했다.

그 한 줄이 내가 컴플라이언스 엔지니어링을 생각하는 방식을 재편성했다.

데이터 격리는 정책 문서에서 하는 약속이 아니다. 그것은 아키텍처 다이어그램에서 증명할 수 있는 속성이다.

Yardi의 연방 소송은 여전히 진행 중이고, 그곳의 판사는 반독점 주장이 진행되도록 허용했다 — 그러니 이것은 깔끔한 승리의 세리머니가 아니다. 하지만 그 대비가 교훈이다. 방어 가능한 태세는 의도가 아니었다. 그것은 규제 당국이 "고객 간에 경쟁사 데이터를 공유할 수 없다는 것을 보여달라"고 요구했을 때, 화이트보드에 격리 경계를 그리고 어떤 데이터 경로도 그것을 넘지 않았음을 보여줄 수 있는 시스템이었다. 내가 만나는 대부분의 팀은 정반대의 것을 구축해 왔다: 공유 모델, 공유 데이터 레이크, 그리고 자신들이 얼마나 책임감 있게 그것을 사용하는지에 대한 보증으로 가득 찬 발표 자료.

이제 같은 논리가 DOJ가 2025년 말에 확보한 RealPage 동의 판결 전반에 흐른다. 헤드라인 너머를 보면 그 이빨은 운영상의 것이다: 모델 훈련은 최소 12개월 이상 지난 과거 데이터로 제한된다. 런타임 가격 책정은 비공개 경쟁사 통계를 포함할 수 없다. 가격 변동에 상한을 두는 "거버너" 기능은 대칭적이어야 한다 — 인하와 인상에 동등한 비중, 위쪽으로만 작동하는 일방향 래칫이 아니라. 그리고 자동 수락 기능은 구성 가능해야 하며 사람이 수동으로 설정해야 한다. 그 마지막 항목은 보이는 것보다 더 중요하다. 예전 워크플로 — 일일 3%, 주간 8%로 설정하고 손을 떼는 것 — 이 이제는 그 자체로 위반이다. 이 합의는 7년간 지속되며, 금전적 처벌도 없고 잘못에 대한 인정도 없는데, 이는 DOJ가 원한 것이 아키텍처를 바꾸는 것이지 수표 한 장이 아니었음을 말해준다.

이때가 우리의 작업이 모델을 감사하는 것에서 모델을 엔지니어링하는 것으로 옮겨간 시점이다. 이런 속성들은 나중에 볼트로 조여 붙일 수 없다. 12개월 데이터 숙성, 증명 가능한 고객 격리, 대칭 거버너, 자동 수락에 대한 사람의 관문 — 이것들은 단 하나의 가격이 출시되기 전에 내리는 설계 결정이거나, 아니면 나중에 소송으로 다투게 되는 것이다.

왜 주택 AI 컴플라이언스는 모델이 아니라 지도인가?

사람들이 우리가 실제로 무엇을 전달하는지 물을 때, 정직한 답은 가장 어려운 산출물이 모델이 아니라는 것이다. 그것은 컴플라이언스 담당자가 내부 회의에 가지고 들어가 신뢰할 수 있는 규제 매트릭스다.

주택 AI 컴플라이언스는 하나의 규제가 아니다. 그것은 빠르게 굳어가는 짜깁기이며, 연방법과 주법이 동시에 반대 방향으로 움직이고 있다. 연방 차원에서는 집행이 약화되고 있다 — HUD의 AI 지침이 웹사이트에서 내려갔고, CFPB는 인력을 줄였으며, 차별적 영향 집행의 우선순위를 낮추려는 행정부의 압박이 있었다. 워싱턴만 지켜봤다면, 위험이 물러가고 있다고 결론지었을 것이다.

워싱턴만 지켜보면 위험이 물러가고 있다고 생각할 것이다. 이제 그것이 실제로 사는 곳은 주(州)들이다.

주들은 정반대의 이야기를 들려주며, 이제 노출이 사는 곳이 바로 그곳이다. 2026년 1월 1일 발효되는 캘리포니아의 AB 325는 카트라이트법을 개정해 경쟁사 데이터에 의존하는 "공통" 가격 책정 알고리즘 — 둘 이상의 당사자가 사용하는 도구로 정의된다 — 을 금지하며, 더 까다로운 연방 소장 기준을 거부해 원고가 법정에 서기를 실질적으로 훨씬 쉽게 만든다. 2025년 12월 발효되는 뉴욕의 S.7882는 한 걸음 더 나아간다: 공개 데이터와 비공개 데이터의 구분 없이 "조정 기능"을 갖춘 주거용 가격 책정 도구에 대한 전면 금지, 그리고 도넬리법에 따른 세입자의 사적 소권. RealPage는 수정헌법 제1조를 근거로 이에 이의를 제기하고 있어 그 다툼이 끝날 때까지 집행이 정지되어 있다 — 그러나 남의 헌법 소송에서 당신이 이길 것이라고 가정할 수는 없다. 2026년 6월 30일 발효되는 콜로라도의 SB 205는 세입자 심사를 "중대한 결정"으로 분류하고, 연례 영향 평가, 위험 관리 프로그램, 그리고 AI가 어떻게 기여했는지, 어떤 데이터를 사용했는지, 지원자가 어떻게 이의를 제기할 수 있는지를 설명하는 불리한 결정 공개를 요구한다.

그 모든 것의 아래에는 대부분의 팀이 작동 중이라는 사실조차 잊고 있는 연방 법령이 흐른다: 공정신용보고법(Fair Credit Reporting Act). 소비자 보고서로 기능하는 모든 알고리즘 점수는 FCRA의 2단계 불리한 조치 절차를 준수해야 한다 — 이는 당신의 모델이 누군가를 거절할 때, 당신이 그들에게 "알고리즘이 안 된다고 했다"가 아니라 구체적인 이유를 빚지고 있다는 뜻이다. 그 단 하나의 요구 사항은 블랙박스 심사 모델과 양립할 수 없으며, 그것이 바로 불리한 조치 통지 서식이 내가 가장 먼저 보여달라고 요청하는 문서 중 하나인 이유다.

AB 325에는 전체 구축 계산법을 조용히 바꾸는 세부 사항이 있다: 그것은 둘 이상의 당사자가 사용하는 도구만 문다. 공유형 멀티테넌트 가격 책정 제품은 정확히 적용 범위 안에 있다. 맞춤형 단일 운영자 모델은 아니다. 그 규제는 사실상 애초에 반독점 문제를 만들어낸 통합 데이터 SaaS 아키텍처를 포기하라고 당신에게 돈을 지불하는 셈이다.

그리고 유럽 세입자를 둔 이들이라면, EU AI Act는 심사와 가격 책정을 모두 고위험 용도로 취급하며, 최대 €35 million 또는 전 세계 매출의 7%에 이르는 벌금을 부과한다 — 그리고 그 고위험 의무는 2025년과 2026년에 걸쳐 단계적으로 시행되므로, EU에 노출된 운영자에게는 이미 시계가 돌아가기 시작한 셈이다. 공정 주택 벌금을 그 위에 쌓으면 — 2025년 조정에 따라 첫 위반은 $26,262, 반복 위반은 최대 $131,308 — 지도를 잘못 그리는 비용은 이론에 그치지 않는다.

나는 이 일을 위해 발효일별로 색상 구분한 단일 스프레드시트를 유지한다. 왜냐하면 법무 자문(GC)이 실제로 묻는 질문은 "우리가 규정을 준수하고 있는가?"가 아니기 때문이다. 그것은 "우리가 운영하는 주들에서 이 중 어느 것이 시행 중이며, 각각이 구체적으로 무엇을 요구하는가?"이다. 특정 운영자의 사업 영역에 대해 그 답을 방어 가능하게 산출하는 것이 가치의 대부분이다.

수평적 AI 거버넌스 플랫폼들 — Credo AI, Holistic AI, FairNow 등 — 은 정책 관리와 공정성 모니터링에 정말로 뛰어나지만, 산업 중립적으로 만들어졌다. 그 어느 것도 세입자 심사 모델을 HUD 지침, 5분의 4 규칙, FCRA 불리한 조치, 그리고 당신의 가격 책정 엔진의 반독점 태세에 동시에 매핑하지 못한다. 그 교차점이 주택 분야에서는 업무의 전부이며, 바로 그것이 범용 도구가 당신에게 떠넘기는 부분이다. 우리는 주택 AI 컴플라이언스 실무 조직을 바로 그 지도를 감사된 모델과 함께 전달하는 것을 중심으로 구축했다 — 그 모델이 어떤 법에 따라 심판받는지 이사회에 말해줄 수 없다면 모델은 무가치하기 때문이다.

보호 속성만 그냥 제거하면 되지 않나요?

이것이 내가 가장 많이 듣는 반론이며, 흥미로운 방식으로 틀렸다. 직관은 이렇다: 인종을 제거하고 성별을 제거하면 모델은 차별할 수 없다. 그러나 신용 점수, 퇴거 이력, 범죄 경력 데이터는 모두 그 격차를 곧바로 되가져오는 대리 변수다 — 그것이 바로 SafeRent의 "중립적" 신용 가중치가 인종을 한 번도 보지 않고도 인종적 편향을 만들어낸 방식이다.

진짜 도구는 덜 유명하지만 더 강력하다: 최소 차별 대안 탐색, 즉 LDA다. 그 전제는 주어진 어떤 예측 문제에 대해서도 모델이 하나만 있는 것이 아니라 — 대략 동일한 정확도를 달성하지만 공정성 프로파일은 극도로 다른 수백만 개의 모델이 있다는 관찰에서 나온다. 그래서 당신은 정수 계획법 — CPLEX나 Gurobi 같은 솔버가 실행하는 종류의 철저한 최적화 — 을 사용해 그 전체 공간을 탐색하고 정확도와 차별적 영향 사이의 트레이드오프를 파레토 프론티어로 매핑한다. 그런 다음 당신은 그저 작동하는 모델을 고른 것이 아니라, 성능 기준을 여전히 충족하면서도 가장 덜 차별적인 모델을 골랐다는 것을 증거와 함께 보여줄 수 있다.

CFPB는 "차별적 영향에 대한 정기적 테스트, 덜 차별적인 대안에 대한 탐색을 포함하여"를 명시적으로 촉구했다. 그것은 공정 대출 분야에서 성숙해 있다. 주택 분야에는 그것을 제공하는 곳이 거의 없다. 규제 당국이 왜 당신이 고른 모델을 골랐는지 물을 때, "정확했다"는 것은 항변이 아니다 — 그것은 원고가 차별적 영향 청구를 밀어붙이는 틈이다. "여기 프론티어가 있고, 여기가 우리가 선택한 지점이며 그 이유는 이렇다"가 증언에서 버텨내는 답이다.

에이전틱 리싱: 주택 AI 컴플라이언스가 다음으로 무너지는 곳

내가 이것이 더 쉬워지는 게 아니라 더 어려워진다고 생각하는 이유는 이미 미국 다세대 주택 열두 세대 중 대략 한 세대에 자리 잡고 있다: 에이전틱 리싱 AI다.

부동산 관리 소프트웨어의 다음 물결은 심사 점수나 가격 권고가 아니다. 그것은 문의를 처리하고, 투어를 예약하고, 지원자를 사전 심사하고, 사람 개입 없이 임대 조건을 협상하는 자율 에이전트다. 한 플랫폼은 리드에서 임대까지의 시간을 65% 단축했다고 주장한다. 그 효율성은 실재한다. 노출도 마찬가지다.

자율 에이전트가 내리는 모든 결정은 잠재적 공정 주택 위반이거나 반독점 접점이다. 지원자의 인구통계에 따라 응답 품질을 달리하거나, 특정 지원자를 특정 건물로 유도하거나, 가격 양보를 고르지 않게 적용하는 에이전트는 매 상호작용마다 규모가 커지는 책임을 — 기계 속도로, 수천 건의 대화에 걸쳐, 나중에 "내가 잡아냈을 텐데"라고 말할 수 있는 사람 없이 — 만들어내고 있다. 에이전틱 리싱을 위한 컴플라이언스 아키텍처는 아직 존재하지 않는다. 가격 책정을 위한 데이터 격리 아키텍처가 Yardi의 변호사들이 그것을 필요로 하기 전까지 거의 존재하지 않았던 것과 같은 방식으로.

그것이 우리가 지금 향해 구축하고 있는 프론티어다. 다른 누군가가 훈련시킨 모델에 볼트로 조여 붙인 공정성 대시보드가 아니라, 심사 로직이 분리된 5분의 4 감사를 견뎌내고, 가격 책정 로직이 아키텍처 다이어그램에서 고객 격리를 증명할 수 있으며, 자율 에이전트의 모든 결정이 규제 당국이 읽을 수 있는 기록을 남기는 시스템이다. 우리가 이에 어떻게 접근하는지에 대한 전체 그림은 우리의 주택 AI 컴플라이언스 페이지에 담겨 있다.

나는 내 일이 하나의 알고리즘을 공정하게 만드는 것이라고 생각하며 이 일에 뛰어들었다. 이제 어떤 부동산 운영자에게든 내가 하고 싶은 말은 더 단순하면서 더 어렵다: 당신은 두 개의 알고리즘을 운영하고 있고, 법원은 각각을 당신 자신의 엔지니어들이 언급하는 것조차 아마 한 번도 들어본 적 없을 서로 다른 법령으로 심판할 것이다. SafeRent의 변호사들은 신용 점수가 중립적이지 않다는 것을 배웠다. RealPage의 변호사들은 알고리즘이 공모가 될 수 있다는 것을 배웠다. 두 교훈을 모두 배우기에 가장 저렴한 곳은 화이트보드다 — 규제 당국이 당신의 화이트보드 앞에 서서 격리 경계를 그리고 어떤 데이터도 그것을 넘지 않았음을 증명하라고 요구하기 전에.