흑인 여성의 주택 입주를 거절한 알고리즘 — 그리고 그것이 내게 가르쳐 준, 숨을 수 없는 AI를 만드는 법
화요일 저녁, 나는 집 사무실에 앉아 최종 합의 문서를 훑어보고 있었다 Louis 외 대 SafeRent Solutions, LLC 사건인데, 그때 한 가지 세부 사항이 나를 얼어붙게 만들었다.
연방 자금 지원 주택 바우처를 소지한 두 흑인 여성 Mary Louis와 Monica Douglas는 아파트 입주를 거절당했다. 그들의 눈을 똑바로 바라보며 안 된다고 말한 집주인이 아니라, 하나의 점수에 의해서였다. "Registry ScorePLUS"라 불리는 알고리즘이 생성한 200에서 800 사이의 숫자가 그들을 입주시키기에 너무 위험하다고 판단한 것이다. 알고리즘은 그들이 흑인이라는 사실을 몰랐다. 알 필요도 없었다. 그저 그들의 신용 이력이, 여러 세대에 걸쳐 금융 시스템에서 체계적으로 배제되어 온 사람들의 신용 이력과 닮았다는 것만 알았을 뿐이고 — 그것을 "위험"이라 불렀다.
합의금은 227만 5천 달러였다. 금지 명령은 5년간 지속된다. 그리고 판결에는 연방 법원이 실제로 그렇게 말했다는 것을 믿을 수 없어 세 번이나 다시 읽은 한 문장이 담겨 있었다. 집주인이 주택 결정을 내리는 데 주로 제3자 AI 점수에 의존한다면, 그 점수를 만든 회사는 공정주택법(Fair Housing Act)에 따라 책임을 분담한다는 것이다.
나는 노트북을 덮고 한동안 어둠 속에 앉아 있었다. 그 판결은 세입자 심사 산업을 바꾼 것에 그치지 않았기 때문이다. 그것은 규제 시장을 위한 AI를 만든다는 것이 무엇을 의미하는지에 대한 계산 전체를 바꿔놓았다. 그리고 그것은 우리 Veriprajna 팀이 — 때로는 회의적인 투자자들에게, 때로는 우리 자신의 탈진 속에서 — 수년간 주장해 온 무언가를 입증했다. 대부분의 회사가 고위험 결정에 AI를 배치하는 방식은 윤리적으로 의심스러운 정도가 아니라는 것. 그것은 아키텍처적으로 망가져 있다는 것이다.
SafeRent의 알고리즘 내부에서 실제로 무엇이 잘못되었는가?
기술적 실패는 설명하기에는 기만적으로 단순하고, 모델 설계에 대한 접근 방식 전체를 재고하지 않고 고치기에는 미칠 듯이 어렵다.
SafeRent의 점수 산정 시스템은 전통적인 신용 이력과 임차 외 부채 — 의료비, 오래된 신용카드 잔액, 수년간 빈곤을 헤쳐 나가면서 쌓이는 종류의 금융적 흉터 조직 같은 것들 — 에 크게 의존했다. 그것이 하지 않은 것은 대상자에 관한 가장 관련성 높은 단 하나의 사실을 고려하는 일이었다. 주택 선택 바우처 소지자는 연방 정부로부터 보장된 소득 흐름을 가지고 있다는 것이다. 그들의 임대료는 보조된다. 그들이 납부를 놓칠 가능성은 통계적으로 원시 신용 점수가 시사하는 것과 상당히 다르다.
하지만 모델은 그것을 몰랐다. 더 정확히 말하면, 아무도 그것에 신경 쓰라고 알려주지 않았다.
그 알고리즘은 의도적으로 차별한 것이 아니었다. 그것은 설계에 의해 차별했다 — 역사적으로 편향된 데이터를 중립적 진실로 취급함으로써.
여기서 숫자들이 뼈아프게 드러난다. 2021년 10월 기준, 백인 소비자의 중위 신용 점수는 725였다. 히스패닉 소비자는 661. 흑인 소비자는 612였다. 신용 점수를 "임대 이행 위험"의 주요 예측 변수로 취급하는 모델을 만들 때, 당신은 중립적인 수학적 선택을 하는 것이 아니다. 당신은 한 세기에 걸친 레드라이닝, 약탈적 대출, 부의 불평등을 하나의 특성 가중치 속에 인코딩하고 있는 것이다. SafeRent의 알고리즘은 Mary Louis의 신용 이력을 보고 위험을 보았다. 그것이 봤어야 했던 것은 보장된 임대료 자금을 가진 여성이자, 신용을 쌓을 공정한 기회를 한 번도 주지 않았던 시스템이었다.
왜 법원은 소프트웨어 공급업체에 책임이 있다고 말했는가?
이것은 모든 AI 회사 창업자를 밤에 잠 못 이루게 해야 하는 부분이다.
SafeRent는 뻔한 항변을 시도했다. 우리는 기술 제공자이지 집주인이 아니다. 우리는 주택 결정을 내리지 않는다. 우리는 그저 정보를 제공할 뿐이다. 법원은 이 주장을 단호히 기각했다. 법무부(Department of Justice)는 집주인이 자신의 의사 결정을 알고리즘에 아웃소싱할 때, 그 알고리즘의 개발자는 기능적으로 결정 연쇄의 일부라고 주장하는 이해관계 진술서(Statement of Interest)를 제출했다.
그것이 무엇을 의미하는지 잠시 생각해 보라. 규제 시장에서 AI 기반 점수 산정, 심사, 언더라이팅, 또는 위험 평가를 판매하는 모든 회사는 방금 "우리는 도구만 만들었을 뿐"이라고 말할 수 있는 능력을 잃었다.
판결이 내려진 그다음 주에 공동 창업자와 나눈 대화가 기억난다. 우리는 통화 중이었고, 겉으로는 클라이언트 결과물을 검토하기로 되어 있었지만, 대신 우리는 이 판례가 적용될 수 있는 모든 산업을 45분간 지도로 그렸다. 신용 점수 산정. 보험 언더라이팅. 고용 심사. 의료 트리아지. 목록은 계속 늘어났다. 어느 순간 우리 중 한 명이 말했다. "이건 주택 사건이 아니야. 이건 AI 제조물 책임법의 시작이야." 우리는 축하하고 있지 않았다 — 우리는 바로 이 시나리오에 대해 경고해 왔었다 — 하지만 법 체계가 마침내 기술이 통제 없이 해오던 일을 따라잡는 것을 지켜보는 데는 암울한 만족감이 있었다.
합의는 SafeRent에 227만 5천 달러의 비용만 물린 것이 아니었다. 그것은 이빨을 가진 5년간의 금지 명령을 부과했다.
SafeRent는 더 이상 바우처 소지자에 대해 자동화된 승인 또는 거절 권고를 발행할 수 없다 — 독립적인 시민권 전문가에 의해 모델의 공정성이 검증되지 않는 한 말이다. 그 검증 없이는, 시스템은 예측 점수를 벗겨낸 원시 배경 정보만 제공할 수 있다. 회사는 또한 보조 지원 대상 집단에 대한 점수 산정 모델의 한계에 관해 클라이언트를 교육해야 한다. 그리고 이 조건들은 매사추세츠주에만 국한되지 않고 전국적으로 적용된다.
합의 구조와 그 규제적 함의에 대한 더 깊은 고찰을 위해, 나는 전체 사건 분석에 대한 인터랙티브 해설을 작성했다.
LLM 래퍼의 함정
SafeRent 합의가 확정되기 약 1년 전, 나는 잠재 클라이언트와의 미팅에 참석했다 — 남동부 전역에 약 12,000세대를 운영하는 중견 부동산 관리 회사였다. 그들은 대규모 언어 모델 위에 구축된 "AI 기반 세입자 심사 솔루션"을 제공하는 한 공급업체로부터 제안을 받았었다. 그 홍보는 매끄러웠다. 자연어 처리, 즉각적인 위험 요약, 아름다운 대시보드. 그 공급업체는 시리즈 A를 유치했었다. 그들은 웹사이트에 로고들을 걸고 있었다.
나는 한 가지 질문을 했다. "이 시스템이 특정 지원자에 대해, 어떤 특성이 거절 결정을 이끌었는지를 공정신용보고법(Fair Credit Reporting Act)의 불이익 조치 통지 요건을 충족하는 방식으로 설명할 수 있습니까?"
침묵. 그러더니, "저희는 그 결정에 대한 자연어 설명을 생성할 수 있습니다."
"LLM이 생성한 것 말입니까?"
"네."
"그러니까 그 설명은 그 사람이 왜 거절당했는지에 대한 그럴듯한 서사이지, 실제 모델 연산의 검증된 인과 추적이 아니라는 말씀이군요?"
더 많은 침묵.
이것이 내가 "LLM 래퍼"라고 부르는 것의 핵심 문제이며 — SafeRent 사건이 잔혹하고 값비싼 세부 사항으로 밝혀낸 문제다. 대규모 언어 모델은 임대 계약서를 요약할 수 있다. 편지를 작성할 수 있다. 심지어 지원자가 왜 거절되었는지에 대해 설득력 있게 들리는 설명을 만들어낼 수도 있다. 하지만 그것은 자신의 추론이 실제 결정 경로와 인과적으로 연결되어 있음을 인증할 수는 없다. 보호 대상 특성이 결과에 영향을 미치지 않았음을 증명할 수 없다. 덜 차별적인 대안을 탐색할 수 없다. 그것은 다른 모든 것을 환각하는 것과 같은 방식으로 설명을 환각한다 — 통계적으로 가장 가능성 높은 다음 토큰을 예측함으로써.
고위험 결정에서, 그럴듯한 답을 생성하는 능력은 아무런 가치가 없다. 공정한 답을 증명하는 능력이야말로 모든 것의 가치를 지닌다.
투자자들이 내게 이렇게 말한 적이 있다. "그냥 GPT를 쓰고 그 위에 컴플라이언스 계층을 얹으세요." 한 명은 피칭 행사에서 내 면전에 대고, 마치 당연하다는 듯, 마치 우리가 일을 지나치게 복잡하게 만들고 있다는 듯 그렇게 말했다. 나는 그에게 SafeRent 합의 문서를 건네주며 어떤 컴플라이언스 계층이 바우처 소득을 체계적으로 무시한 모델을 잡아냈을지 묻고 싶었다. 답은 그중 어느 것도 아니다. 편향은 출력 서식이나 사용자 인터페이스에 있지 않았기 때문이다. 그것은 특성 가중치 안에 있었다. 학습 데이터 안에 있었다. 모델이 예측하도록 최적화된 것의 근본적인 아키텍처 안에 있었다.
HUD의 2024년 지침은 어떻게 판을 바꾸는가?
2024년 5월, HUD는 SafeRent 사건의 교훈을 주택 산업 전체에 대한 규제적 기대치로 사실상 성문화하는 지침을 발표했다. 그 기준은 "차별적 영향(disparate impact)"이다 — 즉, 아무도 차별하려는 의도가 없었더라도, 정당하고 비차별적인 이익으로 정당화될 수 없는, 보호 계층에 대한 불균형적으로 부정적인 영향을 만들어내는 한 시스템은 불법일 수 있다는 것이다.
세 가지 요건이 두드러진다.
특성 관련성은 단순한 상관관계가 아니라 인과적이어야 한다. 심사 모델의 모든 데이터 포인트는 실제 임대 이행과 방어 가능한 연결 고리를 가져야 한다. 신용 점수가 인종의 대리 변수이고 바우처로 조정된 소득이 더 나은 예측 변수인지 검증하지 않았다면, "신용 점수가 채무 불이행을 예측한다"는 것만으로는 충분하지 않다.
지원자는 AI 결과에 이의를 제기할 실질적인 경로를 가져야 한다. 이는 인간 참여형(human-in-the-loop) 검토가 선택 사항이 아니라 필수라는 의미다. 구제 메커니즘 없이 점수를 생성하는 시스템은 소송을 기다리는 시스템이다.
개발자는 덜 차별적인 대안(Less Discriminatory Alternatives)을 탐색해야 한다. 이것이 모든 것을 바꾸는 조항이다. 작동하는 모델을 만드는 것만으로는 충분하지 않다. 당신은 자신이 동등하게 잘 작동하면서 덜 차별적인 영향을 미치는 모델을 찾으려 했다는 것을 입증해야 하고 — 그것을 채택했거나 그런 모델이 존재하지 않음을 증명할 수 있어야 한다.
그 마지막 요건 — 덜 차별적인 대안, 즉 LDA — 은 내가 봐온 대부분의 AI 회사들이 무너지는 지점이다. 수학이 불가능하게 어려워서가 아니라, 그들이 한 번도 그것을 하도록 강요받은 적이 없기 때문이다. 그들은 정확도를 위해 최적화한다. 출시한다. 다음으로 넘어간다. 인구통계 집단 전반에 걸쳐 공정성을 극대화하면서 성능을 유지하는 모델을 찾기 위해 수천 개의 대안적 모델 구성을 뒤져봐야 할지도 모른다는 발상? 그것은 대부분의 제품 관리자가 한 번도 받아본 적 없는 기능 요청이다.
우리가 대신 실제로 만드는 것
한 가지에 대해 솔직해져야겠다. Veriprajna에서 공정성 인식 시스템을 처음 만들기 시작했을 때, 우리는 그것을 잘못했다.
우리의 초기 접근 방식은 사후(post-hoc) 감사였다. 모델을 만들고, 편향에 대해 테스트하고, 뭔가 이상해 보이면 임계값을 조정한다. 그것은 책임감 있게 느껴졌다. 충분하게 느껴졌다. 그렇지 않았다.
사후 처리의 문제는 원인을 이해하지 않은 채 결과를 패치하려 한다는 것이다. 집단 전반에 걸쳐 승인율이 비슷해 보이도록 결정 임계값을 조정할 수는 있다 — "균등화된 확률(Equalized Odds)"이라 불리는 기법이다 — 하지만 기저 모델이 위험에 대한 편향된 표현을 학습했다면, 당신은 그저 구조적 문제에 화장을 하고 있는 것일 뿐이다. 모델은 여전히 특정 사람들이 더 위험하다고 생각한다. 당신은 그저 마지막 단계에서 그것을 덮어쓰고 있을 뿐이다. 그리고 누군가 특성 중요도를 감사하는 첫 순간, 편향은 바로 거기서 당신을 마주 보고 있다.
돌파구는 — 그리고 나는 이 단어를 조심스럽게 사용한다, 유레카의 순간이라기보다는 실패가 느리고 답답하게 축적되는 것에 더 가까웠기 때문이다 — 우리가 공정성을 배포 후 감사가 아니라 최적화 제약으로 취급하기 시작했을 때 찾아왔다.
그것이 실제로 무엇을 의미하는지 여기 있다. 모델 학습 중에, 우리는 단지 예측 오류를 최소화하는 것에 그치지 않는다. 우리는 동시에, 보조적인 "적대적(adversarial)" 네트워크가 주 모델의 출력으로부터 보호 대상 속성(인종이나 성별 같은)을 예측할 수 있으면 모델에 페널티를 부과한다. 만약 그 적대자가 성공한다면 — 모델의 예측을 보고 누가 흑인이고 누가 백인인지 알아맞힐 수 있다면 — 주 모델은 페널티를 받고 재학습된다. 그 결과는 보호 대상 특성으로부터 진정으로 독립적인 특성을 학습하도록 강제된 모델이다.
우리는 이것을 연구자들이 "반사실적 테스트(counterfactual testing)"라 부르는 것과 결합한다. 모델이 평가하는 모든 지원자에 대해, 우리는 이렇게 묻는다. 만약 이 사람의 인종이 달랐지만 나머지 모든 것이 동일하게 유지되었다면, 결정이 바뀔 것인가? 만약 답이 그렇다면, 모델은 실패다. "검토 대상으로 표시"가 아니다. 실패다.
반사실적 공정성은 모든 시민권 변호사가 결국 던질 질문을 묻는다. 이 사람이 백인이었다면 승인되었을 것인가? 당신의 모델은 같은 답을 내놓는 게 좋을 것이다.
어느 밤이 있었다 — 새벽 2시쯤이었던 것 같다 — 우리가 공공 주택 데이터셋을 사용해 만든 프로토타입 심사 모델에 첫 전체 반사실적 감사를 실행했을 때였다. 우리는 3~4% 정도의 불일치를 예상했다. 실제 숫자는 11%에 가까웠다. 인구통계 집단 외에는 아무것도 바꾸지 않았는데도 결정의 11%가 뒤집혔을 것이다. 내 엔지니어가 이런 슬랙 메시지만 보냈다. "우리한테 문제가 있어요." 우리는 그다음 3주 동안 특성 파이프라인을 처음부터 다시 구축하며, 신용 점수를 바우처 소득, 직접 임대료 납부 이력, 고용 안정성에 가중치를 둔 복합 지표로 교체했다. 반사실적 격차는 1% 미만으로 떨어졌다.
그것이 내가 "딥 AI(Deep AI)"라 부르는 것과 LLM 래퍼의 차이다. 그것은 더 나은 프롬프트나 더 멋진 인터페이스를 갖는 것에 관한 것이 아니다. 그것은 공정성이 시스템 아키텍처의 속성인지, 아니면 상자에 붙이는 스티커인지에 관한 것이다.
적대적 편향 제거 방법론과 우리가 사용하는 지표들의 수학적 형식화를 포함한 우리 공정성 엔지니어링 접근 방식의 전체 기술적 해설은, 알고리즘 무결성과 기업 위험에 관한 우리 연구 논문을 참조하라.
배포 후에 그냥 감사하면 안 되는가?
사람들은 이것을 끊임없이 묻고, 나는 그 매력을 이해한다. 감사는 더 저렴하게 느껴진다. 덜 방해가 되는 것처럼 느껴진다. 빨리 만들고, 빨리 출시하고, 나중에 감사하고, 망가진 것을 고친다.
문제는 규제 시장에서 "망가지는 것"은 사람들의 삶이라는 점이다.
SafeRent의 알고리즘이 법정에서 이의 제기된 시점에, 그것은 이미 수년간 가동되어 왔다. 소송을 제기한 적 없는 Mary Louis 같은 사람이 얼마나 많았을까? 신용 점수 너머를 보지 못하는 알고리즘에 의해 주택을 거절당한 바우처 소지 가정이 얼마나 많았을까? 그런 거절은 합의로 되돌려지지 않는다. 그 아파트들은 다른 누군가에게 돌아갔다. 그 가정들은 더 나쁜 곳을 찾아 살았거나, 아예 아무 곳도 찾지 못했다.
정적 감사는 또한 결정적인 무언가를 놓친다. 데이터 드리프트(data drift)다. 모델이 학습 중에 배운 사회경제적 패턴은 시간이 지나면서 변한다. 바우처 이용률이 바뀐다. 신용 점수 산정 방법론이 진화한다. 임대 시장이 조여지거나 느슨해진다. 2022년에 "충분히 공정했던" 모델이 2024년에는 차별적일 수 있다 — 누군가 코드를 바꿔서가 아니라, 그것을 둘러싼 세상이 바뀌었기 때문에.
이것이 우리가 자동화된 재학습 트리거를 갖춘 지속적 모니터링으로 옮겨간 이유다. 모델은 그저 1년에 한 번 감사받는 것이 아니다. 그것은 결정을 내릴 때마다, 실시간으로 가동되는 일련의 공정성 지표들 — 통계적 동등성 차이(Statistical Parity Difference), 차별적 영향 비율(Disparate Impact Ratio), 균등화된 확률(Equalized Odds) — 에 대해 감사받는다. 어떤 지표든 임계값을 넘어 드리프트하면, 시스템은 인간이 출력을 보기도 전에 그것을 표시한다.
나는 이렇게 생각한다. 당신은 다리를 짓고, 한 번 점검하고, 그다음 다시는 확인하지 않는 일은 하지 않을 것이다. 당신은 응력, 피로, 환경 변화에 대해 그것을 지속적으로 모니터링할 것이다. 사람들의 주택, 신용, 고용에 관한 결정을 내리는 AI 시스템은 우리가 콘크리트와 강철에 부여하는 것과 적어도 같은 수준의 엔지니어링 엄격성을 받을 자격이 있다.
EU AI 법은 미국 회사들에게 무엇을 의미하는가?
SafeRent 합의와 HUD 지침이 현재의 규제 하한선을 나타낸다면, EU AI 법 — 2025~2026년에 단계적 시행이 시작된다 — 은 상한선이 어디로 향하고 있는지를 나타낸다.
이 법은 신용 점수 산정, 세입자 심사, 고용 결정에 사용되는 AI 시스템을 "고위험(High Risk)"으로 분류하며, 그것들을 의무적 적합성 평가, 투명성 요건, 인간 감독 의무의 대상으로 삼는다. 유럽 시장에 서비스하는 미국 회사들, 또는 유럽 규제 당국이 관심을 갖기로 결정하는 방식으로 미국 시장에 서비스하는 미국 회사들은 준수해야 할 것이다.
하지만 구체적 요건보다 내가 더 흥미롭게 여기는 것은 이것이다. EU 법은 NIST AI 위험 관리 프레임워크(Risk Management Framework)의 네 기둥 — 거버넌스(Govern), 매핑(Map), 측정(Measure), 관리(Manage) — 을 법적 구속력이 있는 의무로 실행 가능하게 만든다. 자발적 지침이었던 것이 의무적 관행이 된다. 이러한 원칙에 자신들의 아키텍처를 일찍 맞춘 회사들은 준수가 간단하다는 것을 알게 될 것이다. 공정성을 마케팅 주장으로 취급한 회사들은 그것이 값비싸다는 것을 알게 될 것이다.
나는 이 패턴이 데이터 프라이버시(GDPR), 재무 보고(SOX), 그리고 이제 AI 거버넌스에서 펼쳐지는 것을 지켜봐 왔다. 규제의 궤적은 오직 한 방향으로만 움직인다. 내일의 요건을 위해 오늘 구축하는 것은 이상주의가 아니다. 그것은 위험 관리다.
아무도 이야기하지 않는 모델 다중성 문제
머신러닝 연구에는 "모델 다중성(model multiplicity)"이라는 개념이 있다 — 어떤 주어진 데이터셋에 대해서도, 거의 동일한 정확도를 달성하지만 극도로 다른 공정성 프로필을 가진 잠재적으로 수백만 개의 모델이 존재한다는 관찰이다. 그 모델들 중 일부는 깊이 편향되어 있다. 일부는 놀랍도록 공정하다. 그리고 공정한 모델을 위한 명시적이고 체계적인 탐색 없이는, 개발자들은 거의 항상 최적화기가 처음 찾아내는 것에 안착하게 될 것이다.
이것이 덜 차별적인 대안 요건의 기술적 토대이며, 내가 LDA 탐색이 향후 10년간 규제 AI 개발에서 단 하나의 가장 중요한 역량이 될 것이라고 믿는 이유다.
우리가 LDA 탐색을 수행할 때, 우리는 그저 하나의 모델을 학습시키는 것이 아니다. 우리는 특성 집합, 아키텍처, 하이퍼파라미터, 공정성 제약을 다양하게 바꿔가며 수백 개를 학습시키고, 그런 다음 정확도-공정성 트레이드오프의 전체 지형을 지도로 그린다. 목표는 사업 목적 — 임대 이행 예측, 신용 위험 평가, 그 무엇이든 그 과제 — 을 달성하되 가능한 한 최소의 차별적 영향으로 달성하는 모델을 찾는 것이다.
때때로 그 탐색은 불편한 무언가를 드러낸다. "가장 정확한" 모델이 또한 가장 편향된 모델이라는 것이다. 정확도와 역사적 편향이 학습 데이터 안에서 상관되어 있기 때문이다. 두 번째로 정확한 모델은 예측력의 0.5%포인트를 희생하면서도 차별적 영향 비율(Disparate Impact Ratio) 격차를 40% 줄일 수 있다. 그 트레이드오프는 그럴 만한 가치가 있는가?
만약 당신의 모델이 0.5% 덜 정확하지만 40% 덜 차별적인데도 당신이 정확도를 선택했다면 — 그것을 판사에게 설명하는 데 행운을 빈다.
SafeRent 사건에서, 근본적인 질문은 모델이 바우처 소지자에게 페널티를 부과하지 않고도 임대 이행을 동등하게 잘 예측할 수 있었는가 하는 것이었다. 데이터에 대해 우리가 아는 모든 것에 기반한 답은, 거의 확실히 그렇다는 것이다. SafeRent는 그저 한 번도 들여다보지 않았을 뿐이다.
내가 하마터면 래퍼를 만들기로 동의할 뻔한 밤
나는 이전에 공개적으로 이야기한 적 없는 한 이야기로 끝맺고 싶다.
약 18개월 전, 우리는 한 회사 — 이름은 밝히지 않겠다 — 로부터 제안을 받았는데, 그들은 우리가 한 대형 금융 서비스 클라이언트를 위한 컴플라이언스 심사 도구를 만들어주기를 원했다. 예산은 상당했다. 일정은 공격적이었다. 그리고 그들이 우리에게 건넨 사양은, 본질적으로 LLM 래퍼였다. 파운데이션 모델을 가져다가, 규제 문서로 파인튜닝하고, 점수 산정 계층을 추가하고, 출시한다.
우리 팀은 의견이 갈렸다. 절반은 수익을 봤다. 나머지 절반은 SafeRent 사건이 슬로모션으로 펼쳐지는 것을 봤다. 우리는 거의 세 시간 동안 지속된 통화를 했다. 내가 깊이 신뢰하는 한 엔지니어가 내게 각인된 무언가를 말했다. "우리는 그들이 요구하는 것을 8주 안에 만들 수 있어요. 우리는 그들에게 필요한 것을 8개월 안에 만들 수 있고요. 만약 우리가 그들이 요구하는 것을 만든다면, 우리는 왜 이 접근 방식이 실패하는지에 대한 다음 사례 연구가 되는 겁니다."
우리는 그 거래에서 손을 뗐다. 그것은 창업자로서 내가 내린 가장 값비싼 결정이었다. 나는 몇 주 동안 그것을 곱씹으며 후회했다.
나는 더 이상 그것을 곱씹지 않는다.
SafeRent 합의는 규제 산업에서의 AI 시장이 가장 빨리 출시하기 위한 경주가 아님을 입증했다. 그것은 가장 안전하게 출시하기 위한 경주다 — 여기서 "안전"이란 아키텍처적으로 공정하고, 법적으로 방어 가능하며, 연방 법원이 결국 적용할 종류의 법의학적 정밀 검토를 견디도록 설계되었음을 의미한다. 이것을 이해하는 회사들은 오래가는 시스템을 구축할 것이다. 그렇지 못한 회사들은 다음 227만 5천 달러짜리 경고성 사례를 구축할 것이다.
블랙박스의 시대는 끝났다. 규제 당국이 그것을 죽여서가 아니라, 그것이 애초에 현실과의 접촉에서 살아남도록 만들어진 적이 없었기 때문이다. 질문은 당신의 AI가 결정을 내릴 수 있는가가 아니다. 그것은 당신의 AI가 그 결정을 방어할 수 있는가다.
