임차인 심사 감사가 빨간불이 켜졌다. 나의 개발은 아직 끝나지 않았다.

충분한 답을 제시하지 못한 빨간 결과

나는 Louis et al. v. SafeRent Solutions 사건의 $2.275백만 합의금을 무시할 수 없었다. 연방 법원은 2024년 11월에 불법 행위를 인정하지 않은 채 이 합의에 최종 승인을 내렸다. 이 사건은 하나의 위험을 명확하게 드러냈지만, 주거용 AI 감사의 엔지니어링 문제를 다루기 시작하면서 나는 더 어려운 운영상의 질문에 직면하게 되었다. 모델 감사에서 격차가 드러났을 때, 팀은 정확히 다음에 무엇을 해야 하는가?

나는 Equora를 고정된 9,000건의 합성 임차인 심사 지원자 풀에 대해 실행했다. 데모에서 신용 중심 기준선인 ScreenScore v3는 0.7823의 AUC를 생성했다. 흑인 지원자에 대한 최소 불평등 영향 비율(DIR)은 0.694로 나타났다. 데모에 설정된 5분의 4 정책 기준은 0.80이다. 이 임계값은 데모를 위한 설계상의 선택이며, 법적 결론도 아니고 공정 주거법의 자동 검사도 아니다.

나의 첫 번째 버전은 거기서 멈출 수 있었다. 결과를 빨간색으로 표시하고, 보고서를 생성하고, 검토 회의에서 완성된 것처럼 보였을 수도 있었다. 대신, 나는 대응 계획 없는 더 나은 경보를 만든 것 같은 느낌이 들었다. 지표는 팀에게 기준선이 설정된 기준을 어디서 통과하지 못했는지 보여줄 수 있었다. 그러나 더 낮은 격차의 대안이 존재하는지, 그 대안이 어떤 유용성을 희생하는지, 또는 나중에 누군가가 그 선택을 재현할 수 있는지는 보여줄 수 없었다.

초기 연습은 여전히 Equora 주거용 AI 컴플라이언스 분석에서 유용하지만, 빨간 감사가 출발선이 되었을 때에야 비로소 개발이 흥미로워졌다.

지표가 남긴 미답 문제

나는 감사 표 아래의 동일한 공백으로 계속 돌아왔다. 어떤 변경 사항을 내가 옹호할 것인가, 그리고 어떤 근거로? 공정성 수치를 변동시키는 쉬운 방법들이 있다. 승인 임계값을 변경하라. 특성을 제거하라. 특성을 추가하라. 정규화를 변경하라. 점수는 변동하지만, 정의된 탐색 공간과 안정적인 선택 규칙 없는 변동은 거버넌스하기 어렵다.

나는 이 문제를 단일 모델 편집으로 생각해 보려 했다. 그것은 금방 실패했다. 신용 점수 영향력을 상한선으로 제한하고 결과가 개선되더라도, 그 상한선이 다른 것보다 더 선호될 이유가 없었다. 보장된 바우처 소득을 인정하더라도, 동일한 선택 비율에서의 유용성 비용을 여전히 확인해야 했다. 모든 개별적인 변경은 내가 평가하지 않은 대안들에 대한 또 다른 질문을 만들어냈다.

나는 그 질문들을 결과 옆에 적어두었고, 내 프로토타입이 그 어떤 것에도 안정적인 답변을 가지고 있지 않다는 것을 깨달았다. 두 번째 실행은 다른 직관을 반영할 수 있었다. 세 번째는 변경 사항을 문서화하지 않고 비교 세트를 변경할 수 있었다. 각 선택이 개별적으로는 합리적일지라도, 순서를 재구성하기는 어려울 것이었다. 그것이 실패한 실험이었다. 나는 수정 작업을 선언된 탐색 절차가 되어야 할 때 일련의 모델 조정 선택으로 취급했다. 이 구분은 누군가가 왜 하나의 허용 가능한 후보가 다른 것보다 선택되었는지 묻기 전까지는 미묘하게 들린다.

해결책은 탐색 자체를 아티팩트로 만드는 것이었다. Equora는 동일한 선택성에서 480개의 명시적이고 표면상 중립적인 구성을 평가한다. 그리드는 네 가지 선택적 고위험 특성의 부분 집합, 상한 없음·720·680·640의 신용 점수 상한, 보장된 바우처 소득 인정 여부, 그리고 0.1에서 30.0까지 여섯 가지 L2 값을 변형한다. 부채 대비 소득 비율, 고용 개월 수, 신고된 소득은 계속 포함된다.

그 경계가 중요한 이유는 내가 그것을 설명할 수 있기 때문이다. 나는 그것을 다시 실행할 수 있다. 또한 그것이 포함하지 않는 것도 말할 수 있다. 이 탐색은 가능한 모든 모델, 정책, 또는 특성 변환을 포괄한다고 주장하지 않는다. 그것은 알려진 그리드와 선언된 정확도 예산을 갖춘 제한된 엔지니어링 데모이다.

빨간 지표는 문제를 기록한다. 거버넌스된 탐색은 가능한 대응을 기록한다.

탐색을 검사 가능하게 만들어야 했다

탐색이 올바르게 실행되었지만 여전히 불투명하게 느껴졌던 단계에 도달했던 것을 기억한다. 마지막에 권장 사항이 나타났지만, 그것에 이르는 경로는 대부분 코드 안에 숨겨져 있었다. 그 출력은 수학적으로 방어 가능했지만 운영적으로는 취약했다. 법률 고문이나 모델 위험 검토자는 어떤 조합이 테스트되었는지에 대한 내 기억을 신뢰할 필요가 없어야 한다.

나는 탐색 공간을 인터페이스로 이동하고 진행 상황을 가시화했다. 시스템은 각 구성을 동일한 고정 합성 픽스처와 동일한 선택성 제약 조건에 대해 테스트한다. 후보의 AUC와 최소 DIR을 기록한 다음, 정확도/공정성 파레토 프런티어를 그린다. 0.03 AUC 예산 내에서 어떤 후보도 설정된 기준을 통과하지 못하면, 엔진은 권장 사항을 만들어내는 대신 안전한 대안이 없다고 반환한다.

나는 검토자가 구체적인 질문을 할 수 있기를 원했다. 신용 상한이 평가되었는가? 보장된 소득이 인정되었는가? 모든 후보가 선택성을 일정하게 유지했는가? 설정된 규칙 하에서 얼마나 많은 후보가 자격을 갖추었는가? 이것들은 기록에서 답할 수 있다. 의사 결정 절차는 언어 모델 외부에 있다: 결정론적 코드가 지표를 계산하고, 기준을 적용하고, 측정된 AUC 손실이 가장 작은 자격을 갖춘 후보를 선택한다.

나는 또한 실패한 후보들을 지워버리려는 유혹도 이겨내야 했다. 제품 화면은 자연스럽게 하나의 답을 전면에 내세우려 하지만, 다른 테스트된 지점들이 권장 사항에 맥락을 제공한다. 프런티어는 검토자가 선택된 좌표만 보는 대신 평가된 구성 전반에서 AUC와 최소 DIR을 비교할 수 있게 한다. 탈락한 후보들도 증거의 일부이다, 왜냐하면 그것들은 선택 규칙이 자격을 갖춘 결과에 정착하기 전에 무엇을 비교했는지 보여주기 때문이다.

이것이 나 자신의 프레이밍이 바뀐 순간이었다. 나는 공정성 대시보드를 염두에 두고 시작했다. 내가 실제로 만들고 있던 것은 재현 가능한 의사 결정 프로세스였다. 그래프는 모든 점이 테스트된 구성을 나타내기 때문에 유용했으며, 프런티어가 시각적으로 설득력 있기 때문이 아니었다.

마침내 볼 수 있게 된 트레이드오프

나는 완성된 실행이 모든 480개의 구성을 평가하고 설정된 정확도 예산 내에서 데모의 0.80 기준을 통과한 240개를 반환하는 것을 지켜봤다. 권장 구성은 기준선 특성을 유지하고, 보장 소득 크레딧을 추가하고, 신용 점수 영향력을 640으로 상한제한하고, L2 정규화 10.0을 사용했다.

그런 다음 나는 결과를 완벽성의 주장이 아닌 트레이드오프로 읽을 수 있었다. 이 고정 합성 픽스처에서 최소 DIR은 0.694에서 0.875로 상승했다. AUC는 0.7823에서 0.7788로 이동했으며, 인터페이스가 0.36%으로 표시하는 0.0036의 측정된 손실이다. 픽스처에서 흑인 바우처 보유자 교차점의 경우, DIR은 0.701에서 1.029로 이동했다.

나는 '권장'이라는 단어에 신중을 기한다. 이 후보는 이 특정 그리드 내에서 자격을 갖춘 가장 낮은 측정 AUC 비용 옵션이다. 그것은 보편적 최적값, 법적 인증, 또는 편향 없는 모델의 증명이 아니다. 수치는 합성 데이터에 대한 하나의 적합된 기준선과 하나의 제한된 탐색을 설명한다. 실제 집주인, 심사 벤더, 지원자 풀 또는 주거 시장을 설명하지 않는다.

나는 그 문장이 개선 수치보다 작성하기 더 어렵다는 것을 발견했다. 제품 언어는 확실성에 보상을 주지만, 거버넌스 업무는 범위 보존에 달려 있다. 제한된 주장은 다른 검토자가 그것이 멈추는 지점을 볼 수 있기 때문에 정확히 더 강력하다. 조직이 그리드를 확장하거나, 예산을 변경하거나, 다른 정책 기준을 채택한다면, 다른 기록과 아마도 다른 권장 사항을 예상해야 한다. 이 방법은 가정이 변경되더라도 재현 가능한 상태로 유지된다.

그 제한은 데모를 약화시키지 않는다. 그것은 검토 경계를 명확하게 한다. 검토자는 0.03 예산, 5분의 4 정책 기준, 가용 특성, 선택성 제약 조건, 또는 그리드 자체에 이의를 제기할 수 있다. 이러한 이견들은 정적인 빨간 점수에 첨부된 주석이 아닌, 재실행 가능한 프로세스의 입력값이 된다.

증거를 산문 외부에 유지한 이유

나는 산문이 인터페이스를 완성된 것처럼 느끼게 하기 때문에 생성된 텍스트가 더 많은 설명을 담게 하고 싶은 유혹을 받았다. 나는 그것에서 물러섰다. 유창한 단락은 어떤 구성이 테스트되었는지 확인하거나, DIR을 계산하거나, 후보가 임계값을 통과하는지 결정할 수 없다. 그것들은 계산적 주장이며, 나는 모든 생성된 문장이 제거되더라도 기록이 유지되기를 원했다.

나는 역할을 분리했다. 결정론적 코드가 감사를 계산하고, 대안을 탐색하고, 설정된 기준을 적용하고, 결과를 보존한다. 언어 모델은 활성화될 때 텍스트 초안 작성에 한정된다. 오프라인 모드는 결정론적 템플릿을 사용한다. 증거는 표현 방식에 의존하지 않는다.

나는 동일한 경계를 지원자 대면 사유에 적용했다. 거부된 합성 기록의 경우, 정확한 선형 모델 특성 귀속이 상위 3개의 부정적 기여 요소를 식별한다. 통지 초안 작성자는 그 특성들을 인용해야 한다. 근거가 있는 대체 통지는 그 좁은 검사를 통과하지만, 특성을 명시하지 않는 일반적인 사유 코드는 실패하여 인간 검토로 라우팅된다. 비평가는 특성 근거만 검증한다. 완전한 FCRA 준수 또는 법적 충분성을 확립하지는 않는다.

이것은 두 번째 논제가 아니라 탐색에 인접한 것이다. 팀이 대안을 선택하면, 증거는 여전히 의사 결정 기록과 그로부터 공개된 모든 설명으로 전달되어야 한다. 재현 가능한 탐색은 마지막 구간이 이유를 만들어낼 수 있다면 거버넌스 가치를 잃는다.

회의실에 있기를 원하는 아티팩트

나는 이제 검토 회의를 다르게 상상한다. 빨간 점수를 발표하고 회의실에 모델 개선에 대한 광범위한 약속을 받아들이도록 요청하는 사람을 상상하지 않는다. 나는 검토자가 제한된 그리드를 열고, 모든 후보를 동일한 선택성으로 확인하고, 파레토 프런티어를 점검하고, 선택된 결과를 설정된 규칙으로 추적하는 것을 상상한다.

나는 기록이 이득과 비용 모두를 보여주기를 원한다. 여기서 그것은 탐색 후 0.875의 최소 DIR과 0.7788의 AUC를 의미하며, 기준선 값들이 그 옆에 있다. 나는 또한 시스템이 거부한 대안들을 유지하고 자격을 갖춘 것이 없을 때 안전한 대안 없음을 반환하기를 원한다. 강제된 권장 사항은 가장 중요한 가능한 결과를 지워버릴 것이다.

전체 연습은 Equora 주거용 AI 컴플라이언스 분석에서 확인할 수 있다. 감사, 제한된 최소 차별 대안 탐색, 트레이드오프 뷰, 증거 인계를 보여준다. 합성 데이터를 기반으로 구축된 엔지니어링 데모이며, 프로덕션 의사 결정 시스템이나 법적 조언이 아니다.

그리고 내가 설명하는 것을 읽기보다 워크플로우를 직접 보고 싶다면, 다음은 창업자가 처음부터 끝까지 진행하는 연습이다.

나는 빨간 지표로 시작했는데, 그것이 표시하기에 가장 명백한 것이었기 때문이다. 나는 더 가치 있는 아티팩트가 빨간 결과에서 제한된 선택까지의 재현 가능한 경로이며, 그 경로가 자격을 갖춘 선택 없이 끝날 가능성도 포함한다는 것을 확신하며 마쳤다. 감사는 팀에게 멈추라고 할 수 있다. 탐색 기록은 그들이 어떻게 진행할지 결정하기 전에 무엇을 검토했는지 보여줄 수 있다.