주거 AI 컴플라이언스

고정 합성 데이터셋에서 최하위 그룹 DIR 0.694를 기반으로 Equora의 480개 구성 개선 탐색이 시작됩니다.

Equora는 측정된 격차를 정확도 비용, 명확한 의사결정 증거 및 릴리스 게이트를 지속적으로 고려하는 저격차 대체안의 재현 가능한 탐색으로 전환합니다.

0.694 to 0.875

최하위 그룹 DIR 변화 추이

고정 합성 테스트 데이터셋

480

평가된 구성 수

동일 선택도 기반 제약 탐색

0.36%

측정된 정확도 비용

AUC 0.7823 to 0.7788

여기에 표시된 모든 기본 결과는 고정된 9,000건의 합성 지원자 풀에서 도출되었습니다. Equora는 엔지니어링 시연용이며, 법적 조언이나 실제 프로덕션 의사결정 시스템이 아닙니다.

문제점

공정성 지표는 격차를 식별할 수 있지만, 운영상의 대응 방안을 선택하지는 못합니다.

임차인 심사 감사는 법무 및 모델 리스크 관리 팀에 보호 대상 그룹 간 결과 차이가 발생함을 경고할 수 있습니다. 진짜 핵심 과제는 그 다음에 시작됩니다. 표면상 중립적인 대체안이 격차를 줄이고 유용한 모델 성능을 유지하며 나중에 재현 가능한지 판단하는 것입니다.

2024년 11월 SafeRent 합의는 심사 시스템이 왜 엄격한 조사를 받는지에 대한 중요한 배경을 제공합니다. $2.275 million 규모의 합의에는 불법 행위에 대한 인정이 포함되지 않았으며, 이 데모는 해당 사안을 재현하지 않습니다.

적색 경고 점수가 제공하지 못하는 증거

  • 01실제로 어떤 중립적 대안이 평가되었는가
  • 02후보 모델들이 동일한 선택도 수준에서 비교되었는가
  • 03선택된 변경 사항으로 인해 측정된 모델 성능 손실이 얼마인가
  • 04지원자 대상 통지 사유가 실제 의사결정 기록과 일치하는가

출처: DOJ Civil Rights Division case page 및 2024년 11월 20일 제출된 Final Approval Order.

작동 방식

감사는 제약 조건이 설정된 개선안 탐색을 구동합니다.

측정, 탐색, 추천 및 배포 검증은 모두 결정론적으로 유지됩니다.

측정

개선 전 기준선 측정

Equora는 번들된 합성 풀에 ScreenScore v3(신용 중심 기준선)를 적합화하고 승인률, disparate-impact ratio(DIR), 통계적 패리티 차이 및 equalized-odds 격차를 보고합니다. 인종과 주거 바우처 수급 여부는 감사 필드이며 모델 특징이 아닙니다.

탐색

동일 선택도 조건에서 명시적인 중립적 변경 사항 평가

최소 차별 대체안(Least Discriminatory Alternative, LDA) 탐색은 선택적 특성 하위 집합, 신용 점수 상한, 보장 소득 처리 및 정규화 강도의 480가지 조합을 평가합니다. 탐색 공간은 명시적이며 제약되어 있습니다.

선택

재현 가능한 규칙을 통한 선택

엔진은 정확도와 최소 DIR 파레토 프론티어를 도출한 후, 구성된 0.03 예산 내에서 측정된 AUC 손실이 가장 적은 적격 후보를 선택합니다. 적격 후보가 없으면 안전한 대체안이 없음을 반환합니다.

게이트

근거 없는 설명 텍스트 거부

정확한 선형 모델 기여도 분석을 통해 상위 3가지 부정적 요인을 식별합니다. 특성 근거 검증 비평가는 해당 동인과 통지서의 사유를 비교하고, 근거가 없거나 모호한 설명을 사람의 검토로 라우팅합니다.

데모 입증 결과

기준선에서 권장안에 이르기까지 트레이드오프가 투명하게 유지됩니다.

이 화면들은 고정된 합성 테스트베드에서 실행되는 실제 로컬 데모를 보여줍니다.

합성 기준선 DIR 0.694, 권장 대체안 DIR 0.875 및 0.36% 측정 정확도 비용을 보여주는 Equora 파레토 프론티어
핵심 증거: 평가된 480개 구성 중 240개가 구성된 게이트와 AUC 예산 내에 있으며, 권장 트레이드오프가 파레토 프론티어에 기록되어 있습니다.
최하위 그룹 disparate-impact ratio 및 보호 대상 그룹 결과가 포함된 Equora의 합성 임차인 심사 감사 완료 화면
기준선 감사는 대안 탐색이 시작되기 전에 격차를 식별합니다.
특성 기반 사유가 통과되고 모호한 사유가 사람 검토로 전달되는 것을 보여주는 Equora 통지 검증 화면
릴리스 게이트는 특성 근거 일치 여부만 검증합니다. 통지서의 완전한 법적 유효성을 보증하는 것은 아닙니다.

객관적인 현황

워크플로가 감사를 넘어설 때 달라지는 점

Equora는 단일 지표를 법적 판결로 바꾸기 위한 것이 아니라, 제약된 개선 결정을 검사 가능하게 만들기 위해 설계되었습니다.

질문 공정성 점수 단독 Equora 실증
무엇이 측정되었는가?단일 모델 구성에서의 격차고정 데이터셋에서의 DIR, SPD, EO 격차, 승인율 및 신뢰구간
무엇이 변경될 수 있는가?지정되지 않음동일 선택도에서 비교된 표면상 중립적 구성의 선언된 그리드
왜 이 권장안인가?선택 기록 없음제약된 탐색 내 적격 후보 중 가장 적은 측정 AUC 손실
통지 사유를 검증할 수 있는가?점수 평가 범위 외언급된 특성을 모델의 정확한 상위 3가지 부정적 기여 요인과 비교

이 데모가 수행하지 않는 작업

Equora는 법적 준수성을 확립하거나 모델이 공정하다고 인증하거나 가능한 모든 모델을 탐색하거나 실제 주택 프로덕션 성과를 검증하지 않습니다. 0.80 임계값은 데모에 구성된 4/5 규칙 정책 게이트입니다.

지원자 풀은 합성 데이터이며, 규칙 팩은 정적이고 프로덕션 커넥터는 구축되지 않았습니다. 통지 비평가는 특성 근거만 검증하며, UCI Adult 실행은 인구조사 소득 공정성 벤치마크이지 임차인 데이터가 아닙니다.

주택, 리스크 및 컴플라이언스 팀의 주요 질문

임차인 심사 모델이 데모의 4/5 규칙 정책 게이트를 충족하지 못하면 Equora는 무엇을 수행합니까?

Equora는 동일한 선택도 조건에서 480개의 명시적이고 표면상 중립적인 구성을 평가합니다. 데모에 구성된 4/5 정책 게이트 및 정확도 예산 내에서 측정된 AUC 손실이 가장 적은 적격 후보를 권장하거나, 적격 후보가 없는 경우 안전한 대체안 없음을 반환합니다.

DIR이 0.80 미만이면 Fair Housing Act 위반이 입증됩니까?

아닙니다. Equora는 0.80을 법적 결론이 아닌 데모의 4/5 규칙 정책 게이트로 사용합니다. 4/5 규칙 휴리스틱은 고용 심사 지침에서 유래되었으며 그 자체로 주택법상 책임을 결정하지 않습니다.

권장된 대체안은 모델 성능을 얼마나 양보합니까?

고정된 합성 데이터셋에서 AUC는 0.7823에서 0.7788로 이동합니다. 측정된 손실은 0.0036으로 인터페이스에 0.36%의 정확도 비용으로 표시되며, 최하위 그룹 DIR은 0.694에서 0.875로 개선됩니다.

Equora는 언어 모델을 사용하여 임차인 심사 결정을 내립니까?

아닙니다. 결정론적 코드가 지표를 계산하고, 임계값을 적용하며, 대안을 평가하고 권장안을 선택합니다. 언어 모델은 활성화된 경우 통지문 초안 작성에만 한정되며, 오프라인 모드는 결정론적 템플릿을 사용합니다.

불이익 처분 통지(Adverse-action notice) 확인이 완전한 FCRA 준수를 입증합니까?

아닙니다. 특성 근거 검증 비평가는 인용된 이유가 모델의 상위 3가지 부정적 특성 기여와 일치하는지 확인합니다. 근거가 없거나 모호한 이유는 사람 검토로 라우팅하지만, 모든 법적 통지 요건을 검증하거나 법적 충분성을 확립하지는 않습니다.

이 주택 AI 시연의 데이터는 실제 지원자 데이터입니까?

아닙니다. 기본 데이터셋은 9,000건의 기록으로 구성된 고정 번들 합성 임차인 심사 풀입니다. 별도의 UCI Adult Census Income 실행은 동일한 감사 코드를 실행하는 공개 공정성 벤치마크이며 주택 검증 데이터셋이 아닙니다.

기술 연구

이 데모의 기반이 되는 연구 — 아키텍처, 검증 설계 및 엔터프라이즈 청사진.

소셜

다른 채널에도 게시됨

감사 불합격에 대한 대응을 재현 가능하게 만드십시오.

모델, 정책 경계 및 증거 의무를 단일 검토 절차로 통합하십시오.

귀사 팀이 주택 AI에 대한 감사, 개선 및 릴리스 제어를 정의하고 있다면 검토 시 유지해야 할 증거에 대해 문의해 주십시오.

입증된 감사 및 증거 제어 기능

  • ✓ 보호 대상 그룹 지표 설계
  • ✓ 정책 게이트 사양 정의
  • ✓ 신뢰도 및 유의성 보고
  • ✓ 검토 가능한 JSON 및 HTML 결과물

입증된 개선 및 릴리스 제어 기능

  • ✓ 제약된 중립 대체안 탐색
  • ✓ 정확도 및 불균형 트레이드오프 검토
  • ✓ 정확한 결정 동인 기여도 분석
  • ✓ 사람 검토 기반 릴리스 게이트