AI 대출 추천에는 독립적인 릴리스 규칙이 필요하다
대출 추천은 따라야 할 대출 정책에 위배되면서도 그럴듯하게 들릴 수 있습니다. 저는 그 추천을 승인 및 릴리스하는 결정이 독립적이고 검증 가능한 자체 근거를 갖기를 원합니다. 설명과 조치 권한이 동일한 모델 응답에서 나온다면, 검토자는 무엇을 진행할 수 있는지 결정하기 전에 두 가지를 힘들게 분리해 내야 합니다.
설계상의 질문은 AI 추천이 검증을 통과하지 못했을 때 어떤 조치를 취해야 하는가입니다. 모델에 재시도를 요청하면 불완전한 응답을 복구할 수 있습니다. 규칙에 위배될 때는 추천을 보류하는 것이 필수적일 수 있습니다. 이 둘은 비용이 서로 다른 별개의 개입입니다. 유용한 경계선은 어느 한쪽이 무의식적인 습관으로 굳어지기 전에 그 차이를 명확히 드러내 줍니다.
그럴듯한 설명이 잘못된 결과를 뒷받침할 수 있다
Veriprajna의 The Validation Firewall에서는 보존된 모델 출력이 신용 점수 559점인 가상 대출 신청자에 대해 승인을 추천합니다. 설정된 정책은 최소 620점을 요구합니다. 이 추천은 또한 정책의 총부채원리금상환비율(debt-to-income), 담보인정비율(loan-to-value) 및 최근 연체 기준도 위반합니다.
이것들은 가상 기록에 대해 캐시된 모델 응답으로, 새로운 추론 없이 검증을 거쳐 재생된 것입니다. 이는 본 예시의 동작을 보여줄 뿐이며, 모델 정확도 벤치마크나 실제 대출 기관 고객의 데이터가 아닙니다. 대출 워크플로와 라우팅은 시뮬레이션된 것입니다.
그 설명은 시사하는 바가 큽니다. 제공된 정책이 거절에 필요한 허용된 주요 사유 키를 제공하지 않는다고 명시합니다. 이는 실제 입력 계약의 한계를 드러냅니다. 데모의 모델 프롬프트는 신용 기준은 제공하지만, 모델이 사용하도록 지시하는 허용 사유 목록을 누락했습니다. 모델의 응답은 이러한 맥락에서 이해되어야 마땅합니다. 이것이 모델의 순위를 매기는 공정한 기준이 될 수는 없습니다.
그렇다고 해서 그 승인이 코드화된 신용 기준과 일치하게 되는 것도 아닙니다. 거절을 설명하기 위한 지침이 누락되었다고 해서 신청자의 신용 점수나 정책의 최소 기준선이 바뀌지는 않습니다. 응답이 한 가지 문제를 올바르게 식별하면서도 다른 요건을 위반하는 결과를 추천할 수 있습니다.
제가 여기서 별도의 정책 평가를 선호하는 이유는 바로 그 구분을 유지해 주기 때문입니다. 모델은 자신의 작업이 왜 어려웠는지 설명할 수 있습니다. 검사는 왜 이 추천이 제공된 규칙을 충족하지 못하는지 보여줄 수 있습니다. 검토자는 설득력 있는 설명을 규칙을 바꿀 권한으로 취급하지 않고도 두 가지를 모두 점검할 수 있습니다.
이러한 분리는 결함 복구도 더욱 정밀하게 만듭니다. 프롬프트의 사유 목록을 개선하는 것은 응답 계약을 해결합니다. 정책 기준선을 변경하는 것은 자체 정당화가 필요한 완전히 다른 결정입니다. 더 설득력 있는 설명을 반복해서 요구한다고 해서 어떤 정책을 적용해야 하는지 정할 수는 없습니다.
재시도와 검토는 서로 다른 문제를 해결한다
이 패턴을 사용하는 가상의 프로덕션 워크플로를 가정해 보겠습니다. 필수 구조화된 사유 없이 거절 응답이 도착합니다. 한 가지 옵션은 누락된 지침을 제공하여 수정된 응답을 요청하는 것입니다. 다른 옵션은 이를 검토자에게 직접 보내는 것입니다. 첫 번째는 복구 가능한 서식이나 입력 문제에 적합할 수 있으며, 두 번째는 근본적인 결정에 인간의 판단이 필요한 경우를 위해 주의력을 보존합니다.
결함이 구체적이고 입력을 수정할 수 있으며 대체 응답이 동일한 검사를 거칠 때, 저는 제한된 재시도를 선호합니다. 이전 응답은 대체 응답과 함께 검토 가능한 상태로 유지되어야 합니다. 그렇지 않으면 나중에 나온 흠 없는 응답이 원래 계약이 실패했다는 사실을 은폐할 수 있습니다. 이는 설계 권장 사항이며, 본 프로토타입이 입증하는 재시도나 버전 보존 기능이 아닙니다.
정책을 위반하는 승인은 다른 처리가 필요합니다. 재시도를 통해 정책에 부합하는 추천이 생성될 수 있지만, 원래의 승인은 계속 보류되어야 합니다. 릴리스 조건은 새로 검증된 결과를 참조해야 합니다. '모델이 두 번 응답했다'거나 '설명이 이제 더 나아 보인다'가 되어서는 안 됩니다. 해당 건이 정책 예외를 필요로 한다면, 공인된 예외 승인 절차가 그 권한을 부여해야 합니다.
이러한 선택에는 비용이 따릅니다. 인간 검토를 위해 모든 것을 보류하면 검토자 처리 용량을 소진하고 수정된 입력으로 해결할 수 있는 건들을 지연시킵니다. 모든 실패에 대해 재시도하면 컴퓨팅을 낭비하고 지배적인 규칙을 확정하지 못한 채 그럴듯한 대안들만 연이어 만들어낼 수 있습니다. 유용한 구분선은 결함이 기존 결정 계약 내에서 복구될 수 있는지, 아니면 누군가 그 계약 자체를 변경해야 하는지 여부입니다.
프로토타입의 실제 결과는 더 제한적입니다. 차단 심각도의 실패 검사는 BLOCK을 생성합니다. 에스컬레이션 심각도의 실패는 차단이 우선하지 않는 한 ESCALATE를 생성합니다. 4개의 개별 검사를 모두 통과하면 AUTO-CLEAR가 생성됩니다. 이 레이블들은 구성된 게이트의 결과를 기록합니다. 완료된 인간 검토나 프로덕션 대출 결정 릴리스 권한을 증명하지는 않습니다.
통과된 검사에는 적용 범위 명시가 필요하다
다음으로 복잡한 문제는 통과 결과가 합리적으로 무엇을 의미할 수 있는가입니다. 외부 검사가 결정론적일지라도 중요한 질문들을 답하지 않은 채로 남겨둘 수 있습니다. 규칙의 정밀성이 그 적용 범위의 완전성을 입증하지는 않습니다.
예를 들어, 이 데모는 추천과 함께 제공된 필드 값 증거 항목을 가상 기록과 대조합니다. 이는 인용된 값이 틀렸을 때 유용합니다. 그러나 비어 있는 증거 목록도 이 검사를 통과합니다. 설명의 모든 주장을 검사하거나 필요한 모든 필드가 인용되었는지를 확인하지는 않습니다.
따라서 저는 릴리스 규칙이 평가하는 술어와 요구하는 증거를 모두 명시하기를 원합니다. 결정이 검증된 소득에 의존해야 하는 가상 워크플로에서, 소득 인용 누락은 명시적인 처리가 필요합니다. 설계자는 검증 전에 필드를 의무화하거나, 누락된 증거를 검토로 라우팅하거나, 추천이 해당 결정에 대한 권한을 갖지 못하도록 작업을 좁힐 수 있습니다. 일관성 검사 단독으로는 이러한 정책 중에서 선택할 수 없습니다.
더 많은 증거를 요구하는 데는 고유한 트레이드오프가 있습니다. 누락을 가시화할 수 있지만, 응답 계약과 이를 유지 관리하는 작업도 증가합니다. 요구되는 증거는 결정의 중대성을 따라야 합니다. 사용 가능한 모든 필드를 요구하면 노이즈가 발생하고, 모델이 우연히 자발적으로 제공하는 것만 요구하면 모델에게 검사 범위의 통제권을 넘겨주게 됩니다.
AUTO-CLEAR는 이러한 제한된 범위를 결부하여 해석해야 합니다. 이는 구현된 개별 검사를 통과했음을 의미하며, 정책이 뒷받침하는 거절뿐만 아니라 승인에도 적용될 수 있습니다. 대출이 승인되어야 한다거나, 모든 사실이 정확하다거나, 모든 관련 법적 의무가 충족되었음을 입증하지는 않습니다.
집계 차원의 통과가 개별 실패를 해결할 수는 없다
동일한 보존 모델 배치는 대시보드 해석에 대한 유용한 테스트를 제공합니다. 두 가상 그룹 각각은 6개 기록 중 5개의 의도된 승인을 가집니다. 의도된 승인율 비율이 1.00이므로 구성된 포트폴리오 스크리닝을 통과합니다. 그럼에도 정책을 위반하는 승인은 개별 수준에서 여전히 차단됩니다.
모순은 없습니다. 포트폴리오 패널은 의도된 추천 전반에 걸친 그룹 비율을 비교합니다. 개별 검사는 하나의 추천을 설정된 정책과 비교합니다. 어느 쪽도 다른 쪽을 대체하지 않습니다. 그룹당 6개의 가상 기록만으로는 집계 통과가 본 예시 외부에서의 적법한 처리나 신뢰할 수 있는 동작을 입증할 수도 없습니다.
검증 대시보드를 해석할 때 저는 이러한 질문들을 엄격하게 분리합니다. 단 하나의 초록색 요약은 독자로 하여금 기본 계산이 뒷받침하는 것보다 더 넓은 의미를 부여하도록 유도합니다. 더 나은 검토 기록은 각 결과가 어떤 질문에 답하는지, 포함된 기록과 미해결 조건을 명확히 식별합니다. 데모 설명 리포트는 이러한 개별 결과와 포트폴리오 스크리닝이 어떻게 나란히 배치되는지 보여줍니다.
다음은 가상 예시와 각 개별 검사 결과에 대한 저의 상세 설명입니다.
릴리스 경계를 어디에 둘지 결정하는 팀에게 제 기준은, 검토자가 승인 권한을 특정 규칙, 필수 증거, 책임 있는 다음 단계로 추적할 수 있는가입니다. 모델 설명은 그 기록에 기여할 수 있습니다. 그러나 규칙 준수가 왜 어려웠는지 설명했다고 해서 모델이 위반된 규칙을 완화할 권한을 얻어서는 안 됩니다.
