설명가능성 및 의사결정 투명성

대부분의 엔터프라이즈 AI 설명가능성은 SHAP 노트북과 "설명 가능"이라고 선언된 대시보드에 불과합니다. 우리의 접근 방식은 규제 당국의 정밀 검토를 견뎌내도록 설계된 프로덕션 설명 파이프라인을 구축하는 것입니다 — 왜냐하면 우리는 올바른 아키텍처 질문에서 출발하기 때문입니다: 이 의사결정 시스템에는 본질적 해석가능성이 필요한가, 아니면 사후 설명으로 정말 충분한가?

SHAP 대시보드와 규제 현실 사이의 설명 격차

대부분의 엔터프라이즈 AI 설명가능성은 똑같아 보입니다: 데이터 사이언스 팀이 그래디언트 부스팅 모델을 학습시키고, Jupyter 노트북에서 SHAP 값을 계산하고, Streamlit 대시보드를 만든 뒤, 시스템을 "설명 가능"하다고 선언합니다. 이러한 접근 방식에는 세 가지 문제가 있습니다.

• 불안정성. KernelSHAP의 샘플링 분산은 동일한 예측이 연속된 실행에서 서로 다른 특성 기여도를 만들어낼 수 있음을 의미합니다 — 그리고 대부분의 팀은 설명의 안정성을 결코 테스트하지 않습니다.
• 잘못된 출력. 전역 특성 중요도를 보여주는 대시보드는 CFPB가 요구하는 "구체적이고 정확한" 불리한 조치 사유 코드 요건을 충족하지 못합니다 — ECOA 규정 B에 따른 요건입니다 (공정 대출 책임성 위기에 관한 우리의 연구).
• 조작가능성. 바로 2025년 5월 에 발표된 연구는 단순한 특성 표현 변경이 SHAP으로 결정된 특성 중요도를 바꾼다는 것을 입증했으며, 이는 의도를 가진 행위자가 예측은 그대로 유지하면서 차별적 입력을 은폐하는 설명을 설계할 수 있음을 의미합니다.

대출, 인수심사, 채용 분야의 표형 의사결정 시스템에서는 본질적 해석가능성이 아무런 비용을 초래하지 않는 경우가 많습니다. Explainable Boosting Machine은 표형 데이터에서 XGBoost의 정확도에 필적하면서도 완전한 유리상자 투명성을 제공합니다: 모든 특성의 기여도를 근사 없이 직접 읽을 수 있습니다. SHAP 불안정성도, 충실성 문제도, 적대적 조작 위험도 없습니다. 모델 자체가 투명할 때, 사후 설명 스택 전체를 건너뛸 수 있습니다.

사후 설명이 필요할 때, 그리고 그것을 정직하게 만드는 방법

모든 시스템이 본질적으로 해석 가능한 것은 아닙니다. 의료 영상용 딥러닝 모델, NLP 분류기, 멀티모달 시스템은 사후 방법을 필요로 합니다. 문제는 어떤 방법을 신뢰할 것인가와 그것을 어떻게 검증할 것인가입니다. 우리의 방법은 다음을 결합합니다:

• 수렴 보장이 있는 SHAP — 안정적인 기여도를 달성하기에 충분한 순열을 실행하고, 신뢰할 수 없는 설명을 조용히 제공하는 대신 수렴에 실패하는 예측에 플래그를 지정합니다.
• DiCE-Extended를 사용하는 반사실(counterfactual) 생성기, 이는 원래 DiCE 프레임워크의 성능 저하 문제를 해결하여 프로덕션 지연 시간 예산 내에서 실행 가능한 "무엇을 바꿔야 하는가" 설명을 생성합니다.
• 조정(reconciliation) 계층 — SHAP과 LIME이 동일한 예측에 대해 특성 중요도에서 불일치할 때, 그 불일치는 해당 입력 영역에 대한 설명이 신뢰할 수 없음을 신호합니다. 우리는 그 불확실성을 숨기지 않고 드러냅니다.

LLM 기반 의사결정 설명하기

LLM 기반 의사결정 시스템의 경우 과제는 더 어렵습니다. Anthropic의 2025년 5월 연구는 사고 연쇄 추론이 대부분의 경우 충실하지 않다는 것을 발견했습니다: Claude 3.7 Sonnet 은 실제 추론 힌트를 단 25% 의 경우에만 언급했으며, DeepSeek R1 은 단 39%. CoT 텍스트는 추론처럼 보이지만 흔히 논리적으로 보이도록 구성된 서사에 불과합니다.

우리의 접근 방식은 모델이 스스로를 설명하는 것에 의존하지 않습니다: 그라운딩 기반 추적가능성 — LLM 출력을 검증 가능한 귀속 체인과 함께 검색 가능한 출처 문서에 연결하는 것 — 과 구조화된 의사결정 분해 로, 이는 모델이 스스로 보고한 논리와 독립적으로 각 추론 단계를 감사 가능하게 만듭니다.

다중 청중 설명 아키텍처

주택담보대출 신청을 거절하는 대출 모델은 동일한 의사결정으로부터 세 가지 서로 다른 설명을 생성해야 합니다 — 동일한 텍스트의 세 가지 버전이 아니라, 공유된 기여도 계층에서 계산된 구조적으로 서로 다른 세 가지 출력입니다:

• 데이터 사이언티스트 가 모델 동작을 디버깅할 때는 특성 기여도 점수, 의사결정 경계 맥락, 그리고 학습 분포와의 비교가 필요합니다.
• 규정 준수 담당자 가 시스템을 문서화할 때는 제13조 배포자 문서 또는 모델이 실제로 가중치를 부여한 요인에 매핑된 구체적이고 정확한 사유 코드를 갖춘 ECOA 불리한 조치 기록이 필요합니다(엔터프라이즈 AI를 위한 책임성 아키텍처에 관한 우리의 연구).
• 거절된 신청자 는 평이한 언어로 된 진술이 필요합니다: "귀하의 신청은 주로 부채상환비율이 이 대출 상품의 기준을 초과했고, 재직 기간이 최소 기준에 미달했기 때문에 거절되었습니다."

우리는 설명 파이프라인을 오프라인 분석 도구가 아니라 추론 경로 구성요소로 설계하며, 예측당 1초 미만의 지연 시간으로 세 가지 출력을 모두 생성하도록 범위를 정합니다.

규제별 설명 형식

AI 설명가능성에 대한 규제 환경은 빠르게 분화되고 있으며, 각 규제 체계는 서로 다른 것을 요구합니다:

• EU AI 법 제13조 (시행 2026년 8월 2일)는 고위험 시스템 제공자가 시스템 기능, 정확도 수준, 알려진 한계, 인간 감독 조치에 대한 명확한 지침을 배포자에게 제공하도록 요구합니다. 벌금은 최대 3,500만 유로 또는 전 세계 매출의 7%.
• CJEU 사건 C-203/22 (2025년 2월)는 "복잡한 수학 공식의 단순한 전달"만으로는 자동화된 의사결정에 대한 GDPR 제22조 설명받을 권리를 충족하지 못한다고 확립했습니다.
• CFPB / ECOA 는 개별 신청자에게 특화된, 정형 문구가 아닌 거절의 "주요 사유"를 포함하는 불리한 조치 통지를 요구합니다.
• FDA (2026년 1월 임상 의사결정 지원 지침)는 AI 기반 CDS가 임상의로 하여금 "기저 논리와 데이터 입력을 이해하고 검증"할 수 있도록 요구합니다.
• NAIC 모델 회람(Model Bulletin) — 24개 주에서 채택 — 은 보험사가 AI 거버넌스에 설명가능성을 포함하도록 요구합니다.

각각은 별개의 엔지니어링 의무를 만들어내며, 이는 다음에 자세히 설명되어 있습니다 알고리즘 무결성과 엔터프라이즈 책임에 관한 우리의 연구. 우리의 접근 방식은 규정 준수에 매핑된 설명 템플릿을 구축하는 것입니다: 특정 규제 요건을 충족하도록 설계된 구조화된 출력으로, 사후에 손으로 작성하는 것이 아니라 설명 파이프라인에서 자동으로 생성됩니다. ECOA 불리한 조치 통지용 템플릿은, 둘 다 동일한 모델을 기술하더라도, EU AI 법 배포자 문서용 템플릿과는 전혀 다릅니다.

설명 충실성 테스트

모델이 실제로 계산한 것을 반영하지 않는 설명은 아예 설명이 없는 것보다 더 나쁩니다. 그것은 잘못된 확신을 만들고, 감사인을 오도하며, 규제 위반을 구성할 수 있습니다. 우리는 설명 충실성을 가정이 아니라 테스트 가능한 속성으로 다룹니다(참조: 피상적 AI를 넘어선 신뢰 아키텍처에 관한 우리의 연구). 우리의 검증 프레임워크는 다음을 중심으로 설계되었습니다:

• 안정성 테스트 동일한 입력에 대해 반복된 SHAP/LIME 실행 전반에서 기여도 분산을 정량화합니다.
• 적대적 탐침(probing) Slack 등의 스캐폴딩 기법을 사용하여 설명이 보호계층 특성을 은폐하도록 조작될 수 없음을 검증합니다.
• 완전성 검사 설명이 상위 세 개 특성만이 아니라 모델 출력 분산의 충분한 부분을 설명하도록 보장합니다.
• 합성 실측(ground-truth) 벤치마크 알려진 인과 구조를 가진 테스트 시나리오를 구성하고 설명 방법이 참된 인과 요인을 올바르게 식별하는지 측정합니다.

다음과 같은 개념 기반 방법의 경우 TCAV 및 개념 병목 모델(Concept Bottleneck Models), 검증 과제는 다릅니다. 2025년의 한 조사는 표준 CBM이 참된 정보 병목을 부과하지 않으며, 이는 모델이 개념 표현에 비개념 정보를 인코딩할 수 있음을 의미한다고 기록했습니다. 우리는 개념 기반 접근 방식을 권장하기 전에 개념 계층이 실제로 모델의 정보 흐름을 제약하는지 평가합니다 — 그리고 큐레이션된 개념 데이터셋이 존재하지 않는 대부분의 엔터프라이즈 환경에서는, 더 강력한 충실성 보장을 제공하는 방법을 선호하여 개념 기반 방법을 권장하지 않습니다.

플랫폼 설명가능성이 멈추고 맞춤형 엔지니어링이 시작되는 지점

Fiddler, Arthur, Truera 는 유용한 모델 모니터링을 제공합니다: 드리프트 탐지, 성능 추적, 기여도 대시보드. 이들은 모델의 동작이 변할 때 이를 드러냅니다. 이들이 하지 않는 것은 설명 파이프라인 자체를 구축하는 것, 본질적 해석가능성과 사후 방법 사이의 아키텍처 선택을 하는 것, 다중 청중 설명 렌더러를 구성하는 것, 규정 준수에 특화된 출력 형식을 엔지니어링하는 것, 또는 설명이 충실한지 검증하는 것입니다.

XAI가 다음을 주도할 것이라는 Gartner의 2026년 3월 예측 2028년까지 LLM 관측가능성 투자의 50% (현재의 15%에서 증가)은 모니터링만으로는 충분하지 않음을 반영합니다. 모니터링 계층은 모델을 관찰하고, 설명 계층은 이해관계자에게 특정 의사결정이 왜 일어났는지 알려줍니다. 우리의 초점은 그 두 번째 계층으로, 클라이언트가 이미 운영 중인 어떤 모니터링 플랫폼과도 통합되도록 설계되었습니다.