인과추론 및 반사실적 모델링

대부분의 엔터프라이즈 머신러닝은 "무엇이 일어날 것인가?"에 답합니다. 그러나 누군가 "가격을 10% 인상하면 어떻게 되는가?" 또는 "어차피 구매했을 고객과 비교하여 이 프로모션에 실제로 반응하는 고객은 누구인가?"라고 묻는 순간, 예측 모델은 침묵합니다. 인과추론은 다른 질문에 답합니다. 즉, 개입 X를 실행했을 때 결과 Y에 미치는 효과는 무엇인지, 어떤 하위 그룹에 적용되는지, 그리고 측정되지 않은 요인이 결과를 좌우하지 않는다고 얼마나 확신할 수 있는지입니다. 당사의 접근 방식은 실제 관측 데이터와의 접촉, 규제 당국의 면밀한 조사, 그리고 데이터 과학자가 퇴사한 이후에도 살아남도록 설계된 프로덕션 인과 추정 파이프라인을 구축합니다.

귀사의 예측 모델이 비즈니스가 묻는 질문에 답할 수 없는 이유

가격 책정 모델은 수요를 예측합니다. 이탈 모델은 위험을 점수화합니다. 마케팅 믹스 모델은 매출을 귀속시킵니다. 이들 모두는 과거 데이터의 상관관계를 기반으로 학습되었습니다. 그러나 개입을 변경하면 이러한 상관관계는 깨집니다. BCG의 추정에서 프로모션 전략의 50% 이상이 뚜렷한 리프트를 내지 못하는 이유가 바로 여기에 있습니다. 상관관계 모델로 개입을 최적화한다는 것은 어차피 전환했을 고객에게 예산을 낭비하고, 실제로 행동을 변화시킬 수 있었던 고객을 놓치는 결과를 낳습니다.

인과추론은 예측과는 다른 문제를 해결합니다. X를 실행하는 것이 결과 Y에 미치는 영향, 어떤 하위 그룹에 나타나는지, 그리고 측정되지 않은 교란 요인이 결과를 좌우하지 않는다는 확신도를 제시합니다. 당사는 파이프라인을 구조적 인과 모델(SCM) 프레임워크와 잠재적 결과(Potential Outcomes) 전통 모두 에 기반하여 구축합니다. 실무에서는 둘 다 필요하기 때문입니다. DAG는 추정 가능한 대상을 식별하고, 잠재적 결과 프레임워크는 이를 추정하는 방법을 알려줍니다. 둘 중 하나를 건너뛰면 잘못된 수량을 추정하거나 올바른 수량을 잘못된 방법으로 추정하게 됩니다.

자동화된 인과 발견이 실패하고 도메인 전문성이 시작되는 지점

인과 AI 벤더들의 제안은 종종 자동화된 인과 발견에서 출발합니다. 데이터를 NOTEARS 나 DECI에 입력하면 알고리즘이 인과 그래프를 도출한다는 설명입니다. 그러나 현실은 그리 단순하지 않습니다. CausaLens의 자체 연구에 따르면 NOTEARS는 스케일 불변성이 결여되어 있습니다. 변수 단위를 미터에서 센티미터로 변경하기만 해도 도출되는 그래프가 달라집니다. DECI는 비선형 관계를 처리하지만 엔터프라이즈 데이터셋의 표준인 혼합형 데이터 및 결측값 처리에 어려움을 겪습니다. 모든 자동화된 발견 알고리즘은 측정되지 않은 교란 요인이 없다고 가정하지만, 모든 엔터프라이즈 데이터셋은 이 가정을 위반합니다.

당사는 인과 프로젝트를 자동화된 발견이 아닌 도메인 전문가 심층 인터뷰로 시작합니다. 데이터 생성 프로세스를 이해하는 실무진과 함께 협력하여 인과 그래프를 구축한 후, 추정에 들어가기 전에 do-calculus 와 백도어/프론트도어 기준 을 사용하여 식별 가능성(identifiability)을 공식 검증합니다. 자동 발견은 전문가가 검증하거나 기각할 후보 엣지를 발굴하는 가설 생성기로서의 가치는 있지만, 프로덕션에 투입되는 그래프는 장식이 아닌 하중을 지탱할 수 있어야 합니다(자세한 내용은 알고리즘 무결성에 관한 당사 연구참조). 그래프가 잘못되면 모든 다운스트림 추정치가 그 오류를 상속받으며, 민감도 분석으로도 잘못 지정된 인과 구조를 바로잡을 수 없습니다.

실제 데이터와의 접촉에서 살아남는 처치 효과 추정

튜토리얼 수준의 CATE 추정과 프로덕션급 처치 효과 파이프라인 사이의 간극에서 대부분의 인과 AI 프로젝트가 좌초합니다. 세 가지 주요 실패 모드가 지배적입니다.

과적합되는 Double/Debiased Machine Learning(DML)

DML 파이프라인은 1단계 뉘앙스 모델이 과적합될 때 붕괴합니다. 이를 방지하는 교차 적합(cross-fitting) 절차에는 정교한 샘플 분할이 필요하지만, 대다수의 빠른 구현체는 이를 생략하거나 잘못 구현하여 인과 신호가 아닌 과적합의 산물인 처치 효과 추정치를 생성합니다. 당사는 명시적인 교차 적합 검증을 통해 DML을 구현하고, 1단계 예측 품질을 모니터링하여 직교화(orthogonalization)가 유지되는 임계값 아래로 뉘앙스 모델 성능이 저하될 때 경고를 표시합니다.

추정치를 은밀히 무효화하는 양의성(Positivity) 위반

관측 데이터에서 특정 고객 세그먼트가 처치를 전혀 받지 못한 경우, 외삽 없이 해당 세그먼트의 처치 효과를 추정할 수 없습니다. 표준 역확률 가중치(IPW)는 0에 가까운 성향 점수에 대해 노이즈를 치명적으로 증폭시킵니다. 당사는 추정 전에 양의성 위반을 진단하고 적절한 경우 중첩 가중치(overlap weights)나 트리밍을 적용하며, 신뢰할 수 있는 추정치를 가진 하위 모집단과 외삽된 모집단을 명확히 문서화합니다.

선택 사항으로 치부되는 민감도 분석

모든 관측 인과 추정은 관련된 모든 교란 요인을 측정했다는 가정에 의존하지만, 이 가정은 결코 완전히 검증될 수 없습니다. 당사는 모든 처치 효과 추정치에 대해 E-values 및 로젠바움 경계(Rosenbaum bounds) 를 계산하여, 측정되지 않은 교란이 각 결과를 무효화하기 위해 얼마나 강해야 하는지 정확히 정량화합니다(자세한 내용은 알고리즘 책임성에 관한 당사 연구참조). 민감도 분석이 결여된 CATE 추정치에 기반한 비즈니스 의사결정은 신뢰구간이 없는 결정과 같습니다.

가격 책정, 정책 및 규제 준수를 위한 반사실적 추론

반사실적 질문은 인과추론을 한 단계 더 발전시킵니다. 단순히 "처치의 평균 효과는 무엇인가?"가 아니라 "다른 개입 하에서 이 특정 개체에 어떤 일이 일어났을 것인가?"를 묻습니다. 이를 위해서는 3단계 가추-행동-예측(abduction-action-prediction) 절차가 필요합니다. 관측된 증거로부터 개체의 잠재적 특성을 추론하고, 가상 개입을 반영하도록 인과 모델을 수정한 후 수정된 모델 하에서 결과를 계산합니다.

​ 가격 책정에서 반사실적 수요 모델은 한 번도 책정하지 않은 가격에서의 수요를 추정할 수 있게 해줍니다. DML과 트랜스포머 기반 모델을 결합한 인과 예측 접근 방식은 오프 폴리시(off-policy) 환경에서 기존 시계열 예측을 능가합니다. 이는 가격 최적화에서 실질적으로 중요한 영역으로, 이미 시도한 가격의 수요를 예측하는 데 그치지 않고 시도하지 않은 가격에서 어떤 일이 발생하는지 파악합니다.

​ 규제 준수에서 반사실적 추론은 규제 당국이 점차 요구하는 질문에 답합니다. "만약 보호 속성이 달랐다면 이 사람이 동일한 결정을 받았을 것인가?" 시행 중인 콜로라도 AI 법(시행일: 2026년 6월 30일)은 고위험 AI 배포자에게 보호 대상 집단에 대한 문서화된 차별적 영향 테스트를 포함하여 알고리즘 차별에 대항하는 합리적인 주의 의무를 요구합니다. EU AI 법 은 고위험 시스템 의무를 다음 일자부터 집행합니다: 2026년 8월 2일(위반 시 최대 3,500만 유로 또는 전 세계 매출액의 7%과징금). 시스템이 인과적으로 차별하지 않음을 입증하려면 인과적 방법론이 필수적입니다. 통계적 격차 분석만으로는 정당한 위험 요인과 보호 특성의 대리 변수를 구별할 수 없습니다.

연구용 노트북에서 프로덕션 인과 파이프라인으로

Jupyter 노트북 안에만 갇혀 있고 데이터 과학자가 퇴사하면 사라지는 인과 분석은 조직의 인과 역량이 아닙니다. 당사는 네 가지 구성 요소를 중심으로 프로덕션 인과 파이프라인을 설계합니다(상세 내용은 포스트 래퍼 엔터프라이즈 아키텍처 기술 백서참조):

• 인과 그래프 레지스트리 — 모든 엣지, 제외된 엣지 및 각각에 대한 도메인 근거가 문서화된 검증된 DAG를 저장 관리합니다.
• 추정 엔진 — 각 문제 구조에 적합한 방법을 구현합니다. 강력한 중첩을 갖는 이진 처치를 위한 성향 점수 방법, 고차원 교란을 위한 DML, 내생성을 위한 도구 변수, 비교 사례 연구를 위한 합성 통제 방법, 대규모 이질적 처치 효과를 위한 메타 러너 또는 Causal Forest를 포괄합니다.
• 반박(Refutation) 레이어 — 추정치가 의사결정자에게 전달되기 전에 모든 추정치에 대해 자동화된 반증 테스트(위약 처치, 무작위 공통 원인, 데이터 하위 집합 안정성)를 실행합니다.
• 모니터링 레이어 — 시간 경과에 따른 가정의 타당성을 추적합니다. 공변량 분포 이동, 양의성 조건 약화, 처치 할당 메커니즘 변경을 모니터링합니다. 6개월 전에 유효했던 인과 추정치가 오늘날에는 유효하지 않을 수 있습니다.

엔터프라이즈 규모에서의 Causal Forest 대 Meta-Learner 비교

이질적 처치 효과 추정에 있어 Causal Forest와 Meta-Learner 간의 선택은 프로덕션 배포 시 매우 중요합니다. 최근 1,398만 건의 고객 기록 을 대상으로 한 대규모 벤치마크에 따르면, LightGBM 기반 S-Learner 가 가장 높은 업리프트 성능을 달성했으며, 예측 CATE 상위 20% 고객이 전체 증분 전환의 77.7%를 포착했습니다. Causal Forest는 엔터프라이즈 규모에서 서브샘플링을 필요로 하는 연산 제약이 있습니다. 당사는 팀이 이전에 사용했던 방식에 기본으로 의존하기보다 각 클라이언트의 데이터와 확장성 요구 사항에 맞춰 두 접근 방식을 모두 평가합니다.

플랫폼 인과 AI의 한계와 커스텀 엔지니어링의 시작점

CausaLens 는 인과 발견, 효과 추정 및 최적화 기능을 갖춘 의사결정 인텔리전스 플랫폼을 제공합니다. Databricks 는 인센티브 최적화를 위한 인과 AI 가속기를 제공합니다. Dataiku 는 인과 예측 알고리즘을 통합합니다. 이러한 플랫폼은 툴링 계층(알고리즘 액세스, 시각화 및 워크플로 관리)을 처리합니다.

그러나 플랫폼이 제공하지 못하는 것은 '방법론'입니다. 플랫폼은 귀사의 도메인 전문가와 함께 앉아 실제 비즈니스 프로세스를 반영하는 인과 그래프를 도출하지 않습니다. 데이터가 플랫폼이 선택한 추정기에 필요한 가정을 충족하는지 진단하지 않습니다. 도구 변수가 취약하여 DML 파이프라인이 무의미한 결과를 내고 있거나 주요 고객 세그먼트에 대한 양의성이 위반되어 CATE 추정치가 신뢰할 수 없음을 경고하지도 않습니다. 미측정 교란에 대해 인과적 주장이 얼마나 견고한지를 규제 당국에 입증하는 민감도 분석을 구축해주지도 않습니다.

프로덕션 환경에 인과 AI를 성공적으로 배포한 10–15%의 기업은 대개 인과추론 박사급 전문성을 보유한 고도로 전문화된 팀에 의존해 왔습니다. 당사의 프로젝트는 이러한 방법론(그래프 도출, 구현, 검증 및 프로덕션 배포)을 제공하도록 구성되어 있으며, 클라이언트가 이미 운영 중인 기존 데이터 플랫폼과 원활히 통합되도록 설계되었습니다.