유지 제안은 비용 이상의 가치를 창출해야 합니다.

높은 이탈 점수가 유용한 혜택 제안을 보장하지는 않습니다

구독자가 떠날 가능성이 높다고 해서 할인 혜택으로 유지될 가능성이 높은 것은 아닙니다. 모든 해지 의도에 해지 방어 제안을 제공하면 어차피 남을 고객에게 비용을 낭비하게 되며, 개입으로 인해 오히려 유지가 저해되는 고객에게 연락할 위험도 있습니다.

합성 Northwind 환경에서 예측 기반 이탈 타겟팅은 연간 +$144,162의 증분 매출을 창출하고, 인과적 업리프트는 +$187,956를 창출합니다. 두 방식 모두 2,239명의 구독자에게 연락합니다. 이 비교는 업리프트가 더 적은 인원에게 연락한 덕분이라고 평가하는 대신, 동일한 예산하에서 누가 제안을 받는지에 주목합니다.

경제성 분석부터 증적 확보까지 유지 의사결정 추적

이 6개의 네이티브 캡처 화면은 합성 유지 비교, 선택된 구독자 의사결정, 작성된 문구 제어를 보여줍니다. Northwind는 현재 월간 6,000건의 해지 의도와 9,000건의 무작위 이력 관측치(처치군 4,460건, 통제군 4,540건)를 보유합니다. 32건의 검토 대기열은 점검을 위한 대표적 선별 사례이며, 전체 집단의 무작위 표본이 아닙니다. 각 스크린샷은 전체 크기로 열립니다.

동일한 연락 예산에서 정책 비교

'모두 유지(Save everyone)'는 6,000건의 모든 해지 의도에 연락하여 이 픽스처에서 마이너스 증분 가치를 창출합니다. 예측 기반 이탈 타겟팅과 인과적 업리프트는 각각 2,239명의 구독자에게 연락하지만 서로 다른 이유로 선택합니다. 하나는 이탈 가능성 순위를 매기고, 다른 하나는 할인 비용 차감 후 개입 예상 가치 순위를 매깁니다. 예산을 일치시킴으로써 타겟팅의 차이를 명확히 격리합니다.

본 합성 정책 평가에서 업리프트는 이탈 타겟팅보다 연간 $43,794 더 높은 가치를 창출합니다. 수치는 숨겨진 합성 잠재적 결과에 따라 점수가 매겨졌으며 월간 매출에 12를 곱하여 연환산되었습니다. 이는 실현된 고객 절감액도 아니며 전체 운영 라우팅 시스템에 대한 예측치도 아닙니다. 오라클은 배포된 모델이 접근할 수 없는 숨겨진 결과를 확인하므로, 구현 가능한 정책이 아닌 완전 정보의 상한선(ceiling)을 제시합니다.

순위 곡선은 2,700건의 홀드아웃 무작위 합성 관측치에 대한 별도 검증을 추가합니다. AUUC는 업리프트 곡선 아래 면적(area under the uplift curve)을 의미합니다. 표시된 값은 업리프트 78.8, 예측 이탈 약 42.3, 무작위 순위 약 4.2입니다. 이는 정확도 백분율이 아닙니다. 업리프트는 합성 실측 데이터에서 개입으로 인해 피해를 입는 673명의 구독자 중 여전히 5명에게 연락하고 668명에게는 연락하지 않습니다. 순위 향상이 완벽한 보호를 입증하지는 않습니다.

구독자에게 유지 연락을 취하지 않아야 하는 이유 설명

한 합성 Northwind 구독자의 경우, 모델은 미개입 시 87.1%의 잔류율을, 개입 시 28.2%의 잔류율을 추정합니다. 그 차이는 -58.9%포인트입니다. Sleeping Dog 라벨은 개입이 잔류를 저해할 것으로 추정됨을 의미하므로, 선택된 구독자 라우팅은 Do Not Contact를 선택하고 유지 에이전트를 건너뜁니다.

라우팅 규칙은 예상 처치 효과가 -0.05 이하인 경우를 Sleeping Dogs로 라벨링합니다. +0.05 이상인 추정치는 Persuadables입니다. 나머지 사례 중 예상 기준 잔류율이 0.65 이상이면 Sure Things가 되고, 나머지는 Lost Causes로 지정됩니다. Sure Things는 제안 없이 간단한 설문 조사를 받고, Lost Causes 및 알 수 없는 세그먼트는 깔끔한 종료를 거칩니다. 이는 설정된 모델 기반 세그먼트이며 직접 관측된 개별 인과적 결과가 아닙니다.

연락 금지 결정과 전체 집단 정책 지표는 서로 다른 질문에 답합니다. 이 선택된 구독자는 운영 라우트를 통해 제안을 받지 않습니다. 코호트 비교는 숨겨진 합성 라벨에 대해 독립적으로 타겟팅 점수를 산출하며 모든 세그먼트 및 관할권 제약을 포함하지는 않습니다. 성공적인 로컬 미연락 사례가 전체 비교에서 발생한 5건의 유해한 연락을 지울 수는 없습니다.

적격 제안은 비용을 회수해야 하며 해지 선택권을 보존해야 합니다

이 캡처의 합성 Pro 구독자는 +12.1%포인트의 예상 처치 효과와 58.6%의 예상 기준 잔류율을 보입니다. 양의 처치 효과만으로는 할인 제안이 승인되지 않습니다. 본 데모는 설정된 16.7% 할인이 적용된 제안 시 예상 잔류율을 미개입 시 잔류율과 대조 검토한 후, 선택된 구독자 라우팅과 설정된 관할권 제어를 적용합니다.

경제성 비교는 예상 처치군 잔류율 곱하기 (1 마이너스 할인율)에서 예상 통제군 잔류율을 뺀 값입니다. 적격한 Persuadable은 예상 이익이 제안 비용을 충당할 때에만 유지 에이전트에 도달합니다. 표준 목표 예시는 실제 캐시된 Codex 응답을 사용하며, 문구 게이트는 반환된 해당 단어에 대해 새로 실행됩니다.

검별을 통과한 하나의 선택적 제안이 Confirm cancellation 옆에 표시됩니다. 설정된 상호작용 예산은 최대 1회의 유지 제안과 2회의 에이전트 턴을 허용하며, 초안 작성 중 및 검별 후에도 해지는 계속 이용 가능합니다. 화면의 Review complete는 완료된 인간 검토가 아닌 자동화된 파이프라인을 의미합니다. 제안 수락 및 해지는 결제 계정을 변경하지 않고 이 로컬 미리보기만 변경합니다.

초안 작성 모델과 분리하여 차단된 문장 검사

독립적인 Python 게이트는 Unicode를 정규화하고 실제 초안에 대해 설정된 컨펌셰이밍, 죄책감, 압박 및 인위적 긴박감 패턴을 검사합니다. 따라서 라우팅 허가 후 별도의 문구 결정이 뒤따릅니다. 검별을 통과한 문구만 구독자 미리보기에 도달하며, 차단 및 보류된 초안은 내부에 유지됩니다.

아래의 인위적 카운트다운 스크린샷은 의도적으로 작성된 참조 문구입니다: "This deal disappears in 04:59. Act now!" 게이트는 이를 차단하고 일치하는 카운트다운 및 긴박감 문구를 노출합니다. 이는 모델이 금지된 메시지를 생성하다 적발된 것이 아니라, 입력된 텍스트에 대한 설정 제어가 작동함을 보여줍니다.

요약서 검증 당시 공격적 목표의 초안을 포함하여 저장된 16개의 모든 모델 캐시 응답이 승인으로 검별되었습니다. 따라서 적대적 목표를 선택했다고 해서 차단 결과가 확정되는 것은 아닙니다. 실제로 반환된 텍스트가 판정을 결정합니다. 제어 추적의 인용 라벨은 예시용으로 설정된 참조이며, 법적 해석이나 인증이 아닙니다.

검토 보류는 불확실한 문구가 구독자에게 노출되지 않도록 차단합니다

다음 작성 사례는 "Before you decide, take a quick tour."입니다. 이는 설정된 재고 플래그와 일치하여 needs_review를 반환합니다. 그 결과 문장은 내부에 보류됩니다. 이는 메시지를 승인한 것도 아니며, 사람이 보류 상태를 검토하거나 해결했음을 증명하지도 않습니다.

고정된 로컬 벤치마크는 14 of 14개의 명시적 검사 통과를 보고합니다. 여기에는 6개의 경제성, 모델 및 데이터 충분성 기대치와 8개의 문구 및 라우팅 기대치가 포함됩니다. 문구 제어에는 무결 텍스트, 컨펌셰이밍, 인위적 카운트다운, 경계선 재고 유도, Unicode 카운트다운 회피 및 과도한 길이 문구 검토가 포함됩니다. 라우팅 제어는 단일 제안/해지 동작 및 미확인 세그먼트의 깔끔한 종료를 검사합니다. 이는 고정된 참조 스위트에 대한 구현 증거이며, 일반적인 탐지 정확도, 독립적 모델 검증 또는 법적 인증이 아닙니다.

데이터 부족은 경고 라벨만이 아니라 의사결정 자체를 바꿉니다

합성 Pinegrove는 월간 180건의 해지 의도와 520건의 이력 관측치(처치군 242건, 통제군 278건)를 보유합니다. 설정된 최소 기준은 현재 의도 500건과 각 홀드아웃 그룹당 400건의 관측치입니다. 두 검사 모두 실패하므로 인과적 라우팅은 기권합니다.

UI는 의사결정 증적에서 인과적 예측을 유보하고, 유지 에이전트를 건너뛰며, 보수적인 깔끔한 종료를 사용합니다. 내부 추정치는 여전히 계산될 수 있지만, 이 기권 경로에서는 유지 제안을 선택하는 데 사용되지 않습니다. 임계값은 보편적인 통계적 충분성 규칙이 아닌 설정된 데모 안전장치이며, 데이터를 추가하더라도 무작위 이력이 내려질 결정을 잘 대변하는지 평가해야 합니다.

선택된 의사결정을 코호트 요약과 명확히 구분하여 보관

완료된 각 실행은 선택된 구독자, 입력값, 타임스탬프, 라우트 및 검별된 대화 내용이 담긴 영수증을 저장합니다. JSON 및 인쇄 가능한 HTML 내보내기를 통해 검토자는 해당 의사결정을 정확하게 점검할 수 있습니다. 계정 수준의 정책 경제성은 별도의 합성 비교로 나타나므로, 코호트 가치가 모든 구독자가 검토되었거나 모든 제안이 발송되었음을 의미하지는 않습니다.

감사 뷰는 최근 저장된 50개의 영수증을 나열하며 로컬 파일은 재시작 후에도 유지됩니다. 저장된 영수증은 이 단일 프로세스 시연 내에서 실행별 증거를 보존하지만, 독립적 수탁, 위변조 방지 증적 또는 규제 충족성을 입증하지는 않습니다. 프로덕션 평가에서는 대상 환경에 대한 데이터 접근, 증거 소유권, 검토 권한 및 운영 지속성을 확립해야 합니다.

구독 유지 팀이 자주 묻는 질문