당신의 세이브 플로우는 조용히 이탈을 만들어내고 있다 — 그것을 증명한 숫자

리텐션 대시보드를 보며 진심으로 뿌듯함을 느낀 첫 순간, 나는 30%라는 세이브율을 바라보고 있었다. '해지'를 클릭한 사람의 30%가 끝까지 해지하지 않았다는 뜻이었다. 서류상으로 그 플로우는 투입 비용의 열 배를 이미 회수한 셈이었다. 어려운 부분은 끝났다고 생각했던 기억이 난다.

그러다 그 숫자 아래에 깔린 코호트를 뜯어봤고, 계산이 맞아떨어지지 않기 시작했다.

그렇게 '방어된' 사용자 중 일부는 실수로 해지를 클릭했다가 오퍼를 둘러보고 그대로 남은 사람들이었다 — 애초에 떠날 생각이 없었던 것이다. 일부는 할인을 챙긴 뒤 어차피 다음 달에 이탈했다. 그리고 더 조용한 한 무리가 나를 더 불편하게 했다. 우리가 해지 기간 중에 이메일을 보낸 사람들인데, 내가 보기엔 애초에 해지하려던 것도 아니었다. 우리는 갱신 중인 고객의 받은편지함에 손을 뻗어 '떠나신다니 너무 아쉬워요'라고 말했고, 겨우내 열어보지도 않은 무언가에 매달 $49를 내고 있다는 사실을 그들에게 상기시켰다. 그것이 바로 내가 지금 윤리적인 구독 유지 AI를 이런 방식으로 구축하는 이유, 그리고 우리가 결국 Veriprajna에서 출시한 시스템이 모든 해지 고객을 똑같이 취급하기를 거부하는 데서 시작하는 이유의 전부다.

세이브율은 완전히 다른 네 부류의 사람을 하나의 자축용 숫자로 뭉뚱그리는 허영 지표다.

당신의 생각과 다른 그 30%

해지 퍼널 안에서 조금만 시간을 보내면 '해지를 클릭하는 사람들'이 하나의 집단이 아니라는 것을 알게 된다. 그들은 넷이며, 당신에게 정반대의 것을 원한다.

우선 설득 가능층이 있다 — 이들은 올바른 넛지, 즉 존재하는지도 몰랐던 기능이나 실제 제품 사용 방식에 맞는 요금제를 얻지 못하면 떠날 사람들이다. 세이브 플로우가 진짜 가치를 창출하는 유일한 사용자층이 바로 이들이다. 다음으로 확실 잔류층이 있다. 무슨 일이 있어도 남을 사람들이라, 이들에게 20% 할인을 쥐여주는 것은 이미 확보한 매출에 마진만 태우는 짓이다. 그리고 회생 불가층이 있다. 이미 마음을 정했고 돌아오지 않는 사람들이다. 네 페이지짜리 심문은 이들을 화나게 만들 뿐이고 결국 지원 티켓으로 이어진다 — 그리고 뒤에서 다루겠지만, 규제 당국이 지금 정확히 찾아 나서는 그 '미로 같은' 경험이 된다.

그리고 마지막으로 잠자는 개가 있다. 조용히 갱신을 이어가고 있고, 당신의 유지 캠페인이 깨우기 전까지는 계속 갱신했을 고객들이다. 이들을 건드리면 원래는 존재하지 않았을 이탈을 만들어낸다.

이 함정은 구조적이다. 모든 기성 도구가 기본으로 제공하는 식의 일괄 세이브 플로우는 이 넷을 모두 같은 해지자로 취급하고 똑같은 오퍼를 전부에게 던진다. 당신의 세이브율은 확실 잔류층을 성과로 집계한다. 방금 잃어버린 잠자는 개에 대해서는 아무 말도 하지 않는데, 그 손실은 해지 퍼널에 결코 나타나지 않기 때문이다. 그것은 조용히 일어나지 않은 갱신으로 나타난다.

돌리고 싶지 않았던 홀드아웃 테스트

우리가 처음부터 이것을 염두에 두고 설계했다고 말할 수 있으면 좋겠다. 그러지 못했다. 내가 지지한 첫 유지 모델은 세이브율을 최적화했는데, 세이브율이야말로 그 자리에 있던 모두가 신뢰하는 숫자였기 때문이다. 그리고 그 수치는 올라갔고, 우리는 그것을 출시했다.

내 생각을 바꾼 것은 하마터면 돌리지 않을 뻔한 홀드아웃 테스트였다. 그에 대한 반론은 언제나 똑같다. 왜 일부러 대조군에게 세이브 플로우를 보류해서, 만들 수 있었던 방어를 '잃는가'? 그래도 나는 그것을 돌렸는데, 대체로 깨끗한 기준선을 얻기 위해서였다. 결과가 돌아왔을 때, 우리가 '도와준' 사용자들인 처치 그룹의 이탈률이 오히려 더 높았다 — 우리가 그냥 내버려둔 대조군보다 말이다.

나는 그 표를 오랫동안 붙들고 있었다. 우리는 이탈을 줄이고 있던 게 아니었다. 청중의 한 조각에서는, 우리가 이탈을 만들어내고 있었다.

알고 보니 우리는 기록으로 남아 있는 실수를 재발명한 것이었다. 노르웨이 통신사 Telenor는 처치군에서 대조군보다 약 2% 높은 이탈을 유발한 유지 캠페인을 운영했는데 — 그들이 이를 발견한 유일한 이유는 제대로 된 홀드아웃을 돌렸기 때문이다. 대부분의 구독 사업체는 그러지 않는다. 그들은 어떤 오퍼가 가장 잘 전환되는지는 A/B 테스트하면서, 정작 개입하는 것이 애초에 도움이 되는지라는 선행 질문은 결코 던지지 않는다. 불편한 산수는 이렇다. 구독자 200,000명에 월 자발적 이탈률 3%인 회사는 매달 약 6,000명의 해지 의도 사용자를 보게 되고, 업계 연구는 그중 10–20%를 잠자는 개로 본다. 6,000명 전원에게 연락하면 — 이것이 바로 기본 도구들이 하는 일이다 — 매달 600명에서 1,200명을 하려고도 않던 해지 쪽으로 떠미는 셈이다. 사용자당 평균 매출 $50 기준으로, 이는 당신의 유지 시스템이 스스로 파괴한 연간 $360,000에서 $720,000의 매출이다.

우리에게 이탈 문제가 있었던 게 아니다. 우리에게는 이탈을 만들어내면서 그것을 성과만 집계하는 지표 안에 숨기고 있던 유지 시스템이 있었다.

더 똑똑한 이탈 모델이 그냥 이걸 해결해 주면 안 될까?

나의 첫 본능은 예측에 관해 더 똑똑해지는 것이었다. 문제가 엉뚱한 사람들에게 연락하는 것이라면, 누가 떠날 가능성이 가장 높은지 점수를 매기는 더 나은 이탈 모델이 분명 이 문제를 해결해 줄 터였다.

그렇지 않다. 그리고 그 이유가 이 모든 것의 핵심이다. 표준적인 이탈 예측은 '누가 떠날 가능성이 높은가?'에 답한다. 하지만 잠자는 개와 설득 가능층은 이탈 가능성 모델에서 동일한 점수를 받으면서도 정반대의 처치가 필요하다. 정말 중요한 질문은 누가 떠날 것인가가 아니다. 진짜 중요한 것은 누가 떠나느냐, 그 원인이 바로 당신의 개입이냐, 아니면 누가 남느냐, 그 원인이 바로 그 개입이냐 하는 것이며 — 예측 모델은 반사실을 결코 보지 못하기 때문에 구조적으로 그 질문에 답할 수 없다.

그 반사실적 질문에는 이름이 있다. 바로 업리프트 모델링, 즉 조건부 평균 처치 효과(Conditional Average Treatment Effect) 추정이다 — 특정 사용자의 행동 변화, 즉 그 변화를 야기한 것이 바로 개입이라는 뜻이지, 단지 그들의 프로필과 상관관계만 있는 것이 아니다. 금융 서비스 업계는 SaaS보다 먼저 이것을 깨달았다. 그곳에서 업리프트 모델은 예측 모델을 지속적으로 능가했고, 유지 지출을 실제로 수익성 있게 만들었다. 어느 방향으로든 이미 마음을 굳힌 사람들에게 지출하는 일을 멈췄기 때문이다.

함정은 — 그리고 이것이 '유지 플랫폼'을 파는 그 누구도 언급하지 않는 부분인데 — 업리프트 모델링에는 실험 데이터가 필요하다는 점이다. 무작위 홀드아웃, 혹은 강력한 도구 변수 말이다. 모두에게 늘 같은 화면만 보여준 플로우에는 이것을 나중에 끼워 넣을 수 없는데, 당신이 개입하지 않을 때 무슨 일이 벌어지는지에 대한 기록이 전혀 없기 때문이다. 대부분의 구독 회사는 그 데이터를 한 번도 수집한 적이 없다. 이는 SaaS 기업의 82%가 프로모션 가격을 제공하면서도 그것이 무언가를 돌려주는지 측정할 수 있는 곳은 36%뿐이게 만드는 바로 그 사각지대다. 한 번도 측정한 적 없는 처치 효과를 관리할 수는 없다.

이것이 더 이상 단순한 마진 문제가 아니게 된 25억 달러짜리 이유

한동안 나는 이 모든 것을 최적화 이야기로 여겼다 — 돈을 테이블에 남겨두느냐 마느냐의 문제로 말이다. 그러다 잘못했을 때의 대가가 세 자릿수 배(three orders of magnitude), 즉 천 배 규모로 달라졌다.

2025년 9월, FTC는 Prime을 두고 Amazon과 $2.5 billion에 합의했다 — $1 billion의 벌금에 $1.5 billion의 환불을 더한 것으로, 규정 위반에 대해 이 기관 역사상 가장 큰 제재였다. 핵심은 해지 경험이었다. 이른바 '일리아드 플로우(Iliad Flow)'로, 네 페이지·여섯 번의 클릭·열다섯 개의 선택지로 이뤄진 관문이었고, 고발장에 따르면 명확한 동의 없이 3,500만 명을 가입시켰다. 같은 해, Vonage는 숨겨진 해지 장치와 고객이 중단을 요청한 뒤에도 계속된 청구로 $100 million을 지불했고, Epic Games는 $245 million에 합의했다. Chegg와 HelloFresh는 각각 $7.5 million을 냈다. 이제 Uber도 여기에 포함된다 — FTC 고발장은 Uber One을 해지하는 데 최대 23개 화면과 32개 동작이 걸린다고 기술하며, 2025년 12월까지 21개 주와 워싱턴 D.C.가 합류했다.

사람들은 FTC의 '클릭 투 캔슬(click-to-cancel)' 규칙이 2025년 7월 제8연방항소법원에 의해 무효화되면서 압박이 걷혔다고 여긴다. 실상은 정반대였다. 그 규칙은 절차상의 기술적 문제로 무너졌다 — 기관이 요구되는 규제 영향 분석을 건너뛴 것이다 — 다크 패턴이 괜찮다는 어떤 판단 때문이 아니었다. 집행은 그저 그것을 우회해, 규칙이 존재하기 전부터 이 일을 해오던 ROSCA와 FTC법 제5조로 되돌아갔을 뿐이다. FTC는 2026년 1월 새로운 고시로 네거티브 옵션 규칙 제정을 재개했다.

그리고 여기 더 많은 제품 팀이 체화했으면 하는 운영상의 사실이 있다. ROSCA는 규제 당국이 특정한 이름의 다크 패턴을 입증하도록 요구하지 않는다. 오직 해지가 '간단하지' 않았다는 것만 보이면 된다. 이는 대부분의 회사가 대비하는 기준보다 훨씬 낮은 문턱이다. 내가 팀들에게 주는 대략적인 테스트는 그 단순함이 잔인할 정도다 — 당신의 해지 플로우가 가입 플로우보다 단계가 많다면, 당신은 이미 노출되어 있다.

법적 기준은 거의 모욕적일 만큼 단순하다. 떠나는 것이 가입하는 것보다 더 많은 단계를 요구한다면, 규제 당국은 이미 소송의 대부분을 확보한 셈이다.

당신은 실제로 어느 주(州)의 법을 기준으로 만들고 있는가?

이것을 정말로 어렵게 만드는 또 다른 요소는 — 단일 규칙 하나였다면 그랬을 것보다 더 어렵게 만드는데 — 단일 규칙이 존재하지 않는다는 점이다. 연방의 기준선은 움직였지만, 주들은 기다리지 않았다.

2025년 7월부터 개정 시행된 캘리포니아의 자동 갱신법은 해지가 온라인에서 '즉시 접근 가능'하도록 요구하며, 해지당 단 하나의 유지 오퍼만 허용하는 '원 세이브(One Save)' 규칙을 추가한다 — 이는 대부분의 플로우가 의존하는 다중 화면 오퍼 관문을 조용히 불법화한다. 뉴욕은 온라인으로 가입한 모든 것에 대해 온라인 전용 해지를 요구한다. 메릴랜드에는 자체적인 고지 시점 규정이 있고, 코네티컷은 갱신 전 통지를 원한다. 여러 주에 걸쳐 고객을 상대한다면, 당신의 컴플라이언스 기준선은 평균이 아니라 — 바로 가장 엄격한 법, 즉 당신의 구독자 기반에 속한 그 누구든 적용받는 법이다.

나는 그 기준선의 반대편에도 앉아 봤다. 외부 자문 변호사가 성장팀이 세이브율을 끌어올리려고 몇 달 전에 출시한 플로우를 뒤늦게 처음 보고 — 이제 사후에 그것을 변호해야 하는 ROSCA 검토 자리에서 말이다. 마케팅팀은 화요일에 해지 문구를 A/B 테스트하고, 법무팀은 잘해야 분기에 한 번 플로우를 검토한다. 그 두 시계 사이의 틈으로 출시되는 모든 것은 아무도 실제로 승인하지 않은 노출이다. 그 틈이야말로 전체 그림에서 가장 값비싼 단 하나의 것이며, 그것이 존재하는 이유는 퍼널을 최적화하는 사람들과 그에 대해 책임지는 사람들이 서로 다른 일정에 서로 다른 화면을 보고 있기 때문이다.

더 새로운 최전선도 있는데, 내가 가장 면밀히 지켜보는 것이 바로 이것이다. 2026년 1월 FTC는 소비자를 반복 청구로 유도했다는 혐의를 받는 'Pearl'이라는 AI 챗봇을 두고 JustAnswer에 대한 조치에 나섰다 — 이는 AI 에이전트를 구독 플로우 안에서 겨냥한 최초의 집행 조치 중 하나였다. 이 교훈은 대규모 언어 모델을 자신의 세이브 플로우에 붙이려는 누구에게나 묵직하게 다가온다. 대화형 마찰을 더하거나, 컨펌 셰이밍(confirm-shaming)에 기대어 누군가를 떠나지 못하게 설득하는 AI는 수동 다크 패턴과 똑같은 기준으로 심판받는다. 어쩌면 더 가혹한 기준일 텐데, 조작을 규모화하고 그것을 하기 위해 사용한 모든 단어를 기록으로 남기기 때문이다.

우리가 실제로 만든 것

그래서 우리가 결국 만든 시스템은 하나의 모델이 아니다. 그것은 시장이 이상하게도 따로따로만 파는 세 가지 역량이다.

첫 번째는 인과적 세분화다 — Stripe, Chargebee, Recurly에서 나오는 해지 의도 타임스탬프와 요금제 변경의 실시간 피드, 즉 당신의 청구 이벤트 스트림에 연결되어, 각 해지 고객을 설득 가능층, 확실 잔류층, 회생 불가층, 잠자는 개로 분류하는 업리프트 모델이다 — 그 기준은 그들의 추정 처치 효과이지, 이탈 가능성이 아니다. 잠자는 개는 그 무엇보다 가치 있는 개입, 즉 침묵을 받는다. 두 번째는 그 세그먼트들을 중심으로 설계되어 법적 최저선 안에 머무르는 해지 플로우다 — 'One Save'가 적용되는 곳에서는 단일 오퍼로, 뉴욕이 요구하는 곳에서는 온라인 해지로, 가입할 때보다 해지할 때 마찰이 더 많지 않도록. 세 번째는 다른 누구도 출시하는 것을 본 적 없는 요소다. 바로 플로우를 — AI 에이전트의 실제 대화 기록까지 포함해 — 읽어내고 다크 패턴 행위를 출시 전에 미리 표시하는 자동 감사다. 주(州) 법무장관이 당신을 대신해 지적해 주고 난 뒤가 아니라 말이다.

나는 이 세 가지를 모두 해내는 기성 도구를 찾아 나섰지만, 그런 것은 없다. Chargebee Retention과 ProsperStack은 진정으로 훌륭한 해지 경험을 구축하고 오퍼를 최적화하지만, 모든 해지자를 똑같이 취급하며 설득 가능층과 잠자는 개를 구별하지 못한다. Pega는 엔터프라이즈 규모에서 차선책 행동(next-best-action) 의사결정을 할 수 있지만, 구현 비용이 약 50만 달러부터 시작하는 레거시 플랫폼이며 컴플라이언스를 위한 감사는 전혀 하지 않는다. 고객 성공 플랫폼들은 이탈 위험 점수는 매기지만 해지의 순간은 건드리지 않는다. AI 세이브 에이전트를 감사하는 곳은 아무 데도 없다. 연결 조직 — 인과 모델에 컴플라이언트한 플로우 설계, 그리고 다크 패턴 감사를 더해, 당신이 이미 가진 청구 시스템에 연결한 것 — 이 바로 그 공백이며, 우리가 살아가는 자리다.

매번 듣는 반론들

첫 번째는 언제나 이렇다. 더 '친절하고' 마찰이 적은 해지 플로우가 내 리텐션을 그냥 무너뜨리지 않겠는가? 실제로는 정반대인데, 설득 가능층을 붙잡아 둔 것은 애초에 마찰이 아니었기 때문이다 — 이들을 붙잡은 것은 적절한 오퍼였고, 마찰은 대개 회생 불가층을 격분시키고 잠자는 개를 깨웠다. 마찰을 걷어내고 오퍼를 겨냥하면, 당신이 스스로 만들어내던 이탈에 대한 비용 지불을 멈추게 된다.

두 번째. 우리는 이미 공격적으로 할인하는데, 그게 리텐션 아닌가? 그것은 꼬리가 달린 값비싼 리텐션이다. 유지 할인의 중앙값은 약 16.7% — 대략 두 달 무료 — 이며, 크게 할인받은 고객은 이후 15–20% 더 나쁘게 유지된다. 당신은 그들을 방어하는 게 아니다. 손해를 보며 그들을 임대하고 시계를 다시 맞추는 것이다.

세 번째, 솔직한 반론. 우리는 홀드아웃을 한 번도 돌린 적이 없어서 어느 그룹이 어느 쪽인지 전혀 모른다. 그것은 실격 사유가 아니라 — 출발선이다. 우리도 바로 거기서 시작했다. 내가 자랑스러워하던 대시보드와, 하마터면 건너뛸 뻔한 테스트와 함께 말이다. 우리가 이 구축에 어떻게 접근하는지는 Veriprajna 솔루션 페이지에서 읽어볼 수 있지만, 첫 수(手)는 언제나 똑같다. 아무것도 하지 않았을 때 무슨 일이 일어나는지를 측정하는 것이다.

30%의 세이브율은 내가 이기고 있다고 말해 주었다. 홀드아웃 테스트는 내 고객의 한 조각에서, 내가 바쁘게 세고 있던 방어들이 내가 조용히 일어나지 않게 설득해 버린 갱신들에 의해 상쇄되고 있었다고 말해 주었다. 리텐션에서 중요한 숫자는 결코 당신이 막아낸 해지의 수가 아니었다. 그것은 당신이 그저 그들을 내버려두었더라면 그 사람이 남았을 것인지 여부다 — 그리고 각 사용자에 대해 그 답을 내릴 수 있기 전까지, 당신은 고객을 유지하고 있는 것이 아니다. 당신은 곧 잃게 될 고객이 누구인지 알아내기 위해 마진을 쓰고 있는 것이다.