合乎倫理的訂閱留存 AI

挽留方案應創造高於其成本的價值。

我們將流失風險與估計干預效益區隔開來,並獨立審查擬發送的訊息。了解為何在合成留存比較中,相同的接觸預算會產生截然不同的價值。

24:40 完整示範。採用合成資料、快取的 Codex 草稿與僅供預覽的帳單操作。

+$43,794/year

高於流失目標定位的增量價值

Northwind 合成策略評估

各 2,239 名

增量定位與流失定位的接觸人數

基於 6,000 項合成意圖的相同預算

668 / 673

未被接觸的真實 Sleeping Dogs

隱藏合成標籤;仍有 5 名受到接觸

Sleeping Dogs 是在合成基準事實中因干預而受害的訂閱者;策略價值是相對於不干預該群體而言,而非已實現的節省金額或完整營運路由的預測。

高流失評分並不代表能提供有價值的挽留方案

訂閱者可能很可能會離開,但未必能從折扣中獲益。對每一項取消意圖都提供挽留方案,不僅會將成本花在原本就會留下的用戶身上,還可能接觸到那些留存率會因干預而受損的用戶。

在合成 Northwind 環境中,預測性流失定位產生 +$144,162 的年度增量營收,而因果增量定位產生 +$187,956。兩者均接觸 2,239 名訂閱者。此比較探討的是在相同預算下由誰獲得方案,而非將增量定位的優勢歸功於減少接觸人數。

估計效益、路由決策、審查文案

該展示擬合了一個 T-learner:兩個正則化邏輯斯迴歸模型從隨機合成歷史中分別估計處置組與對照組觀測值的留存率。兩者的差值即為估計的干預效益。目標定位亦計入了設定的 16.7% 折扣;個別估計值並非實際觀測到的個別因果結果。

決定是否提供挽留方案

選定訂閱者路由結合了估計客群分段、扣除成本後的效益以及已設定的司法管轄區政策。標記為 Sleeping Dogs 的訂閱者不會收到任何挽留接觸;證據不足時則觸發乾淨退出(clean exit),不進行草稿撰寫。

審查實際文案

獨立的確定性 Python 關卡會正規化 Unicode,並檢查設定的施壓、內疚、確認羞辱(confirmshaming)與緊迫性模式。只有審查放行的文案才會進入訂閱者預覽。文字層面的放行並不等同於完整的語意驗證。

保留決策證據

本地決策收據會儲存選定的訂閱者、路由路徑與經審查的對話紀錄。取消選項在整個預覽過程中始終可用。收據持久化為本地檔案儲存,不具備獨立保管或防篡改證據。

總體定位經濟效益與選定訂閱者路由是各自獨立的評估。策略比較並未包含營運路由中的每一項客群分段與司法管轄區限制。

從經濟效益到實質證據追蹤留存決策

這六張原生截圖展示了合成留存比較、選定訂閱者決策以及編寫的文案控制項。Northwind 目前每月有 6,000 項取消意圖,以及 9,000 筆隨機歷史觀測值:4,460 筆處置組與 4,540 筆對照組。其 32 個案例的審查佇列是供檢驗的代表性選集,而非該群體的隨機抽樣。每張螢幕截圖皆可開啟全尺寸檢視。

在相同接觸預算下比較各項策略

「挽留所有人」(Save everyone)接觸全部 6,000 項取消意圖,在此測試夾具中產生了負的增量價值。預測性流失定位與因果增量定位各自接觸 2,239 名訂閱者,但選擇的原因截然不同:前者依離開的可能性排序,而後者則依扣除折扣成本後的估計干預價值排序。匹配預算能清楚區隔出該定位機制的差異。

Northwind 合成群體策略比較,展示流失定位與增量定位在相同接觸預算下的年度增量價值與保留增量曲線。
合成 Northwind,6,000 項取消意圖。預測性定位與增量定位各自接觸 2,239 名訂閱者。數值為相對於不干預該群體的年度增量營收,根據隱藏的合成結果評分。預知模型(oracle)使用了實際中無法取得的完美資訊;該曲線展示的是保留組的排序證據,而非準確率。 檢視全尺寸螢幕截圖
Northwind 合成策略評估,相對於不干預該群體。
策略年度增量營收接觸的訂閱者數
挽留所有人-$424,7576,000
預測性流失定位+$144,1622,239
因果增量+$187,9562,239
完美資訊預知模型+$309,4802,393

在此合成策略評估中,增量定位每年比流失定位多出 $43,794。數值是根據隱藏的合成潛在結果進行評分,並以每月營收乘以 12 進行年化計算。這些數值既非客戶已實現的節省金額,亦非對完整營運路由系統的預測。預知模型(oracle)掌握了已部署模型無法取得的隱藏結果,因此它提供的是完美資訊的上限,而非可落地的實施策略。

排序曲線對 2,700 筆保留的隨機合成觀測值進行了獨立檢驗。AUUC 代表增量曲線下面積(area under the uplift curve):顯示的數值分別為增量定位 78.8、預測性流失約 42.3 以及隨機排序約 4.2。這些並非準確率百分比。在合成基準事實中因干預而受害的 673 名訂閱者中,增量定位仍接觸了 5 名,使 668 名未受接觸;排序的提升並不能保證絕對完美的防護。

解釋為何特定訂閱者不應收到任何挽留接觸

對於某位合成 Northwind 訂閱者,模型估計在未干預時的留存率為 87.1%,而在干預後的留存率為 28.2%。其差值為 -58.9 個百分點。Sleeping Dog 標籤意味著干預被估計會損害留存率;因此選定訂閱者路由選擇了 Do Not Contact,並跳過挽留代理(save agent)。

合成訂閱者因果證據,展示負的估計處置效應與 Do Not Contact 路由。
某位合成 Northwind 訂閱者被標記為 Sleeping Dog,這是展示中代表估計干預會損害留存率的標籤。估計留存率從未干預時的 87.1% 下降到干預後的 28.2%,因此此選定訂閱者路由跳過了挽留代理。這些是模型估計值,而非實際觀測到的個別因果結果。 檢視全尺寸螢幕截圖

路由規則將估計處置效應小於或等於 -0.05 者標記為 Sleeping Dogs。估計值大於或等於 +0.05 者為 Persuadables;在其餘案例中,估計基準留存率至少達 0.65 者歸為 Sure Things,其餘則標記為 Lost Causes。Sure Things 會收到一份簡短調查但不包含方案,而 Lost Causes 及未知客群則執行乾淨退出(clean exit)。這些是設定的模型客群分段,而非實際觀測到的個別因果結果。

不接觸決策與總體策略指標回答的是不同問題。此選定訂閱者透過營運路由避免了收到方案。群體比較則是獨立針對隱藏的合成標籤對目標定位進行評分,且並未包含每項客群分段與司法管轄區限制。單一成功的本地不接觸案例,無法抹滅總體比較中接觸了 5 名有害案例的事實。

合格的挽留方案必須能彌補其成本並保留取消權利

在此截圖中的合成 Pro 訂閱者,其估計處置效應為 +12.1 個百分點,估計基準留存率為 58.6%。單憑正向處置效應並不能直接授權提供折扣。展示會將提供設定 16.7% 折扣方案後的估計留存率與未干預留存率進行對照檢查,隨後套用選定訂閱者路由與已設定的司法管轄區控制項。

經濟效益比較計算方式為:估計處置留存率乘以 (1 減去折扣率),再減去估計對照留存率。只有當估計增益足以彌補方案成本時,合格的 Persuadable 才會轉交給挽留代理。標準目標範例使用的是實際快取的 Codex 回應;文案關卡會針對這些傳回的字句重新執行檢查。

合成訂閱者預覽,在 Confirm cancellation 旁顯示一項經審查的快取模型方案,並明確標記為僅供預覽。
標準目標執行採用了通過當前詞彙審查的實際快取 Codex 草稿。取消選項旁會顯示一項可選的挽留方案。Review complete 描述的是自動化管線,而非人工審查;兩個按鈕皆僅影響本地預覽。 檢視全尺寸螢幕截圖

在 Confirm cancellation 旁會出現一項經審查通過的可選方案。設定的互動預算最多允許一項挽留方案與兩次代理對話輪次;在草稿撰寫期間與審查完成後,取消功能始終保持可用。螢幕上的 Review complete 指的是自動化管線,而非已完成的人工審查。接受方案與取消操作僅會變更此本地預覽,不會更改任何帳單帳戶。

獨立於草稿模型之外檢驗遭攔截的語句

獨立的 Python 關卡會正規化 Unicode,並檢查實際草稿中是否含有設定的確認羞辱(confirmshaming)、罪惡感、施壓與人為緊迫感模式。因此,在路由許可之後,還會進行獨立的用詞決策。只有審查放行的文案才會進入訂閱者預覽;遭攔截與擱置的草稿則保留在內部。

下方的倒數計時螢幕截圖是刻意編寫的基準參考文案:"This deal disappears in 04:59. Act now!" 該關卡攔截了該語句,並揭示了所匹配的倒數與緊迫性片語。此範例展示了對提供文字的設定控制能力,而非模型被當場抓到產出違規訊息。

編寫的人為倒數基準案例,展示攔截狀態與匹配的設定緊迫性模式。
編寫的參考案例:人為倒數計時被設定的詞彙審查所攔截。這是刻意提供的基準文案,而非模型被抓到生成禁用文字。證據中顯示的法規引用標籤僅為說明性質的設定參考,不具法律認證效力。 檢視全尺寸螢幕截圖

在驗證任務簡報時,全部 16 個儲存的模型快取回應均審查通過,包含具備激進目標的草稿。因此,選擇對抗性目標並不必然導致攔截結果。實際傳回的文字決定了最終判定。控制軌跡中的引用標籤僅為說明性質的設定參考,不代表法律解釋或認證。

審查擱置可防止不明確的文案接觸到訂閱者

下一個編寫的案例內容為:"Before you decide, take a quick tour." 該語句匹配了設定的重新考慮標記並傳回 needs_review。該結果將語句在內部擱置。這既不代表核准訊息,也不代表已有專人審查或解決了該擱置項目。

編寫的邊界重新考慮基準案例,展示 needs_review 與匹配的審查標記。
編寫的參考案例:邊界重新考慮文案被擱置以待審查。該擱置將草稿保留在內部,且不代表已完成人工審查。當前證據中的標準與激進快取模型草稿均順利通過關卡;這些編寫案例展示的是獨立的控制行為。 檢視全尺寸螢幕截圖

固定的本地基準測試回報 14 of 14 項明確檢查通過:六項經濟效益、模型與資料充分性預期,外加八項文案與路由預期。文案控制項包括乾淨文字、確認羞辱(confirmshaming)、人為倒數計時、邊界重新考慮、Unicode 倒數規避以及過長文案審查。路由控制項則檢查單一方案/取消行為以及未知客群的乾淨退出(clean exit)。這是基於固定參考測試集的實作證據,而非通用的偵測準確率、獨立模型驗證或法律認證。

資料不足會改變決策,而不僅僅是警示標籤

合成 Pinegrove 每月有 180 項取消意圖與 520 筆歷史觀測值,細分為 242 筆處置組與 278 筆對照組。設定的最低門檻為當前 500 項意圖以及每個保留組各 400 筆觀測值。兩項檢查均未通過,因此因果路由選擇棄權。

合成 Pinegrove 證據對話框,展示每月 180 項意圖、規模不足的保留組以及因果路由棄權。
合成 Pinegrove 未達設定的證據要求:每月 180 項意圖、242 筆處置組觀測值與 278 筆對照組觀測值。因果決策預測被扣留,跳過草稿撰寫,且路由採取乾淨退出(clean exit)。設定的最低門檻為 500 項意圖與每組 400 筆觀測值。 檢視全尺寸螢幕截圖

使用者介面會從決策證據中扣留因果預測、跳過挽留代理,並採用保守的乾淨退出(clean exit)。內部估計值仍可計算;但在這種棄權路徑中不會用於挑選挽留方案。這些門檻是展示中設定的安全防護機制,而非通用的統計充分性規則,且增加資料仍需評估隨機歷史資料是否能代表當前所做的決策。

將選定決策與群體摘要嚴格區隔

每次完成的執行都會儲存一份收據,記錄選定的訂閱者、輸入項、時間戳記、路由與經審查的對話紀錄。JSON 與可列印的 HTML 匯出功能讓審查人員能夠檢視該項確切決策。帳戶層級的策略經濟效益則以獨立的合成比較呈現,因此群體數值並不代表每位訂閱者都經過審查或每項方案都已發送。

稽核檢視列出最新的 50 筆已儲存收據,且本地檔案在重新啟動後依然保留。已儲存的收據保留了此單行程展示中的特定執行證據;它並不代表獨立保管、防篡改證據或合規充分性。生產環境的評估必須針對目標環境確立資料存取、證據所有權、審查權限與營運持久性。

比較決策證據,而非留存率承諾

方法或控制機制所作出的貢獻其主張的極限
預測性流失定位在相符的接觸預算下,依預測的流失風險進行排序。不直接估計干預效益。
因果增量定位依扣除折扣成本後的估計價值進行排序。合成策略評估;仍接觸了 5 名真正的 Sleeping Dogs。
選定訂閱者路由套用客群分段與已設定的司法管轄區控制項。獨立於總體定位策略經濟效益之外。
獨立詞彙關卡在呈現預覽前審查實際草稿用詞。為設定的模式檢查,而非完整的語意或法律分類器。
決策收據記錄確切的本地路由與對話紀錄證據。無獨立保管、防篡改證據或法律認證。

本展示未包含之事項

這是一個合成展示,而非生產部署。它不具備即時帳單整合、身分驗證、租戶隔離、已完成的人工審查工作流程或合規認證。帳單操作僅供預覽;快取的草稿並非即時模型呼叫。本頁面透過影片與螢幕截圖說明其機制。

留存團隊常見問題

這與客戶流失預測模型有何不同?

流失預測估計誰可能會離開。此展示估計留存率如何隨干預而改變,並在定位方案前計入折扣成本。在其合成比較中,增量定位與流失定位使用相同的接觸預算,因此接觸人數較少並不能用來解釋其價值差異。

你們如何計入挽留方案的成本?

展示將設定 16.7% 折扣後的估計留存率與未干預時的估計留存率進行比較。只有當估計增益足以彌補該成本時,合格的訂閱者才會收到挽留方案。帳戶層級的策略價值是獨立的合成評估,而非對完整營運路由系統的預測。

訂閱者可以在不接受方案的情況下取消嗎?

可以。在展示的訂閱者預覽中,取消選項在可選的放行方案旁以及草稿撰寫過程中始終可用。遭攔截或擱置的文案保留在內部。接受方案與取消操作僅會變更本地預覽,絕不會更改帳單帳戶。

當資料不足時會發生什麼事?

當目前每月取消意圖低於 500 項,或任一保留組觀測值低於 400 筆時,因果路由將會棄權。使用者介面會扣留因果決策預測、跳過草稿撰寫,並採用保守的乾淨退出(clean exit),即使內部計算仍然可能存在。這些是展示中設定的門檻,而非通用的統計充分性規則。

AI 是否決定哪些訊息能送達訂閱者?

在路由允許提供方案後,獨立的確定性 Python 關卡會依據設定的詞彙模式審查實際草稿。只有審查放行的文案才會送達訂閱者預覽;遭攔截的文案會被壓抑,邊界文案則被擱置以待審查。擱置並不代表已完成人工審查,而核准亦不驗證所有事實或語意。

這是否與我們的帳單平台連線?

本展示未實作任何生產環境的帳單連線。帳單功能與司法管轄區皆為模擬,預覽按鈕不會套用折扣或取消訂閱。整合、身分驗證與租戶隔離需要單獨的生產環境工程。

審查放行的草稿是否意味著取消流程在法律上合規?

否。核准僅代表該草稿通過了此項設定的詞彙審查,而司法管轄區參考資料僅為說明性質的策略控制項。無論是放行的訊息或本地決策收據,皆不提供法律認證或全面的合規保證。

技術研究

探索相關研究,深入了解本展示的廣泛背景。

評估挽留方案背後的決策機制

讓增長、客戶營運與政策負責人一同參與審查。

我們可評估您的定位假設,並定義生產環境留存系統所需的控制項與證據。

留存決策評估

  • ✓ 干預價值與折扣假設
  • ✓ 不提供方案與資料不足之決策
  • ✓ 訂閱者選擇權與文案審查
  • ✓ 證據與整合需求

生產環境實作規劃

  • ✓ 帳單與事件整合設計
  • ✓ 路由與策略所有權
  • ✓ 身分驗證與租戶隔離
  • ✓ 驗證與審查工作流程設計