経済性から証拠に至る継続判断の流れを追う
これら6枚のネイティブキャプチャは、合成リテンション比較、選択された加入者の決定、および作成されたコピー管理を示しています。Northwindには現在、月間6,000件の解約意向と、9,000件の無作為化された履歴観測データ（介入群4,460件、対照群4,540件）があります。その32件のレビューキューは精査のための代表的な抽出であり、コホートの無作為抽出ではありません。各スクリーンショットは原寸大で開きます。
同一の接触予算でポリシーを比較する
「全員を慰留（Save everyone）」は6,000件すべての解約意向に接触し、このテスト環境においてマイナスの増分価値をもたらします。予測的解約ターゲティングと因果的アップリフトはそれぞれ2,239名の加入者に接触しますが、選定理由は異なります。一方は離脱の可能性をランク付けし、他方は割引コスト考慮後の推定介入価値をランク付けします。予算を一致させることで、そのターゲティングの違いを明確に分離できます。
| ポリシー | 年間増分収益 | 接触した加入者数 |
|---|---|---|
| 全員を慰留 | -$424,757 | 6,000 |
| 予測的解約ターゲティング | +$144,162 | 2,239 |
| 因果的アップリフト | +$187,956 | 2,239 |
| 完全情報オラクル | +$309,480 | 2,393 |
この合成ポリシー評価において、アップリフトは解約ターゲティングを年間$43,794上回ります。数値は隠蔽された合成潜在結果に対してスコアリングされ、月間収益の12倍を用いて年換算されています。これらは実現された顧客の削減額でも、完全な実運用ルーティングシステムの予測値でもありません。オラクルはデプロイされたモデルには利用不可能な隠された結果を参照しているため、実装可能なポリシーではなく完全情報の上限値を示すものです。
ランキング曲線は、ホールドアウトされた2,700件の無作為化合成観測データに対する個別の検証を追加します。AUUCはアップリフト曲線下面積（area under the uplift curve）を意味し、表示される値はアップリフトが78.8、予測的解約が約42.3、ランダムなランキングが約4.2です。これらは精度のパーセンテージではありません。アップリフトは、合成正解データにおいて介入により悪影響を受ける673名の加入者のうち依然として5名に接触し、668名を非接触のまま残しています。ランキングの向上は完全な保護を証明するものではありません。
なぜある加入者に対して慰留接触を行うべきでないかを説明する
合成データNorthwindのある加入者について、モデルは介入なしでの継続率を87.1%、介入ありでの継続率を28.2%と推定します。その差は-58.9パーセントポイントです。Sleeping Dogというラベルは、介入が継続率を損なうと推定されることを意味します。そのため、選択された加入者のルーティングはDo Not Contactを選択し、慰留エージェントをスキップします。
ルーティング規則は、推定処置効果が-0.05以下のものをSleeping Dogsと分類します。+0.05以上の推定値はPersuadablesです。残りのケースのうち、ベースラインの推定継続率が0.65以上のものはSure Thingsとなり、その他はLost Causesとラベル付けされます。Sure Thingsにはオファーなしの短いアンケートが提示され、Lost Causesおよび未知のセグメントはクリーンな終了（clean exit）を受けます。これらは設定されたモデルに基づくセグメントであり、観測された個々の因果的結果ではありません。
非接触の決定と集計ポリシーの指標は、異なる問いに答えるものです。この選択された加入者は、実運用ルートを通じてオファーを回避します。コホート比較は隠蔽された合成ラベルに対してターゲティングを独立してスコアリングしており、すべてのセグメントおよび法域の制約を含んでいるわけではありません。局所的な非接触の成功例があったとしても、その集計比較における5名の有害な接触を帳消しにすることはできません。
対象となるオファーはそのコストを回収し、解約の選択肢を維持しなければならない
このキャプチャにおける合成Pro加入者は、+12.1パーセントポイントの推定処置効果と58.6%の推定ベースライン継続率を持っています。処置効果がプラスであるというだけでは、割引は承認されません。本デモは、設定された16.7%の割引適用後のオファーあり推定継続率を介入なしの継続率と照合し、その上で選択された加入者のルーティングと設定された法域管理を適用します。
経済的比較は、介入群の推定継続率に（1 − 割引率）を乗じたものから、対照群の推定継続率を差し引くことで行われます。対象となるPersuadableは、推定された増加分がオファーのコストを回収できる場合にのみ慰留エージェントに到達します。標準目的（standard-objective）の例では、キャッシュされた実際のCodex応答を使用し、コピーゲートが返された文言に対して改めて実行されます。
Confirm cancellationの横に、審査を通過した任意のオファーが1件表示されます。設定されたインタラクション予算では、最大1回の慰留オファーと2回のエージェントターンが許可されます。下書き作成中および審査後も解約は常に選択可能です。画面上の「Review complete」は自動パイプラインを指し、完了した人間による審査ではありません。オファーの承諾および解約は、このローカルプレビューのみを変更し、請求アカウントを変更することはありません。
下書き生成モデルから分離して、ブロックされた文章を精査する
独立したPythonゲートがUnicodeを正規化し、実際の下書きに対して設定されたコンファームシェイミング、罪悪感、プレッシャー、および人為的緊急性のパターンをチェックします。したがって、ルーティングの許可に続いて、個別の表現判断が行われます。審査を通過したコピーのみが加入者プレビューに到達し、ブロックまたは保留された下書きは内部にとどまります。
以下の人為的カウントダウンのスクリーンショットは、意図的に作成された参照コピーです：「This deal disappears in 04:59. Act now!（この取引は04:59で消滅します。今すぐ行動を！）」ゲートはこれをブロックし、一致したカウントダウンおよび緊急性のフレーズを開示します。これはモデルが禁止されたメッセージを生成したところを捉えたのではなく、提供されたテキストに対する設定された管理を示すものです。
ブリーフが検証された際、攻撃的目的（aggressive-objective）の下書きを含め、保存された16件すべてのモデルキャッシュ応答が承認と判定されました。したがって、敵対的目的を選択したからといって、ブロックという結果が確定するわけではありません。実際に返されたテキストが判定を決定します。管理トレース内の引用ラベルは説明用に設定された参照情報であり、法的な解釈や認証ではありません。
審査保留により、不確実なコピーを加入者に届けない
次の作成事例は、「Before you decide, take a quick tour.（決める前に、簡単なツアーをご覧ください）」という文言です。これは設定された再考フラグと一致し、needs_reviewを返します。その結果、この文章は内部に保留されます。これはメッセージを承認するものではなく、人間がその保留を審査または解決したことを示すものでもありません。
固定されたローカルベンチマークは、14件中14件（14 of 14）の明示的チェックに合格したことを報告します。6件の経済性、モデルおよびデータ充足性の期待基準に加え、8件のコピーおよびルーティングの期待基準です。コピー管理には、クリーンなテキスト、コンファームシェイミング、人為的カウントダウン、ボーダーライン再考、Unicodeカウントダウン回避、および過大コピーの審査が含まれます。ルーティング管理は、単一オファー／解約動作および未知セグメントのクリーンな終了をチェックします。これは固定された参照スイートにおける実装の証拠であり、一般的な検知精度、独立したモデル検証、または法的認証ではありません。
データの不足は、警告ラベルだけでなく判断そのものを変える
合成データPinegroveには、月間180件の解約意向と520件の履歴観測データがあり、介入群242件と対照群278件に分かれています。設定された最小基準は、月間意向500件、および各ホールドアウト群400件の観測データです。両方のチェックが不合格となるため、因果ルーティングは棄権（abstain）します。
UIは決定証拠から因果予測を保留し、慰留エージェントをスキップして保守的なクリーンな終了（clean exit）を使用します。内部的な推定値は依然として計算可能ですが、この棄権パスにおいて慰留オファーを選択するために使用されることはありません。これらの閾値は普遍的な統計的充足性ルールではなく、設定されたデモ用セーフガードであり、データを追加した場合でも、無作為化された履歴が行われようとしている決定を代表しているかどうかを評価する必要があります。
選択された決定をコホート要約と明確に区別して保持する
完了した各実行は、選択された加入者、入力、タイムスタンプ、ルーティング、および審査済み会話記録を含む受領証（レシート）を保存します。JSONおよび印刷可能なHTMLエクスポートにより、審査担当者はその正確な決定を精査できます。アカウントレベルのポリシー経済性は別個の合成比較として表示されるため、コホートの値がすべての加入者が審査されたことや、すべてのオファーが送信されたことを意味するわけではありません。
監査ビューには最新50件の保存済みレシートが一覧表示され、ローカルファイルは再起動後も保持されます。保存されたレシートはこの単一プロセスのデモ内における実行固有の証拠を保持しますが、独立した第三者保管、改ざん防止の証拠性、または規制上の十分性を証明するものではありません。本番環境での評価では、対象となる環境に対してデータアクセス、証拠の所有権、審査権限、および実運用上の永続性を確立する必要があります。
