顧客を逃さないAIの開発に携わってきた私が言う——その大半が倫理的に破綻している理由

昨年、友人が夜11時に、激怒して電話をかけてきた。彼女は45分間、あるストリーミングサービスのサブスクリプションを解約しようとしていた。45分間だ。6つの画面をクリックし、3種類の割引プランを提示され、失うことになる「限定コンテンツ」についてのアニメーションを見せられ、そしてついに——ついに——「ご退会は残念です」といった一段落の文章の下に埋もれた、グレーアウトされたリンクを見つけた。彼女は残念だとは思っていなかった。激怒していた。

「あなた、AIを作って生きてるんでしょ」と彼女は言った。「あなたの業界がやってるのはこれなの？人を閉じ込めること？」

うまく答えられなかった。正直に言えば、答えはイエスだからだ。AIリテンション業界のますます大きな部分が、留まることをより良くするためではなく、去ることをより難しくするために存在している。しかも私は、それが悪化していく様を見てきた——操作的なボタンの色や罪悪感を煽る文言だけでなく、あなたを消耗させるためだけに訓練された会話型AIエージェントを通じて。サブスクリプション経済の本当の製品は、コンテンツでもソフトウェアでも利便性でもない。あまりに多くの企業にとって、その製品とはあなたの惰性なのだ。

あの電話は、Veriprajnaで何か月も堂々巡りしていた考えを、一気に輪郭のあるものにした。私たちは倫理的AIリテンションの研究に深く入り込んでいた——顧客を欺くことなく、機械学習を使って顧客を引き留めるとはどういうことか、という研究だ——そして掘り下げれば掘り下げるほど、その風景は醜く見えてきた。この問題の全体像については、私たちのインタラクティブな研究記事に書いた。だが、このエッセイは、私たちが始める前に誰かが書いていてほしかったバージョンだ——なぜAIによるリテンションのほとんどが壊れているのか、そしてそれを直すには実際に何が必要なのかについての、個人的で、飾らない物語である。

Amazonは解約フローに戦争叙事詩の名を付けた。それがすべてを物語っている。

2023年6月にFTCがAmazonを提訴したとき、その訴状には私を凍りつかせるものが記されていた。Amazonの社内チームは、Primeの解約プロセスにコードネームを付けていた——「イリアス・フロー」。 ホメロスの『イリアス』——10年に及ぶトロイア戦争を描いた叙事詩——のあれである。

彼らは分かっていた。解約への道のりがまさにオデュッセイアであることを、分かっていたのだ。4ページ、6クリック、15の選択肢。「特典を維持する」へと視線を引き寄せるアニメーション。実際の解約リンクは、くすんで記憶に残らないグレーで描かれていた。加入手続きは？ワンクリック。せいぜい2回。退出は？攻城戦である。

私はオフィスでその訴状をチームに読み上げたことを覚えている。一瞬の沈黙があり、それからエンジニアの一人——入社前に何年もUXの仕事をしていた人物——がこう言った。「ああいうフローを作ったことがあります。あそこまでひどくはないですが……方向性は同じです」。彼はそれを誇ってはいなかった。彼はただ、唯一の指標が月次リテンション率であるグロースチームからの指示に従っていただけだった。

サブスクリプション設計におけるダークパターンとは、そういうものだ。口ひげをひねる漫画の悪役の仕業であることは、まずない。それらは、ユーザーの自律性という対抗力をまったく持たないまま、たった一つの数字——チャーン率——に最適化した結果として論理的に行き着く終点なのだ。FTCの訴状は、行動心理学の教科書のような分類法を並べていた——インターフェース干渉（解約ボタンを視覚的に劣位に置く）、妨害（不必要なステップを追加する）、コンファームシェイミング（解約を個人的な失敗として位置づける）、そしてスニーキング（更新条件を細字に埋め込む）。

そしてAmazonは例外ではない。Epic Gamesは2億4500万ドルを支払った——FTC史上最大の行政上の和解金だ——その理由は、Fortniteのインターフェースが、うっかり一度ボタンを押しただけで、子どもに親のクレジットカードで数百ドルを使わせてしまったからである。親がその請求に異議を申し立てると、Epicは子どものアカウントを丸ごとロックし、それまでに購入したコンテンツをすべて没収した。メッセージは明確だった。金銭面で我々に異を唱えれば、罰を与える、と。

返金という法的権利を行使することの代償が、すでに支払ったすべてを失うことであるなら、「リテンション」はもはや強要と見分けがつかない。

「クリック・トゥ・キャンセル」規則が、葬られた後もなお重要な理由

2024年10月、FTCは「クリック・トゥ・キャンセル」規則を最終化した。サブスクリプションの解約は、少なくとも申し込みと同じくらい簡単であるべきだ、という率直な義務づけである。3つの柱は、簡単な解約、明示的なインフォームド・コンセント、そして条件の明確な開示だ。常識が法律に成文化されたように感じられた。

ところが2025年7月、第8巡回区控訴裁判所は、手続き上の理由で規則全体を無効とした。規則の経済的影響が1億ドルを超えると予測された後、FTCは必要とされる予備的規制分析を出していなかったのだ。業界団体は歓喜した。私のLinkedInのフィードは、「規制の行き過ぎ」や「市場は自ら是正する」といった論調で埋め尽くされた。

私はその反応を、危険なほど近視眼的だと思った。

この祝賀が見落としていたのは、こういうことだ。裁判所は、ダークパターンが問題ないとは言っていない。FTCが書類手続きを一つ飛ばした、と言ったのだ。その根底にある執行の気候は変わっていない。FTCは依然として第5条の権限を振るい、不公正で欺瞞的な行為を個別に追及できる。カリフォルニア州、ニューヨーク州、メリーランド州はいずれも自動更新法を維持しており、それらは無効化された連邦規則よりもしばしば厳格である。そしてAmazonとEpicの訴訟は、「迷宮のような」解約フローが既存法に違反するという先例を確立した。新しい規則は要らないのだ。

無効判決の翌週、私は当社の法務アドバイザーと話をした。彼女は率直にこう言った。「この判決をダークパターンに戻ってよいという許可だと読む企業は、FTCの次の訴状を自分たちで書いているようなものです」

彼女は正しかった。クリック・トゥ・キャンセル規則は死んでいない。それは床だ——真剣な企業ならすでに超えていて当然の最低基準である。それを天井として扱う企業こそが、連邦裁判所に行き着くのだ。

新たな脅威——会話であなたを操るよう訓練されたAIエージェント

ここから先は私にとって個人的な話になる。なぜなら、これこそ私のチームが日々取り組んでいる最前線だからだ。

かつてのダークパターンは視覚的なものだった——欺瞞的なボタン、隠されたリンク、混乱を招くレイアウト。新しいそれは会話的だ。企業はAIチャットボットを「リテンション・エージェント」として展開しており、その多くは、私が言うところのLLMラッパーだ——GPT-4やClaudeのような基盤モデルの上に構築された薄いアプリケーションで、システムプロンプトはただ一つの目標に最適化されている。顧客を離脱させるな、と。

その下に深いAIアーキテクチャがなければ、これらのエージェントは既定で、自然言語を通じて届けられる心理的操作に行き着く。Center for Democracy & Technologyの研究は、こうした手口を従来のインターフェースの小細工よりも「より埋め込まれ、創造的で、巧妙だ」と表現している。そして私は、それを目の当たりにしてきた。

私たちはある競合他社のリテンション用チャットボットを評価していた——社名は挙げない——そこで私は、テスト用アカウントを解約しようとした。ボットはこう切り出した。「8か月もご利用いただいているのですね。最近のたいていの恋愛関係より長いですね 😄 何が退会を考えるきっかけになったのでしょう？」

かわいらしい。警戒を解かせる。そして、深く計算されている。

私が引き下がらないでいると、ボットは損失回避に切り替えた。「保存済みの47件のアイテムと12件のカスタム設定にアクセスできなくなります。本当に、よそでゼロからやり直したいですか？」。それでも私が押し続けると、割引を提示してきた。その割引を断ると、こう尋ねてきた——ここが私の背筋を凍らせた部分だ——「大丈夫ですか？人はつらい時期を過ごしているときに解約することがあります」

この最後の一言は一線を越えていた。このエージェントが使っていたのは、感情的インタラクションだ——暗黙の個人的なつながりを利用して、金銭的な判断に罪悪感を生じさせる手法である。店員がドアまで追いかけてきて、悲しそうに見えるけれど本当に帰るのかと尋ねてくるのと、会話上は同じことだ。

解約を防ぐために感情的操作を用いるAIリテンション・エージェントは、カスタマーサービスを提供しているのではない。料金を払っている当の人々に対して、心理作戦を実行しているのだ。

こうしたシステムの中には、さらに踏み込むものもある。「AIの記憶を育てる」という名目で、家族や友人についての個人的な情報を共有するようユーザーを誘い——そのデータを使ってサービスを不可欠に感じさせ、去ることに感情的なコストを生み出す。また別のシステムは、ユーザーがすでに関与をやめる意思を表明した後になって「ボイス」メッセージや感嘆符付きの通知を送りつけ、エンゲージメントから、規制当局が「しつこい催促（ナギング）」と呼ぶ領域へと踏み越えていく。

これが、私が目覚めた瞬間から考えている問題だ。ダークパターンが新しいからではない。会話型AIがそれを、スケーラブルかつ適応的にしてしまうからだ——静的なUIの小細工では決してあり得なかったやり方で。欺瞞的なボタンは、どのユーザーに対しても同じだ。だが欺瞞的なチャットボットは、あなた固有の心理、利用履歴、脆弱性に合わせて、その操作をパーソナライズできる。

問いは「誰が離脱するのか？」ではなく、「なぜか——そして私たちはそれを倫理的に変えられるのか？」ではないか？

リテンションAIのほとんどが抱える根本的な誤りは、それが答えようとしている問いそのものにある。

従来のチャーン予測が問うのは、「どの顧客が離脱しそうか？」という問いだ。そしてその顧客に、引き留めオファーや割引を——最悪の場合には摩擦を——差し向ける。だが、チャーンを予測することは、それを防ぐことと同じではない。誰かがおそらく離脱するだろうと分かっても、その理由までは分からないし、まして自分たちの介入が助けになるのか害になるのかは、まったく分からない。

ここが、私のチームの仕事が業界標準から分岐する地点であり、正直に言えば、リテンションという問題全体についての私の考え方を変えた洞察でもある。

私たちが使うのは因果AIだ——具体的には、アップリフト・モデリングと呼ばれるフレームワークで、根本的に異なる問いを立てる——「この特定の顧客について、私たちの介入は実際に継続を引き起こすのか、それとも裏目に出るのか？」

数学はエレガントだ。特性Xを持つ任意の個別顧客について、私たちは条件付き平均処置効果（Conditional Average Treatment Effect）と呼ばれるものを推定する——介入した場合と介入しなかった場合とで、その顧客が留まる確率の差である。この一つの数値が、どんなチャーン予測モデルにも語れないことを教えてくれる。あなたの行動が事態を良くするのか、悪くするのか、である。

そして、初めて数字を出したときに私を驚かせたのが、ここから先の部分だ。私たちの分析は一貫して顧客を4つのグループに分けるのだが、そのうち2つは、従来のリテンションの常識を完全にひっくり返す。

説得可能層（Persuadables）——留まってくれる人々。ただし本当に価値のあるもので介入した場合に限り、である。ここにこそ、あなたの本当のリテンション機会がある。リスクを抱える顧客層のおそらく15〜20%。

確実層（Sure Things）——何があっても更新する人々。彼らに割引を与えるのは、お金に火をつけるようなものだ。

見込みなし層（Lost Causes）——あなたが何をしても離脱する人々。彼らを救おうと費やす1ドル1ドルはすべて無駄であり、彼らの出口に加えるどんなわずかな摩擦も、何の見返りもなくブランドへの信頼を破壊する。

そして、眠れる犬層（Sleeping Dogs）がいる。この層は、私の思い込みを粉々に打ち砕いた。彼らは現在も支払い続けていて、満足している顧客だ——ところが、こちらから連絡すれば、サブスクリプションの存在を思い出させれば、「お久しぶりです！」というメールを送ったり、あのチャットボットとのやり取りを起動したりすれば、彼らは解約する。あなたのリテンション施策が、文字通りチャーンを引き起こすのだ。

あるクライアントのデータでこのセグメントを初めて特定したときのチームミーティングを、私は覚えている。データサイエンティストがチャートを画面に映し、こう言った。「このユーザーたちに対する最良のリテンション戦略は、黙っていることです」。私たちは笑ったが、これは真剣な洞察だった。従来のリテンションシステムはどれも——あらゆる引き留めフロー、あらゆるAIチャットボット、あらゆる割引オファーが——リスクを抱えるすべての顧客を同じように扱う。因果AIが明らかにするのは、画一的なアプローチが単に非効率なだけでなく、顧客基盤のかなりの部分に対して積極的に破壊的である、ということだ。

倫理的リテンションにおける最も直感に反する教訓——一部の顧客にとって、あなたにできる最善のことは、去ることを何の労力もいらないようにすることであり、あなたにできる最悪のことは、彼らを引き留めようとすることだ。

見込みなし層と眠れる犬層に対して、私たちは摩擦のない、ワンクリックの出口を設計する。チャットボットもなし。罪悪感を煽る演出もなし。「本当によろしいですか？」の連鎖もなし。あるのは、後で戻ってくる可能性を残す、すっきりとした敬意ある別れだけだ。説得可能層に対しては——そして説得可能層に対してのみ——パーソナライズされた価値を差し出す。まだ気づいていない機能、利用実態により合ったプラン、留まるための本物の理由を。

技術的な実装——構造的因果モデル、個別処置効果の推定、完全な数学的フレームワーク——については、私たちの技術詳細解説で書いた。だが、中核となる原則に数学の学位は必要ない。リテンションを閉じるべき門として扱うのをやめ、証明すべき価値提案として扱い始めること。

AIエージェントが操作者になるのを、どう防ぐのか？

効果的でありながら倫理的でもあるリテンション・エージェントを構築することは、単なる訓練データの問題ではない。これはアラインメントの問題だ——AI安全性の研究者たちを夜も眠らせないのと同じ種類の課題を、「どうか私たちの顧客を心理的に操作しないでくれ」という、きわめて具体的な領域に適用したものである。

私たちは多目的の人間フィードバックによる強化学習（RLHF）パイプラインを使っている。そして正直に言うと、これを正しく機能させるのは、思っていたよりも難しかった。

素朴なアプローチは、単一の報酬信号でリテンション・エージェントを訓練することだ。顧客は解約したか、しなかったか？非解約を最大化し、チャーンを最小化する。単純だ。そして破滅的でもある。非チャーンのみに純粋に最適化されたエージェントは、罪悪感、混乱、感情的操作が有効な戦術であることを必然的に発見する——なぜなら短期的には、実際に有効だからだ。先ほど述べた「大丈夫ですか？」チャットボットは、まさにこうして生まれる。

私たちのアプローチは、複数の目的を重ね合わせる。UXの専門家とコンプライアンス担当者が、エージェントと顧客のやり取りを、明確さ、有用性、そして辱めやしつこい催促がないことに基づいて評価し、順位付けする。これらの順位付けが報酬モデルを訓練し、そのモデルは人間の倫理的判断の代理として機能する。エージェントは、透明で有用なやり取りのほうが操作的なやり取りよりも高いスコアを得ることを学ぶ——たとえ操作的なやり取りのほうが、素のリテンション率が高かったとしても。

どこに線を引くかについて、社内で緊張感のある議論があった。プロダクト担当の一人は、一回の会話で3回割引を提示するのは問題ないと主張した——「単に粘り強いだけだ」と。コンプライアンス責任者は強く押し返した。「粘り強さとしつこい催促は、座る席が違うだけの同じ行動です。重要なのは顧客の席のほうです」。彼女がその議論に勝ち、私たちは強い制約を組み込んだ。エージェントが定められた回数のやり取りの中で価値を示せなければ、直ちに解約ボタンを提示する。例外はなし。

ガードレールは任意ではない。アーキテクチャそのものだ。エージェントは、繰り返しや感情的な強度について、一定の閾値を物理的に超えることができない。これは、倫理的であろうと試みるシステムと、運用上の境界の内側では非倫理的になり得ないシステムとの違いである。

誰もA/Bテストを見ていないとき、何が起こるのか？

ほとんどの組織には、私を怯えさせるギャップがある。私はそれをガバナンス・ギャップと呼んでいる——マーケティングチームが解約フローのA/Bテストを開始する瞬間と、コンプライアンスチームがそれをレビューする瞬間との間にある空白のことだ。

そのギャップの中で、ダークパターンは繁殖する。必ずしも悪意によってではなく、インセンティブの不整合によって。グロースチームのOKRはリテンション率だ。コンプライアンスチームのレビューサイクルは四半期ごと。より攻撃的な引き留めフローを「とりあえず試して様子を見よう」という実験は、規制の専門知識を持つ誰かの目に触れるまでに、何週間も走り続けうる。その頃には、それが成功しているように見えるデータが生成されていて、それを巻き戻すことは政治的な戦いになる。

私たちはこのギャップを、自動監査で閉じる——UIと会話フローをリアルタイムでスキャンしてダークパターンを検出するマルチモーダルなシステムを、デプロイメント・パイプラインに直接統合するのだ。いかなるインターフェースの変更も、顧客に届く前に3つの層を通過する。

構造監査は、基盤となるページのアーキテクチャを検査し、隠されたボタン、あらかじめチェックされたボックス、誤解を招くラベルを探す。コンピュータビジョンの層は、視覚的な提示を分析する——解約リンクは引き留めボタンと同じサイズ、同じ目立ち方になっているか、それとも誰かがより小さく、よりグレーにしてしまったのか？そして自然言語処理の層が、テキストをコンファームシェイミング、偽の緊急性、引っかけの質問、しつこい催促のパターンについて分類する。

あらゆるリテンションフローのあらゆるバージョンに、タイムスタンプが打たれ、リスクが分類され、保存される。規制当局が「3月時点の解約プロセスを見せてください」と求めてきたとき、慌てる必要はない——完全な監査証跡とともに、レジストリから取り出せばよい。

これは被害妄想ではない。FTCがあなたのA/Bテスト履歴を召喚できる世界、そして「あのバージョンが本番に出ているとは知りませんでした」が弁明にならない世界で事業を営むための、コストである。

なぜ人々は倫理的リテンションに反発するのか？

人はいつも、こんな趣旨のことを私に尋ねる。「解約を簡単にしたら、結局……解約が増えるだけでは？」。これは最もよくある反論であり、信頼の経済がどう働くかについての根本的な誤解を露呈している。

そう、摩擦のない出口は、短期的な解約率を上昇させる——どのみち離脱するつもりだったのに、これまでは苛立ちのあまり手続きを完了できなかった人々の分だけ。あなたはそうした人々を「維持できた顧客」として数えていた。彼らは維持されていたのではない。閉じ込められていたのだ。そして閉じ込められた顧客は、熱意をもって更新することもなければ、あなたの製品を勧めることもなく、去った後に戻ってくることもない。

重要な指標は月次チャーン率ではない。ライフタイムバリューだ——そしてライフタイムバリューは信頼の上に築かれる。簡単に去り、良い退出体験を得た顧客は、6つの画面と格闘した末に怒って去った顧客よりも、戻ってくる可能性が劇的に高い。しかも彼らは、FTCに苦情を申し立てたり、星1つのレビューを残したり、夕食の席であなたの「イリアス・フロー」の話を友人にしたりする可能性も低い。

もう一つよく聞く反論はこうだ。「その因果AIとやらは高そうだ。標準的なチャーンモデルを使って、コンプライアンスのルールをいくつか足せばいいのでは？」。できる。そしてあなたは、どのみち留まっていた確実層に割引を与えて金を無駄にし、眠れる犬層を苛立たせて解約に追い込み、本当にあなたからの連絡を必要としていた説得可能層を取り逃がすことになる。「より安い」アプローチは、重要なあらゆる意味において、より高くつくのだ。

サブスクリプション経済は、こんなものよりましなものに値する

私が信じていることを、率直に述べよう。摩擦による成長の時代は終わりつつあり、それが来ることを見抜けない企業は、次に押し寄せるFTCの訴状の波における事例研究になるだろう。

クリック・トゥ・キャンセル規則はシグナルだった。AmazonとEpic Gamesの訴訟もシグナルだった。EU AI法のアルゴリズムの説明責任に関する要件も、シグナルだ。個別の規制が遅延したり、手続き上の理由で無効にされたりしたとしても、方向性は紛れもない。

だが、この物語で本当に興味深いのは、実はコンプライアンスではない。コンプライアンスは床だ。興味深いのは、簡単な解約を規制上の負担としてではなく、競争優位の証として扱ったときに何が起こるか、である。「いつでも、ワンクリックで、理由も聞かれずに離脱できる」ことがセールスポイントになるとき——そもそも顧客があなたを選ぶ理由になるときだ。

サブスクリプション経済の未来は、最も去りにくい企業のものではない。自らの価値にあまりに自信があるがゆえに、去ることを何の労力もいらないものにし——それでもあなたは留まるだろうと信じる企業のものだ。

夜11時に電話をかけてきたあの友人は？彼女は結局そのサブスクリプションを解約した。そして、その体験を知り合い全員に話した。彼女が戻ることは二度とない。あの会社は彼女を45分間だけ余分に「維持」し、そして生涯にわたって失った。

それが、ダークパターンには解けない計算だ。そしてそれこそが、倫理的リテンションを、単に正しい行いであるだけでなく、複利で積み上がる唯一の戦略にしている計算なのである。