בינה מלאכותית לשימור מנויים זקוקה לסיבה כדי להציע הצעה
מנוי בעל סבירות גבוהה לביטול הוא מועמד מובן מאליו להצעת שימור. הדבר הופך את חיזוי הנטישה לנקודת מוצא מפתה לאוטומציה. אך השאלה המועילה היא האם ההתערבות המסוימת הזו משפרת את התוצאה במידה מספקת כדי להצדיק את עלותה. אדם מסוים עשוי להיות בעל סבירות גבוהה לעזוב וסבירות נמוכה להפיק תועלת מהנחה. אדם אחר עשוי להיות בעל סבירות גבוהה להישאר עד שההתערבות מחמירה את המצב.
אני רוצה שמערכות שימור ירוויחו את הזכות לקבל את ההחלטה להציע הצעה לפני שהן זוכות ביכולת לנסח אותה. טיוטה משכנעת אינה יכולה לספק את הראיות החסרות לכך שהתערבות היא מועילה. וראיות לכך שהצעה עשויה לסייע אינן יכולות לקבוע שהמסר בפועל מקובל. אלו הם שיקולי דעת נפרדים, עם סיבות נפרדות להימנעות מפעולה.
אותו מספר הצעות יכול לייצר ערך שונה
הדמו שלנו של בינה מלאכותית אתית לשימור מנויים (Ethical Subscription Retention AI) משתמש בקוהורט מנויים סינתטי כדי להפוך את ההבחנה הזו לניתנת לבדיקה. ההשוואה מעריכה מדיניות מול תוצאות סינתטיות נסתרות, כך שהיא יכולה להשוות מה קורה עם התערבות לעומת מה שקורה בלעדיה. אותן תוצאות נסתרות משמשות להערכה, ואינן מסופקות למודל כתוויות אימון.
מיקוד חיזוי נטישה ו-causal uplift פונים כל אחד ל-2,239 מתוך 6,000 מנויי הקוהורט בעלי כוונות ביטול נוכחיות. הראשון מדרג סיכון נטישה. השני ממקד את תועלת ההתערבות המשוערת לאחר עלות ההנחה שהוגדרה. מיקוד חיזוי מייצר הכנסה מצטברת שנתית של $144,162 בהשוואה להשארת הקוהורט ללא מגע; uplift מייצר $187,956. אלו הן הערכות מדיניות סינתטיות, בנפרד מאילוצי הניתוב המלאים של המנויים בדמו. הן אינן הכנסה שהתממשה בפועל ולא תחזית לשירות שמופעל בסביבת ייצור.
תקציב הפניות השווה חשוב. היתרון של מדיניות ה-uplift כאן אינו נובע משליחת פחות הצעות. הוא נובע מבחירת קבוצת נמענים שונה. צוות יכול לעמוד ביעד היקף פניות ועדיין לבזבז את ההנחות שלו על אנשים שהיו נשארים ממילא, על אנשים שההצעה אינה יכולה לשכנע, או על אנשים שההתערבות פוגעת בהם.
זה משנה גם את האופן שבו אני מפרש הצלה מוצלחת. מנוי שמקבל הנחה הוא הצלחה גלויה לעין עבור תהליך הצעה. אילו אותו מנוי היה מחדש במחיר מלא, התהליך קנה תוצאה שלא היה צורך לקנות. ספירת הצעות שהתקבלו כשלעצמה אינה יכולה לחשוף את העלות הזו. הערכה זקוקה להשוואה לתרחיש ללא התערבות, כמו גם לעלות ההצעה.
איפוק זקוק לנתיב ניתוב, לא רק לציון מספרי
הדמו אומד שימור עם ובלי התערבות מתוך היסטוריה אקראית של קבוצת טיפול וביקורת. ההפרש ביניהן הוא causal uplift משוער: השינוי המיוחס להתערבות תחת המודל. זהו אומדן, ולא תוצאה סיבתית ידועה מראש עבור מנוי יחיד.
למנוי סינתטי אחד יש שימור משוער נמוך משמעותית עם התערבות מאשר בלעדיה. נתיב המנוי הנבחר מתעד היעדר פניית שימור ומדלג על ניסוח הודעה. תווית המידול עבור מקרים אלה שנפגעים מהתערבות היא Sleeping Dogs. באותו נתיב, איפוק מתרחש לפני שמסר משכנע יכול להפוך לצעד הבא המוגדר כברירת מחדל.
המדיניות המצרפית אינה מושלמת. היא משאירה 668 מתוך 673 מקרי Sleeping Dogs אמיתיים ללא פנייה בקוהורט הסינתטי, אך עדיין פונה לחמישה. תוויות המבחן הנסתרות מאפשרות לנו לספור את ההחטאות הללו. הן לא היו זמינות כ-ground truth פרטני במערכת פעילה. אני מתייחס לתוצאה כסיבה לבחון התערבויות מזיקות, ולא כהרשאה לטעון שמודל סיבתי מעלים אותן לחלוטין.
זהו גבול לא נוח עבור צוות שימור: דחיית הצעה עלולה לוותר על הצלה אמיתית, בעוד שאישור הצעה עלול לבזבז הנחה או להחמיר את השימור. עמדת התכנון שלי היא להפוך את שתי העלויות לגלויות לעין. נתיב שמרני הוא בחירה תחת אי-ודאות, ועליו לשאת נימוק שניתן לערער עליו.
מה עושים כאשר הראיות דלות
לחשבון סינתטי שני בדמו יש מעט מדי נתונים עבור דרישות הראיות שהוגדרו לו. הממשק מונע תחזיות החלטה סיבתיות, מדלג על הסוכן ומציע יציאה נקייה. ספי הראיות הם כללי הדגמה, ולא מבחן אוניברסלי למספיקות סטטיסטית. חישובים פנימיים עשויים עדיין להתקיים; ההתנהגות החשובה היא שהם אינם הופכים לראיות עבור הצעת שימור אוטומטית.
קל היה להחליף את ההמלצה הסיבתית החסרה הזו בציון נטישה (churn score). הדבר משמר את האוטומציה, אך עונה על שאלה אחרת. סבירות גבוהה לעזיבה אינה מוכיחה שההנחה המוצעת משנה את ההחלטה. כינוי ההחלפה הזו בשם fallback עלול להסתיר בדיוק את ההבחנה שהמערכת נבנתה כדי לשמר.
עבור צוות ייצור היפותטי במצב זה, אני מעדיף יציאה זמנית ללא הנחת שימור אוטומטית בזמן שהוא אוסף ראיות הרלוונטיות להתערבות. הדבר עולה בהצלות פוטנציאליות בטווח הקצר. הוא גם מונע קבלת החלטות הנחה רחבות היקף על סמך ציון שאינו מודד את תועלתן. הבחירה צריכה להיות מפורשת בהערכה, במקום להיעלם כמדד הימנעות מוצלחת.
אם הצוות בוחר ללמוד באמצעות ניסוי חדש, הניסוי זקוק לקבוצת טיפול, להשוואה ללא התערבות ולעלות הצעה מוגדרת. במסגרת היפותטית זו, הייתי מחזיר הנחות אוטומטיות כאשר ההשוואה באוכלוסייה הרלוונטית תומכת בערך מצטבר לאחר עלויות. קבלת הצעות רבות יותר לבדה לא הייתה משנה את החלטתי. הניסוי עדיין זקוק לבקרות עצמאיות על מסרים וביטולים. צבירת תצפיות נטישה נוספות בלבד לא תענה על השאלה מה ההצעה משנה. זוהי פעולה נפרדת שאושרה במכוון; הדמו אינו מיישם תהליך למידה פרודקטיבי זה.
ערך ההצעה אינו מאשר את המסר
אפילו הצעה מבטיחה מבחינה כלכלית זקוקה להחלטה נוספת לפני שהיא מגיעה למנוי. מדד ההשוואה המובנה בדמו של ספירה לאחור מלאכותית (artificial-countdown benchmark) ממחיש זאת באופן קונקרטי: שער לקסיקלי דטרמיניסטי מחוץ למודל הניסוח חוסם את מסר הלחץ, והמילים נשארות מחוץ לתצוגה המקדימה של המנוי. הביטול נותר נגיש. זהו מקרה של נוסח ייחוס (reference copy), ולא תגובת מודל שנדחתה. הוא מדגים סמכות למנוע מסר לאחר ההחלטה לשקול מתן הצעה.
השער מזהה דפוסי שפה שהוגדרו, ולכן מעבר דרכו אינו מאמת כל עובדה או משמעות. כפתורי הצעה וביטול משפיעים גם הם רק על התצוגה המקדימה המקומית, ללא אינטגרציה עם מערכת חיוב בייצור. במסגרת מגבלות אלה, הבקרה מספקת מבחן הערכה מועיל: טיוטה אסורה חייבת להיעצר בשער. אזהרה שמשאירה את אותן מילים במסלולן אל המנוי לא הייתה מספקת התנהגות זו.
צוות שמעריך ארכיטקטורה זו צריך אפוא לבחון שני דברים באופן עצמאי: האם המיקוד מייצר ערך מצטבר לאחר עלויות, והאם מסר אסור אכן נמנע בפועל. כדאיות כלכלית חזקה אינה יכולה להצדיק הפעלת לחץ במסר. שפה נקייה אינה יכולה להציל הצעה שהתועלת הצפויה ממנה אינה מכסה את עלותה.
הנה סקירת הווידאו של המייסד על הדמו, כולל ההחלטות להציע הצעה או להשאיר מנוי ללא מגע.
ה-הסבר המלווה את הדמו מציג את זרימת העבודה הסינתטית ואת ראיות ההחלטה שלה. מה שאני רוצה שבונה מערכות ייקח מכך הוא תקן רכש והערכה: דרשו את הסיבה לכך שהצעה ניתנה, את הסיבה לכך שהצעה אחרת נמנעה, ואת הראיות שעשויות לשנות כל אחת מההחלטות. מערכת שיכולה להסביר רק את הצעותיה המוצלחות משאירה את השיפוט הקשה יותר לכל הגורמים בהמשך השרשרת.
