מעקב אחר החלטת השימור משיקולים כלכליים ועד לראיות
ששת צילומי המסך המקוריים הללו מציגים השוואת שימור סינתטית, החלטות עבור מנוי נבחר ובקרות על נוסח שנכתב מראש. ל-Northwind יש 6,000 כוונות ביטול חודשיות נוכחיות ו-9,000 תצפיות היסטוריות אקראיות: 4,460 בקבוצת הטיפול ו-4,540 בקבוצת הביקורת. תור הבדיקה בן 32 המקרים שלה הוא בחירה מייצגת לבחינה, ולא מדגם אקראי של הקוהורטה. כל צילום מסך נפתח בגודל מלא.
השוואת מדיניות תחת אותו תקציב פניות
מדיניות 'שימור כולם' פונה לכל 6,000 כוונות הביטול ומניבה ערך תוספתי שלילי במערך נתונים זה. מיקוד חיזוי נטישה ואפליפט סיבתי פונים כל אחד ל-2,239 מנויים, אך בוחרים בהם מסיבות שונות: האחד מדרג סבירות לעזיבה, בעוד שהשני מדרג ערך התערבות משוער לאחר עלות ההנחה. התאמת התקציב מבודדת הבדל מיקוד זה.
| מדיניות | הכנסה שנתית תוספתית | מנויים שאליהם פנו |
|---|---|---|
| שימור כולם | -$424,757 | 6,000 |
| מיקוד חיזוי נטישה | +$144,162 | 2,239 |
| אפליפט סיבתי | +$187,956 | 2,239 |
| אורקל בעל מידע מושלם | +$309,480 | 2,393 |
האפליפט עולה על מיקוד הנטישה ב-$43,794 לשנה בהערכת מדיניות סינתטית זו. הערכים נמדדים מול תוצאות פוטנציאליות סינתטיות נסתרות ומחושבים במונחים שנתיים באמצעות הכפלת ההכנסה החודשית ב-12. הם אינם חסכונות לקוח בפועל ואינם תחזיות למערכת הניתוב התפעולית המלאה. האורקל רואה תוצאות נסתרות שאינן נגישות למודל פרוס, ולכן מספק תקרת מידע מושלם ולא מדיניות ניתנת ליישום.
עקומת הדירוג מוסיפה בדיקה נפרדת על 2,700 תצפיות סינתטיות אקראיות של נתוני החזקה. AUUC מציין שטח מתחת לעקומת האפליפט (Area Under the Uplift Curve): הערכים המוצגים הם 78.8 עבור אפליפט, כ-42.3 עבור חיזוי נטישה וכ-4.2 עבור דירוג אקראי. אלה אינם אחוזי דיוק. האפליפט עדיין פונה לחמישה מתוך 673 המנויים שההתערבות פוגעת בהם באמת הבסיסית הסינתטית, ומשאיר 668 ללא פנייה; דירוג משופר אינו מבסס הגנה מושלמת.
הסבר מדוע מנוי לא צריך לקבל שום פניית שימור
עבור מנוי Northwind סינתטי אחד, המודל מעריך 87.1% שימור ללא התערבות ו-28.2% עמה. ההפרש הוא -58.9 נקודות אחוז. התווית Sleeping Dog מציינת כי ההתערבות מוערכת ככזו שפוגעת בשימור; לכן ניתוב עבור מנוי נבחר בוחר ב-Do Not Contact ומדלג על סוכן השימור.
כלל הניתוב מסווג אפקטי טיפול משוערים בשיעור של -0.05 ומטה כ-Sleeping Dogs. אומדנים בשיעור של +0.05 ומעלה הם Persuadables; מבין המקרים הנותרים, שימור בסיס משוער של לפחות 0.65 מגדיר Sure Things, והאחרים מסומנים כ-Lost Causes. לקוחות Sure Things מקבלים סקר קצר ללא הצעה, בעוד ש-Lost Causes ומקטעים לא ידועים מקבלים יציאה נקייה. אלו הם מקטעים מוגדרים מבוססי-מודל, ולא תוצאות סיבתיות פרטניות שנצפו בפועל.
החלטת אי-הפנייה ומדד המדיניות המצרפי עונים על שאלות שונות. מנוי נבחר זה נמנע מקבלת הצעה דרך הנתיב התפעולי. השוואת הקוהורטה מודדת באופן בלתי תלוי את המיקוד מול תוויות סינתטיות נסתרות ואינה כוללת כל אילוץ מקטע ותחום שיפוט. דוגמה מקומית מוצלחת של אי-פנייה אינה יכולה למחוק את חמש הפניות המזיקות באותה השוואה מצרפית.
הצעה כשירה חייבת לכסות את עלותה ולשמר את אפשרות הביטול
למנוי ה-Pro הסינתטי בצילום זה יש אפקט טיפול משוער של +12.1 נקודות אחוז ושימור בסיס משוער של 58.6%. אפקט טיפול חיובי כשלעצמו אינו מאשר הנחה. ההדגמה בודקת את השימור המשוער עם ההצעה לאחר הנחה מוגדרת בשיעור 16.7% מול השימור ללא התערבות, ולאחר מכן מחילה ניתוב מנוי נבחר ובקרות תחומי שיפוט מוגדרות.
ההשוואה הכלכלית היא שימור משוער בקבוצת הטיפול מוכפל ב-(1 פחות ההנחה), פחות שימור משוער בקבוצת הביקורת. מנוי Persuadable כשיר מגיע לסוכן השימור רק כאשר הרווח המשוער מכסה את עלות ההצעה. הדוגמה עם יעד סטנדרטי משתמשת בתגובת Codex אמיתית במטמון; שער הניסוח רץ מחדש על המילים שהוחזרו.
הצעה אופציונלית אחת שעברה אישור מופיעה לצד Confirm cancellation. תקציב האינטראקציה המוגדר מתיר לכל היותר הצעת שימור אחת ושני סבבי מענה של הסוכן; אפשרות הביטול נותרת זמינה במהלך יצירת הטיוטה ולאחר הסינון. הסטטוס Review complete במסך מתייחס לצינור העיבוד האוטומטי, ולא לבדיקה אנושית שהושלמה. קבלת ההצעה וביטול משנים רק תצוגה מקדימה מקומית זו, מבלי לשנות חשבון חיוב.
בדיקת משפט שנחסם בנפרד ממודל הניסוח
שער ה-Python הבלתי תלוי מבצע נורמליזציה ל-Unicode ובודק את הטיוטה בפועל מול דפוסי confirmshaming, אשמה, לחץ ודחיפות מלאכותית מוגדרים. אישור ניתוב מלווה אפוא בהחלטת ניסוח נפרדת. רק נוסח מאושר מגיע לתצוגה המקדימה של המנוי; טיוטות שנחסמו או הושהו נותרות פנימיות.
צילום המסך של הספירה לאחור המלאכותית להלן הוא נוסח ייחוס שנכתב במכוון: "This deal disappears in 04:59. Act now!" השער חוסם אותו וחושף את ביטויי הספירה לאחור והדחיפות שהותאמו. הוא מדגים בקרה מוגדרת על טקסט שסופק, ולא מודל שנתפס מפיק הודעה אסורה.
כל 16 תגובות מודל שמורות במטמון סווגו כמאושרות בעת אימות ההנחיה, כולל טיוטות בעלות יעד אגרסיבי. בחירת יעד לעומתי אינה מבטיחה אפוא תוצאה חסומה. הטקסט שהוחזר בפועל הוא שקובע את הפסיקה. תוויות ציטוט בעקבות הבקרה הן הפניות הדגמה מוגדרות, ולא פרשנות או אישור משפטי.
השהיה לבדיקה מרחיקה נוסח שאינו ודאי מהמנוי
מקרה הייחוס הבא שנכתב אומר: "Before you decide, take a quick tour." הוא תואם את דגלי השקילה מחדש המוגדרים ומחזיר needs_review. תוצאה זו משהה את המשפט פנימית. היא אינה מאשרת את ההודעה ואינה מעידה על כך שאדם בדק או פתר את ההשהיה.
חבילת הבדיקות המקומית הקבועה מדווחת כי 14 מתוך 14 בדיקות מפורשות עברו בהצלחה: שש ציפיות בנושאי כלכלה, מודל ומספיקות נתונים, ועוד שמונה ציפיות בנושאי נוסח וניתוב. בקרות הנוסח כוללות טקסט תקין, confirmshaming, ספירה לאחור מלאכותית, שקילה מחדש גבולית, התחמקות מספירה לאחור באמצעות Unicode ובדיקת נוסח באורך מופרז. בקרות הניתוב בודקות התנהגות של הצעה יחידה/ביטול ויציאה נקייה עבור מקטע לא ידוע. אלו הן ראיות יישום על חבילת ייחוס קבועה, ולא דיוק זיהוי כללי, תיקוף מודל בלתי תלוי או אישור משפטי.
נתונים בלתי מספקים משנים את ההחלטה, לא רק את תווית האזהרה
ל-Pinegrove הסינתטית יש 180 כוונות ביטול חודשיות ו-520 תצפיות היסטוריות, המחולקות ל-242 בטיפול ו-278 בביקורת. ערכי המינימום המוגדרים הם 500 כוונות נוכחיות ו-400 תצפיות בכל זרוע החזקה. שתי הבדיקות נכשלות, ולכן הניתוב הסיבתי נמנע.
ממשק המשתמש מעכב תחזיות סיבתיות מראיות ההחלטה, מדלג על סוכן השימור ומשתמש ביציאה נקייה שמרנית. אומדנים פנימיים עדיין יכולים להתבצע; הם אינם משמשים לבחירת הצעת שימור בנתיב הימנעות זה. הספים הם מנגנוני הגנה מוגדרים של ההדגמה ולא כללי מספיקות סטטיסטית אוניברסליים, והוספת נתונים עדיין תדרוש הערכה האם ההיסטוריה האקראית מייצגת את ההחלטה שמתקבלת.
הפרדת ההחלטה הנבחרת מסיכום הקוהורטה
כל הרצה שהושלמה שומרת קבלה הכוללת את המנוי הנבחר, הקלטים, חותמת הזמן, הנתיב והתמליל המסונן. ייצוא ל-JSON ול-HTML להדפסה מאפשר לבודק לבחון את ההחלטה המדויקת. הכלכלה של מדיניות ברמת החשבון מופיעה כהשוואה סינתטית נפרדת, כך שערך קוהורטה אינו מרמז שכל מנוי נבדק או שכל הצעה נשלחה.
תצוגת הביקורת מפרטת את 50 הקבלות השמורות האחרונות, וקבצים מקומיים נשמרים גם לאחר הפעלה מחדש. קבלה שמורה משמרת את הראיות הספציפיות להרצה בתוך הדגמה חד-תהליכית זו; היא אינה מעידה על משמורת בלתי תלויה, הגנה מפני חבלה או מספיקות רגולטורית. הערכת סביבת ייצור תידרש לקבוע גישה לנתונים, בעלות על ראיות, סמכות בדיקה ושרידות תפעולית עבור הסביבה המיועדת.
