הטענה הייתה אמת. הרגתי אותה בכל זאת.
המייל הראשון שאי פעם סירבתי לשלוח היה מדויק לחלוטין.
אני זוכר את המשפט כי קראתי אותו בערך ארבעים פעם: "ראיתי שהגדלתם לאחרונה את צי ה-One-Way Truckload שלכם ל-2,735 משאיות." כל מילה בו הייתה אמת. Werner Enterprises באמת דיווחה על הצי הזה, ב-Form 10-K שלה עצמה, שהוגש ל-SEC. וכשישבתי מול הדמו שבניתי, הרגתי את הטענה בכל זאת.
ההחלטה הזאת הרגישה שגויה במשך כיום. אחר כך היא הרגישה כמו כל הנקודה.
התחלתי את הפרויקט הזה באמונה, כמו כמעט כל מי שבונה עכשיו במכירות AI, שהאויב הוא הזיה. המודל ממציא משהו, הדבר השקרי נכנס למייל, הלקוח הפוטנציאלי שם לב, האמינות שלכם מתה. תפסו את הבדיות ותנצחו. המסגור הזה נקי, הוא מדגים יפה, ואני חושב עכשיו שהוא אחראי בשקט לשריפת הרבה דומייני שליחה. במשפט של Werner לא הייתה שום בדיה. זו עדיין הייתה טענה שמעולם לא הייתי נותן לה לצאת מהבניין.
זו מסה על מה ששינה את דעתי, מסופרת כפי שזה באמת קרה — כלומר לאט, ועם שבוע מביך אחד באמצע. אם אתם רוצים לראות את מה שבסופו של דבר בניתי, זה חי כאן: veriprajna.com/he/demos/ai-sales-intelligence. אבל המוצר הוא החלק המשעמם. החלק המעניין הוא למה משפט אמיתי אינו משפט בטוח, ולמה הפסקתי לסמוך על המודל שיבחין בהבדל.
השבוע שבו ניסיתי לגרום למודל לבדוק את שיעורי הבית של עצמו
ביליתי בערך שבוע בניסיון לגרום למודל השפה לתפוס את הציטוטים המיושנים של עצמו, ואני רוצה להיות כן: זה לא עבד.
ההגדרה הייתה סבירה על הנייר. סוכן חוקר שולף עובדות. סוכן כותב מנסח את המייל, מוגבל רק לאותן עובדות. אחר כך סוכן בודק-עובדות קורא את הטיוטה מול המקורות ומסמן כל דבר שלא מחזיק מעמד. שלושה סוכנים, צינור מסודר, סוג הארכיטקטורה שמקבלת הנהון בביקורת עיצוב. באמת ציפיתי שבודק העובדות יהיה החלק הקל.
זה היה החלק שנשבר. לא בקול רם. זו הייתה הבעיה. בודק העובדות היה קורא את טיוטת Werner, רואה משפט על 2,735 משאיות, מוצא מקור שאמר 2,735 משאיות, ומאשר בביטחון. וזה נכון, אם השאלה היחידה היא "האם מקור תומך במספר הזה." למודל לא היה חוש עמיד לכך שהמקור בן יותר משנתיים והמשפט אמר "לאחרונה." כשדחקתי בו לנמק לגבי תאריכים, לפעמים הוא תפס את ההתיישנות ולפעמים העביר אותה, ולא יכולתי לחזות איזה. בודק שאי אפשר לחזות אינו בודק. הוא חוות דעת שנייה.
הרגע שבו זה באמת נחת היה ערב מאוחר אחד, כשהרצתי את אותה טיוטה דרך בודק העובדות שלוש פעמים וקיבלתי שני אישורים ודחייה אחת, בלי שום שינוי בקלט. בהיתי בזה זמן מה. ביקשתי ממערכת הסתברותית להיות השער הדטרמיניסטי על מערכת הסתברותית אחרת.
ביקשתי מ-LLM להיות השופט האמין של LLM, וקראתי לתוצאה "אימות."
זה לא אימות. אלה שני מודלים שמסכימים, וזה דבר אחר וחלש בהרבה. אם כל הסיבה שאתם צריכים בודק היא שאי אפשר לסמוך על פלט המודל כפשוטו, אז פלט של מודל שני לא יכול להיות הדבר שעליו אתם סומכים כדי לבדוק אותו. בניתי אולם מראות והדבקתי עליו מדבקת ציות.
מה גרוע יותר, עובדה מומצאת או עובדה אמיתית?
מה שהכי הפתיע אותי תוך כדי הבנייה היה ההבנה שהבדיות מעולם לא היו הכשלים המפחידים. הטענות האמיתיות-אבל-בשימוש-שגוי היו.
חשבו על מה שבאמת קורה כש-AI SDR מהזה פרט על חברה. לעיתים קרובות זה שטויות, בבירור מחוץ לטווח, מסוג הדברים שלקוח פוטנציאלי קורא ומוחק. מביך, בטח. אבל הטענה שמכניסה אתכם לצרה אמיתית היא זו שהיא ניתנת לבדיקה ונכונה ועדיין שגויה בהקשר. היא חולפת דרך כל מסנן של "האם זה מומצא" בדיוק מפני שזה לא מומצא. הדקדוק מושלם. המספר אמיתי. וזו שקר על ההווה.
התחלתי לקרוא לזה שימוש לא נכון בהקשר, וברגע שהיה לי שם לזה ראיתי את זה בכל מקום בדמו שהרכבתתי. יש לו יותר מצורה אחת, אבל לכל גרסה יש את התכונה שהופכת אותה למסוכנת: כל אחת היא הצהרה אמיתית.
הצורה שלימדה אותי הכי הרבה היא מקור מיושן, ו-Werner היא המקום שבו ראיתי אותה לראשונה בבהירות. "גדל לאחרונה ל-2,735 משאיות" מצטט 10-K אמיתי, אבל ההגשה הזאת נחתה ב-2024-02-26, ומול תאריך העבודה של הדמו היא בת הרבה יותר משנתיים. המספר לא הפסיק להיות אמת. המילה "לאחרונה" הפסיקה להיות אמת. אלה אינן אותה עובדה, ובדיקת התאמת-מקור מתייחסת אליהן כזהות.
בניתי את אותה צורה פעם שנייה עם ליד סינתטי, חברת לוגיסטיקה בשוק הביניים בשם Northwind, כדי שאוכל להראות את הדפוס בלי להעמיד פנים שחברה אמיתית אמרה משהו שלא אמרה. הטיוטה טענה ש-Northwind "התרחבה לאחרונה ל-APAC." יש לזה מקור שנראה אמיתי. המקור מתוארך למרץ 2019, שבדמו יוצא בערך ל-2,652 ימים — יותר משבע שנים. חפיפת העיגון בין הטענה למקור היא 100% נקיים. הישות תואמת. ועדיין זה מסוג המשפטים שגורמים ללקוח פוטנציאלי לחשוב שלא הסתכלתם עליהם מאז גביע העולם האחרון.
עובדה אמיתית על מקור מיושן היא עדיין שקר על ההווה. התאריך הוא חלק מהטענה, בין אם המשפט מודה בכך ובין אם לא.
הצורה האחרת היא התנגשות שם זהה, וגם אותה השארתי כמקרה סינתטי. ל"Northwind Logistics בדיוק גייסה Series B של 40 מיליון דולר" יש מקור אמיתי מאחוריה. המקור עוסק ב-Northwind Inc., סטארט־אפ סייבר מאוסטין, חברה שונה לגמרי שרק קורה שהיא חולקת שם. כל מילה מדויקת לגבי איזשהו Northwind. אף מילה אינה מדויקת לגבי זה אחד.
שימו לב למה שמשותף לכל שלוש הדוגמאות. אף אחת מהן אינה הזיה. אם הייתם בונים את כל סיפור הבטיחות שלכם סביב תפיסת בדיות, הייתם שולחים את שלושתן. זהו מצב הכשל מאחורי קריסות ה-AI-SDR שכולם מצטטים ואיש כמעט לא מסביר באמת. כלי המעבר היחיד כן מהזים נתח מדיד של טענות ספציפיות ללקוח — איפשהו בטווח של 12 עד 18 אחוז לפי חשבון תעשייתי אחד (AI SDR Industry Report, 2026) — אבל הבדיות הן הכשלים שאפשר לפחות לדמיין שתופסים. הטענות האמיתיות-אבל-מיושנות, האמיתיות-אבל-ישות-שגויה, הן אלה שנראות כמו הצלחה עד הרגע שהן עולות לכם ביוקר.
מה גרם לי להפסיק לסמוך על המודל ולהתחיל לסמוך על חיסור תאריכים
הדבר שבסוף עבד היה כמעט מעליב בפשטותו, והתנגדתי לו יותר זמן ממה שהייתי צריך.
אם הבעיה בטענת Werner היא ש"לאחרונה" מצביעה על מקור ישן יותר מחלון עדכניות סביר, אז הבדיקה אינה משימת הנמקה. היא חשבון. קחו את תאריך המקור, קחו את תאריך העבודה, חסרו. אם הטענה משתמשת בשפת עדכניות והפער גדול מ-365 ימים, הטענה מיושנת והיא לא נשלחת. גיל מקור של 2652 ימים גדול מ-365 ימים על טענת עדכניות, ולכן נכשל. אין פרומפט, אין טמפרטורה, אין "כמודל שפה של AI." יש מספר וסף.
ברגע שאיפשרתי לעצמי לכתוב את זה, שאר הבדיקות גם הן רצו להיות קוד. האם הטענה באמת נגזרת מקטע מקור, נמדד כחפיפת טוקנים מול מילות התוכן, עם שם החברה עצמה מחוץ לחישוב כדי שמשפט לא יוכל לקבל ציון גבוה רק מחזרה על "Werner, Werner, Werner"? קוד. האם המקור עוסק בזו הישות ולא באחרת בעלת אותו שם? קוד. מודל השפה עדיין המחבר, והוא מחבר טוב באמת. הוא פשוט אינו השופט.
בסוף ניסחתי את העיקרון בשתי דרכים שאני אומר עכשיו כל הזמן. האחת היא "סוכנים מייעצים, קוד מחליט." השנייה היא "לא LLM ששופט LLM." הרשת העצבית מטפלת במה שרשתות עצביות טובות בו — כתיבת טיוטה שוטפת ואנושית. מאמת דטרמיניסטי ב-Python טהור מטפל במה שקוד טוב בו — יישום אותה כלל באותו אופן בכל פעם מחדש. כתיבה עצבית, אימות סימבולי. המילה התעשייתית לצימוד הזה היא נוירוסימבולי, אף שאכפת לי פחות מהתווית ויותר מהתכונה שהיא קונה.
מודלים טובים יותר כותבים משפטים טובים יותר. הם לא הופכים הגשה בת שנתיים לעדכנית. זה לא פער יכולת. זו טעות קטגוריה.
והתכונה שהיא קונה היא יכולת שחזור. כשאני מריץ את המאמת על אותו קלט, אני מקבל את אותו פסק דין, בכל פעם. זה נשמע כמו נימוס הנדסי קטן. זה בעצם כל המשחק, כי יכולת שחזור היא מה שהופך החלטה לניתנת לאישור. אני יכול למסור לכם את העקבה. גיל מקור 2652 ימים, גדול מ-365, טענת עדכניות קיימת, פסק דין מיושן, טענה הוסרה. אתם יכולים להריץ מחדש ולקבל את התוצאה הזהה. שופט LLM, אפילו טוב, לא יכול להבטיח לכם את זה. חייתי את ערב שלוש-הרצות-שני-פסקי-הדין. אני לא בונה סיפור ציות על גבי זה.
האם זו לא פשוט בעיית הזיה בתחפושת?
אני מקבל גרסה כלשהי של השאלה הזאת כמעט בכל שיחה, בדרך כלל ממישהו טכני, והתשובה שלי התקצרה עם הזמן. לא. והסיבה שזה לא — היא הסיבה שלדעתי העבודה הזאת שורדת מעבר לדור המודלים הנוכחי.
מסגור ההזיה מניח בשקט שהתיקון הוא מודל טוב יותר. הקשר גדול יותר, אימון נקי יותר, שיעור בדיות נמוך יותר, ובסוף הבעיה מתכווצת לאפס. אולי זה נכון לבדיה טהורה. זה לא עושה דבר לכשלים שאכפת לי מהם באמת. מודל מושלם, כזה שמעולם לא ממציא עובדה אחת, עדיין ישמח לכתוב "לאחרונה" מעל הגשה מ-2024, כי מתוך הטיוטה המשפט הזה אמיתי ושוטף ובדיוק מה שביקשתם. למודל אין שום חובה ללוח השנה. הפער בין "גדל ל-2,735 משאיות" לבין "גדל לאחרונה ל-2,735 משאיות" אינו פער שסקאלה סוגרת.
כאן השוק ממשיך ללמד את השיעור בדרך הקשה. קטגוריית ה-AI-SDR עשתה אופטימיזציה קשה לנפח ולהתאמה אישית מבוססת-אותות, ודילגה בעיקר על השלב שבו מאמתים מחדש את הטענה שנוצרה מול מקור עדכני ונכון לישות. הכלכלה לא הייתה נדיבה. נטישת AI-SDR ארגוני נעה סביב 50 עד 70 אחוז בשנה (UserGems, 2026). סיפור האזהרה המצוטט ביותר, 11x.ai, גייס 74 מיליון דולר ואז התפרק ב-2025 עם נטישה שדווחה בטווח של 70 עד 80 אחוז (TechCrunch). לא מפרסמים את המספרים האלה כי המודל שלכם הזה מדי פעם. מפרסמים אותם כי הפלט נראה מותאם אישית ולא היה אמין, וקונים מרגישים בסוף את ההבדל גם כשהם לא יכולים לתת לו שם.
אז התזה שאני חוזר אליה שוב ושוב היא חדה. התאמה אישית אינה אימות. ל-AI SDR שלכם אין בעיקר בעיית הזיה. יש לו בעיית אימות, ומודל בסיס טוב יותר לא יתקן אותה, כי אימות ומקוריות אינם יכולות של מודל. הן תכונות של המערכת שאתם עוטפים סביב המודל.
התאמה אישית אינה אימות. אימות ומקוריות אינם יכולות של מודל. הן תכונות של המערכת שאתם בונים סביב המודל.
מה "100%" באמת מותר שיאמר
אני רוצה להיות זהיר כאן, כי זה בדיוק המקום שבו מייסד מתפתה להגזים בטענות, והחברה שאני בונה נקראת על שם האינסטינקט ההפוך.
יש שני מספרים בדמו והם אינם אותו מספר. הראשון הוא Veracity Score, שהוא פשוט מספר הטענות הנתמכות מחולק בסך הטענות העובדתיות בטיוטה. הוא עונה על "כמה ממה שה-AI כתב התברר כאמת," ובטיוטה אמיתית הוא לעיתים קרובות רחוק מ-100 — וזה הדבר הכנה והשימושי בו. מייל Werner מאבד את טענת הכותרת שלו. מייל Northwind מאבד שתיים. זה המערכת עובדת, לא נכשלת.
המספר השני הוא שלמות השליחה, והיא 100% מעצם המבנה בכל פעם שמשהו בכלל שורד, כי שער המדיניות מסיר כל טענה שאינה נתמכת לפני שמותר לשלוח את המייל. ההבטחה אינה "ה-AI תמיד צדק." ההבטחה היא "המייל שיוצא מכיל רק טענות הנתמכות במקור." אלה הבטחות שונות מאוד, וראיתי אנשים מערבבים אותן להבטחה גדולה בהרבה ושקרית בהרבה.
יש גם אמת מידה, והנה המשפט שאני מסרב לקצר: על סט זהב קבוע ומסומן ידנית של 25 מקרים, המאמת הדטרמיניסטי מקבל 25 מתוך 25 פסקי דין נכונים. זה 100% על אמת המידה המסומנת ההיא. זו אינה טענה על העולם הפתוח, זו אינה הבטחה לגבי תיבת הדואר שלכם, וזה בהחלט לא "אפס הזיה" — ביטוי שלדעתי אף אדם ישר לא צריך לומר. המודל עדיין מנסח. טיוטות עדיין מכילות טענות שלא הוכחו. הנקודה היא שהבלתי מוכחות נתפסות ומוסרות, והתפיסה דטרמיניסטית מספיק כדי לאשר. כל מי שמוכר לכם ערבות לאפס הזיה מוכר לכם את הדבר שבזבזתי שבוע בניסיון כושל לבנות.
אומר גם בבירור, כי התקציר שאני מחזיק לעצמי דורש זאת, שמחברי הדמו מדומים. משיכת ה-EDGAR, שליפת החדשות, כתיבת ה-CRM בחזרה, השליחה עצמה — הכול מדומה. מה שאמיתי הוא המנגנון: הבדיקות, השער, שביל הביקורת, וקטעי ה-10-K של Werner, שהם רשומה ציבורית אמיתית. אני מראה לכם איך המנוע מחליט, לא צינור ייצור עם הנתונים שלכם בתוכו. אם אתם רוצים לראות אותו מחליט, זה כאן שוב: veriprajna.com/he/demos/ai-sales-intelligence.
השאלה שנשארתי איתה
גיליתי שהדבר האחרון שהבנייה הזאת שינתה בי היה קטן יותר מהתזה, והוא נדבק הכי הרבה זמן.
יש ליד שלישי בדמו, סוחר-ברוקר סינתטי מוסדר על ידי FINRA, והטיוטה שלו יוצאת נקייה לחלוטין. כל טענה נתמכת, כלום לא הוסר, Veracity Score מושלם. ושער המדיניות עדיין מנתב אותו לאדם, כי זה מוסדר ו-C-suite ועסקה גדולה, והכלל אומר שאדם מסתכל על אלה בלי קשר לכמה נקייה הטיוטה. בפעם הראשונה שראיתי מייל מושלם מוחזק לבדיקה, האינסטינקט שלי היה שהמערכת טעתה. היא לא טעתה. פשוט הנחתי, בלי לשים לב, שנכונות ובטיחות הן אותה תכונה.
הן לא. טענה יכולה להיות אמיתית ולא בטוחה. טיוטה יכולה להיות נקייה ועדיין להזדקק לאדם. כל העבודה התבררה כהפרדת הרעיונות האלה ובנייה לשניהם, במקום לדחוס אותם למספר אחד שעושה כותרת טובה.
אז השאלה שהייתי משאיר לכם איתה היא זו שאני שואל עכשיו לפני שכל דבר שנכתב ב-AI יוצא מידיי. לא "האם זה אמת," שעליה אני בדרך כלל יכול לענות ושבדרך כלל אינה מספיקה. הקשה יותר: האם אני יכול להוכיח, ממש עכשיו, איזה מקור עדכני תומך בטענה המדויקת הזאת, והאם ההוכחה הזאת תשרוד מישהו שרצה שהיא תיכשל?
אם התשובה היא לא, לא משנה כמה המודל משתפר. המשפט אינו מוכן לשליחה.
