אלגוריתם המצרכים של 60 מיליון דולר ששבר את אמונתי בכל מה ש"מונע-AI"
ישבתי בחדר מלון בשיקגו בדצמבר האחרון, צופה למחצה בחדשות במצב השתקה, כשהסדר הפשרה של Instacart גלל בתחתית המסך. שישים מיליון דולר. ה-FTC. תמחור AI מטעה. ביטלתי את ההשתקה, ובמשך כשלושים שניות פשוט ישבתי שם עם התערובת המוזרה הזו של תחושת צדק ובחילה.
תחושת צדק משום שהצוות שלי ב-Veriprajna טען במשך שנים שהדרך שבה רוב החברות מטמיעות AI — שכבות תוכנה דקות התפורות על גבי מודלים הסתברותיים, מה שאנו מכנים "עוטפי LLM" — עומדת להתפוצץ בפרצוף של מישהו. בחילה משום שהאנשים שנפגעו לא היו מנהלים בכירים בתחום הטכנולוגיה או משקיעי הון סיכון. הם היו משפחות שקנו מצרכים. האלגוריתם גבה מאנשים שונים מחירים שונים עבור אותה קופסת דגני בוקר באותה חנות, ופער המחירים לא היה שגיאת עיגול. הוא הגיע עד כדי 23%.
התקשרתי לשותפה המייסדת שלי באותו לילה. "ראית את Instacart?" שאלתי. היא ראתה. "זה בדיוק מצב הכשל שנגדו אנחנו בונים," היא אמרה. והיא צדקה. אבל להיות צודק לגבי אסון לא מרגיש כמו ניצחון. זה מרגיש כמו לצפות בתאונת דרכים שהזהרת מישהו מפניה.
הניסוי שלעולם לא היה צריך לצאת מהמעבדה
הנה מה שקרה באמת, ללא השפה המשפטית. בשנת 2022, Instacart רכשה חברת תמחור AI בשם Eversight. הכלי השתמש במחלקת אלגוריתמים בשם Multi-Armed Bandits — מערכות למידת חיזוק המוצאות מחירים אופטימליים באמצעות התנסות מתמדת על לקוחות אמיתיים. חשבו על מכונת מזל המתאימה את התשלום שלה בהתאם למי שמושך את הידית.
הבעיה אינה המתמטיקה. Multi-Armed Bandits הם אלגנטיים. הבעיה היא שאף אחד לא בנה כלוב סביב המתמטיקה.
האלגוריתם גילה — כי זה מה שאלגוריתמי אופטימיזציה עושים — שמשתמשים מסוימים יסבלו מחירים גבוהים יותר. לא משום שאותם משתמשים רצו לשלם יותר, אלא משום שה-AI בנה פרופילים התנהגותיים מהנתונים שלהם ולמד שאנשים אלה נוטים פחות לנטוש את העגלה שלהם. אז הוא דחף. קצת יותר גבוה. ואז עוד קצת יותר גבוה. שבעים וחמישה אחוזים מקטלוג המוצרים היו בסופו של דבר כפופים לשונות מחירים אלגוריתמית. סל הקניות הממוצע יכול היה להשתנות בשבעה אחוזים בהתאם למי שהיית, ועבור פריטים בודדים, הפער הגיע ל-$2.56.
כשאתה משחרר אלגוריתם אופטימיזציה ללא אילוצים קשיחים, הוא אינו מוצא את המחיר הטוב ביותר. הוא מוצא את הלקוח הכי ניתן לניצול.
אני זוכר את הרגע שבו זה התחוור לצוות שלי. בחנו את מסמכי התלונה של ה-FTC, ואחד המהנדסים שלנו — בחור שקט שלעתים רחוקות מדבר בישיבות — אמר, "זה פשוט ירידת גרדיאנט לעבר ניצול." הוא צדק בדיוק. לאלגוריתם לא היה מושג של הוגנות, לא ייצוג של החוק, לא הבנה שלמעשיו יש שם: אפליית מחירים. הייתה לו רק פונקציית תגמול, ופונקציית התגמול אמרה: מקסם את המרווח.
קובץ "Hide_Refund"
התמחור היה גרוע מספיק. אבל חקירת ה-FTC חשפה משהו שבאמת גרם לבטן שלי להתהפך.
Instacart ניהלה ניסוי פנימי — הם למעשה קראו לו "hide_refund" — שבו הם הסירו את כפתור ההחזר בשירות עצמי מהאפליקציה והחליפו אותו בזיכויים להזמנות עתידיות. המטרה הייתה לראות אם לקוחות יפסיקו לבקש את הכסף שלהם בחזרה אם תקשה עליהם מספיק. זה עבד. החברה חסכה $289,000 בשבוע.
תנו לי לומר זאת שוב. רבע מיליון דולר בשבוע, שנחלצו מלקוחות שקיבלו מצרכים שגויים או פגומים, על ידי הסתרת הכפתור שאיפשר להם לקבל את כספם בחזרה.
זה לא היה כשל AI במובן המסורתי. אין הזיה, אין סחיפת מודל. זו הייתה מערכת קבלת החלטות — חלקה אנושית, חלקה אלגוריתמית — שתוכננה כדי לבצע אופטימיזציה לשימור מזומנים עם אפס אילוצים סביב יושרה. ה-AI לא הסתיר את כפתור ההחזר בעצמו. אבל התרבות שיצרה את ה-AI יצרה גם את ההחלטה להסתיר את הכפתור. הם חולקים את אותו שורש הבעיה: ארכיטקטורה ללא מושג של אמת.
מדוע תמחור AI ממשיך להשתבש?
אנשים תמיד חולקים עליי כאן. "אשוטוש, תמחור דינמי אינו חדש. חברות תעופה עושות זאת. בתי מלון עושים זאת. Uber עושה זאת." והם צודקים — עד גבול מסוים. תמחור דינמי מסורתי מתאים את עצמו בהתאם להיצע ולביקוש מצרפיים. יותר אנשים רוצים טיסות למיאמי בחג המולד? המחירים עולים לכולם. זו כלכלה.
מה שהמערכת של Instacart עשתה היה שונה. היא השתמשה בנתונים אישיים — היסטוריית הגלישה שלך, המיקום שלך, דפוסי הרכישה שלך — כדי לבנות מחיר מותאם אישית. שני אנשים העומדים באותו מטבח, המזמינים את אותם פריטים מאותה חנות, יכולים לראות מחירים שנבדלו בעשרה דולר. זה אינו תמחור דינמי. זהו תמחור מעקב, וזוהי קטגוריה אתית ומשפטית שונה מיסודה.
הסיבה הטכנית לכך שזה ממשיך לקרות היא משהו שאני חושב עליו כל הזמן. רוב מערכות ה-AI הארגוניות כיום הן מה שמדעני קוגניציה היו מכנים חושבות של "מערכת 1" — מהירות, אינטואיטיביות, מזהות דפוסים. מודלי שפה גדולים חוזים את המילה הבאה. אלגוריתמי תמחור חוזים את הרכישה הבאה. הם מבריקים במתאם ואיומים בהסקה.
החלטות ארגוניות — במיוחד כאלה הנוגעות בצרכנים, בכסף או בחוק — דורשות חשיבה של "מערכת 2": איטית, מכוונת, לוגית, מוגבלת על ידי כללים. כל התקלה של Instacart קרתה משום שכלי של מערכת 1 הוטמע במרחב בעיה של מערכת 2, ואף אחד לא שם לב עד שה-FTC הגיע ודפק בדלת.
כתבתי על ההבחנה הארכיטקטונית הזו לעומק בניתוח האינטראקטיבי שלנו של קריסת Instacart, אבל הגרסה הקצרה היא זו: רהיטות אינה הסקה. מודל שיכול לייצר מחיר אינו מודל שמבין מהו מחיר הוגן.
הלילה שבו כמעט בנינו את זה לא נכון
הייתי צבוע אם לא הייתי מודה שכמעט נפלנו לאותה מלכודת.
בתחילת דרכה של Veriprajna — לפני שהייתה לנו פילוסופיה ארכיטקטונית ברורה — בנינו מערכת אימות ציות עבור לקוח בתחום הלוגיסטיקה. הנתיב המהיר ביותר היה ברור: לקחת מודל שפה גדול, להזין לו את התקנות הרלוונטיות, ולגרום לו לסמן הפרות פוטנציאליות. RAG קלאסי — Retrieval-Augmented Generation. יכולנו לשלח אותו תוך שבועות.
ה-CTO שלי באותה תקופה היה סקפטי. "מה קורה כשהתקנה אומרת 'אלא אם כן' והמודל מתייחס אליה כ'אם'?" הוא שאל במהלך סקירת ארכיטקטורה בשעת לילה מאוחרת. פטרתי את זה. "נכוונן עבור מקרי קצה."
בנינו אב-טיפוס. הוא היה מרשים בהדגמות. הוא תפס אולי 90% מההפרות נכון. ואז הרצנו אותו מול סדרה של מקרי בדיקה יריבים בכוונה — תרחישים שבהם לחוק היו חריגים מקוננים, שבהם סעיף אחד שינה סעיף אחר במרחק שלושה חלקים, שבהם המשמעות הייתה תלויה ביחס בין הישויות, לא רק בטקסט.
הוא נכשל. לא באלגנטיות. באופן קטסטרופלי. המודל היה מצטט בביטחון את התקנה הנכונה ואז מסיק את המסקנה השגויה, משום שהוא התאים דפוסים בשפה, לא עקב אחר לוגיקה דרך מבנה משפטי. ישבנו במשרד ב-11 בלילה והבטנו בתוצאות, ואני זוכר שחשבתי: אם נשלח את זה, אנחנו ה-Instacart הבא. לא בתמחור מצרכים, אלא בציות. תחום שונה, אותו חטא ארכיטקטוני.
זה היה הלילה שבו התחייבנו לארכיטקטורה נוירו-סימבולית. לא משום שזה היה טרנדי — זה לא היה, ולמען האמת עדיין לא — אלא משום שלא יכולנו לחיות עם בניית משהו שהיה נכון ב-90% לגבי דברים שהיו צריכים להיות נכונים ב-100%.
AI מדויק ב-99% בתחום בעל סיכון גבוה אינו סיפור הצלחה. זהו נטל עם תקציב שיווק.
מה קורה כשהחוק משיג את האלגוריתם?
בזמן ש-Instacart הגיעה להסדר עם ה-FTC, משהו משמעותי באותה מידה התרחש באלבני. חוק גילוי התמחור האלגוריתמי של ניו יורק נכנס לתוקף ב-10 בנובמבר 2025, והוא שינה את המשחק עבור כל חברה המשתמשת ב-AI כדי לקבוע מחירים מול הצרכן.
החוק דורש גילוי ספציפי ובולט בכל פעם שמחיר נקבע על ידי אלגוריתם המשתמש בנתונים אישיים:
"מחיר זה נקבע על ידי אלגוריתם המשתמש בנתונים האישיים שלך."
חשבו על מה שזה דורש מבחינה טכנית. המערכת שלכם חייבת לדעת, בזמן אמת, האם מחיר נתון נוצר על ידי היוריסטיקה כללית או על ידי פרופיל סטטיסטי מותאם אישית. היא חייבת לעקוב אחר שושלת הנתונים — אילו קלטים הזינו את המודל, האם היו מעורבים נתונים אישיים, ובאיזו נקודה בצנרת. והיא חייבת להציג את הקביעה הזו לממשק המשתמש לפני שהעסקה מסתיימת.
רוב מערכות תמחור ה-AI אינן יכולות לעשות זאת. הן לא נבנו לשם כך. המודל קולט וקטור תכונות, מייצר מספר, ואף אחד — לא המהנדסים, לא מנהלי המוצר, ובוודאי לא הצוות המשפטי — לא יכול לומר לכם בדיוק אילו תכונות הובילו לפלט. זוהי קופסה שחורה בעיצובה, והחוק אומר כעת שקופסאות שחורות אינן מקובלות.
ברמה הפדרלית, חוק האחריותיות האלגוריתמית משנת 2025 מרחיק לכת עוד יותר: חברות עם הכנסות של יותר מחמישים מיליון דולר חייבות לבצע הערכות השפעה מקיפות של המערכות האוטומטיות שלהן ולהגיש דוחות שנתיים ל-FTC. עידן ה"האלגוריתם שלנו הוא קנייני" כהגנה — הסתיים.
ניהלתי שלוש שיחות נפרדות עם מנהלי טכנולוגיות ראשיים ארגוניים בחודשים האחרונים שבהן אותה תובנה עלתה באמצע הפגישה: הפריסות הקיימות של ה-AI שלהם אינן יכולות לציית לחוקים אלה. לא "לא יצייתו בקלות." אינן יכולות לציית. הארכיטקטורה אינה תומכת בשקיפות שהתקנות דורשות.
הארכיטקטורה שיכולה הייתה למנוע את כל זה
כאן אני נעשה בעל דעה נחרצת, ואני לא מתכוון להתנצל על כך.
אסון Instacart לא היה כשל של בינה מלאכותית. זה היה כשל של ארכיטקטורה. ה-AI עשה בדיוק את מה שנבנה לעשות: לבצע אופטימיזציה לפונקציית תגמול. הבעיה היא שאף אחד לא בנה את האילוצים.
ב-Veriprajna, אנו בונים מה שאנו מכנים מערכות "מאומתות-אמת" — ארכיטקטורות היברידיות המשלבות רשתות נוירונים (שכבת התאמת הדפוסים, האינטואיציה) עם לוגיקה סימבולית (שכבת ציות הכללים, ההסקה). בפועל, משמעות הדבר היא ששלושה דברים קורים לפני שכל החלטה שנוצרה על ידי AI מגיעה למשתמש:
ראשית, שכבת אילוצים סימבולית מקודדת את הכללים הקשיחים. בהקשר של תמחור, זה עשוי להיות: "אף פריט לא יעלה על 110% מהמחיר המומלץ לצרכן. אף מחיר לא ישתנה ביותר מ-3% על סמך זהות המשתמש. כל התכונות המשפיעות על המחיר חייבות להירשם ביומן." אלה אינן הצעות. אלה קירות שמנוע הנוירונים אינו יכול לטפס מעליהם.
שנית, שכבת הנוירונים עושה את מה שרשתות נוירונים עושות הכי טוב — היא מזהה דפוסים, מציעה אופטימיזציות, מוצאת הזדמנויות בנתוני שוק שאדם היה מפספס.
שלישית — וזה החלק שרוב החברות ה"מונעות-AI" מדלגות עליו לחלוטין — שכבת אימות דטרמיניסטית מעריכה את ההצעה הנוירונית מול הכללים הסימבוליים לפני שדבר מוצג. אם ההצעה מפרה אילוץ, היא נדחית. לא מסומנת. לא נרשמת לסקירה מאוחרת. נדחית.
השאלה אינה האם ה-AI שלך יכול לייצר תשובה טובה. השאלה היא האם ה-AI שלך יכול להוכיח שתשובתו חוקית, הוגנת וניתנת למעקב — לפני שהוא פועל.
אנו גם משתמשים במודלים סיבתיים מבניים (Structural Causal Models) כדי לבחון משהו הנקרא הוגנות נגד-עובדתית. המערכת נדרשת מתמטית לענות: "אם לקוח זה היה מקבוצה דמוגרפית אחרת, אבל כל השאר נשאר זהה, האם המחיר היה משתנה?" אם כן, המודל נענש במהלך האימון עד שההטיה מוסרת. זו אינה הוגנות באמצעות התעלמות ממאפיינים מוגנים — זו הוגנות באמצעות הנדסה אקטיבית של המודל להיות עיוור למתווכים מפלים כמו מיקוד, מכשיר גלישה, או תזמון רכישה.
לפירוט הטכני המלא של אופן פעולתה של ארכיטקטורה זו — צנרות GraphRAG, ההסקה מונחית האונטולוגיה, מפענחי האילוצים הסכמטיים — ראו מאמר המחקר שלנו על המעבר מעוטפים הסתברותיים ל-AI עמוק דטרמיניסטי. אני לא אעמיד פנים שזו קריאה קלה, אבל אם אתם בונים או קונים AI ארגוני, זה עשוי להיות הדבר החשוב ביותר שתקראו השנה.
"אבל האם זה לא פשוט מאט את החדשנות?"
אני מקבל את השאלה הזו כל הזמן, בדרך כלל מאנשים שהוציאו הרבה כסף על קריאות API של LLM ולא רוצים לשמוע שלארכיטקטורה שלהם יש תאריך תפוגה.
הנה התשובה הכנה שלי: כן, בניית אילוצים דטרמיניסטיים אורכת יותר זמן מעטיפת פקודה סביב GPT וקריאה לזה ברמה ארגונית. היישומים שלנו אורכים שבועות במקום שבהם עוטף אורך ימים. אבל הסדר הפשרה של Instacart ארך שנים ועלה שישים מיליון דולר. הנזק התדמיתי עדיין מתפתח. הבחינה הרגולטורית תרדוף אחר החברה במשך עשור.
מהירות ללא נכונות אינה חדשנות. זהו חוב טכני עם הודעה לעיתונות.
ההתנגדות האחרת שאני שומע היא לגבי עלות. "מערכות נוירו-סימבוליות יקרות לבנייה." הן כן. אבל אתם יודעים מה יקר יותר? חקירת FTC. תביעה ייצוגית. כתבת שער על כך שהאלגוריתם שלכם גבה מאמהות חד-הוריות יותר עבור תרכובת מזון לתינוקות משום שהן נטו פחות להשוות מחירים.
משקיע אמר לי פעם, בתחילת הדרך, "פשוט תשתמש ב-GPT. תוסיף כתב ויתור. תשלח את זה." אמרתי לו שזה כמו לשים מדבקת חגורת בטיחות על מכונית ללא חגורות בטיחות. הוא לא השקיע. אני לא מתחרט על השיחה.
לאן זה הולך מכאן
המקרה של Instacart הוא חולה אפס, אבל הוא לא יהיה האחרון. כל חברה המפעילה תמחור אלגוריתמי, חיתום אוטומטי, גיוס עובדים מונע-AI, או המלצות מותאמות אישית פועלת באותו אזור סיכון. המשתנה היחיד הוא מתי — לא האם — יגיעו ההשלכות הרגולטוריות והתדמיתיות.
החברות שישרדו את המעבר הזה יהיו אלה שהבינו משהו שצוות Instacart כנראה לא הבין: תפקידו של ה-AI אינו למקסם מספר. תפקידו של ה-AI הוא לקבל החלטה שניתן להסביר, להצדיק ולהגן עליה — בפני לקוח, בפני רגולטור, בפני שופט.
זה דורש ארכיטקטורה, לא עוטפים. זה דורש הסקה סימבולית, לא רק חיזוי סטטיסטי. זה דורש בניית מערכות שיודעות מה אסור להן לעשות, לא רק מה שהן עברו אופטימיזציה לעשות.
אני לא חושב שעידן ה-AI בארגונים מסתיים. אני חושב שהוא סוף סוף מתחיל — כי בפעם הראשונה, אנו נאלצים לבנות אותו נכון. העידן הניסיוני, שבו חברות יכלו לפרוס אלגוריתמי קופסה שחורה על מיליוני צרכנים ולקרוא לזה "חדשנות", הסתיים. מה שיחליף אותו יהיה קשה יותר לבנייה, איטי יותר לשליחה, ומשעמם יותר להדגמה.
הוא גם יהיה הסוג היחיד ששורד.
