הוצאנו 35 מיליארד דולר על AI וכמעט לא קיבלנו כלום בחזרה
השיחה הגיעה בערב יום שלישי. חברת בריאות בשוק הבינוני — כזו שייעצנו לה — בדיוק חיסלה את פרויקט ה-AI הדגל שלה. תשעה חודשים של עבודה. הוצאה בת שש ספרות. ה-CTO נשמע מותש, לא כועס. "זה עבד מושלם בדמו," הוא אמר לי. "בכל פעם מחדש. ואז חיברנו את זה לנתוני מטופלים אמיתיים והוא התחיל להזות קודי ביטוח."
לא ידעתי מה לומר, כי שמעתי גרסה כלשהי של הסיפור הזה תריסר פעמים ברבעון ההוא לבדו. AI שמסנוור בחדר ישיבות ומתפורר בפרודקשן. פיילוטים שמייצרים התלהבות בחודש הראשון וסקירות תקציב בחודש השישי. הפער בין מה שבינה מלאכותית גנרטיבית מבטיחה לבין מה שהיא מספקת בתוך ארגון אמיתי הוא המתח המכונן של הרגע הזה בטכנולוגיה.
וכעת יש לנו את המספרים שמוכיחים זאת. יוזמת NANDA של MIT פרסמה באמצע 2025 מחקר שנחת כמו רימון: מתוך $30 עד $40 מיליארד שלפי ההערכות ארגונים שפכו לתוך בינה מלאכותית גנרטיבית, בערך 95% מהפיילוטים נכשלו בהשגת השפעה מדידה על דוח רווח והפסד. הסקר של מקינזי מ-2025 מהדהד זאת — 88% מהארגונים אומרים שהם משתמשים ב-AI במקום כלשהו, אך רק 39% יכולים להצביע על השפעה כלשהי על ה-EBIT.
אני מנהל את Veriprajna, שם אנחנו בונים מערכות AI עמוקות עבור ארגונים. אני לא משקיף ניטרלי כאן. אבל הייתי קרוב מספיק להריסות — ולהצלחות הנדירות — כדי שתהיה לי תמונה ברורה של מה באמת משתבש. וזה לא מה שרוב האנשים חושבים.
הדמו נראה מעולה. ואז המציאות הגיעה.
החוויה של אותו CTO בתחום הבריאות לא הייתה חריגה. היא הייתה למעשה התוצאה החציונית.
הנתונים של MIT ממפים משפך אכזרי: 80% מהארגונים חוקרים כלי בינה מלאכותית גנרטיבית. רק 20% מגיעים לפיילוט. ורק 5% מגיעים אי פעם לפרודקשן עם תוצאות עסקיות מדידות. החוקרים מכנים זאת "פער למידה", שזו דרך מנומסת לומר שרוב החברות לא מבינות מה הן קנו.
אני זוכר שישבתי במשרד שלנו אחרי שקראתי את דוח MIT המלא, והתווכחתי עם השותף המייסד שלי אם המספר 95% דרמטי מדי. הוא לא היה. אם כבר, הוא המעיט בחומרת הבעיה, כי רבים מה-5% "המצליחים" הגדירו מחדש את ההצלחה כלפי מטה — הם מדדו שיעורי אימוץ או שביעות רצון משתמשים במקום השפעה ממשית על ההכנסות.
הדפוס שאני רואה שוב ושוב הוא זה: צוות בונה הוכחת היתכנות באמצעות LLM מוביל. היא מטפלת בעשר שאילתות הדוגמה להפליא. ההנהלה מתלהבת. התקציב מאושר. ואז המערכת פוגשת את העולם האמיתי — נתונים מבולגנים, מקרי קצה, קלטים דו-משמעיים, דרישות רגולטוריות שבהן "קרוב מספיק" הוא תביעה משפטית — והיא מתפרקת.
הפער בין AI שמוכן לדמו לבין AI שמוכן לפרודקשן הוא לא פער. הוא קניון, ורוב החברות לא מבינות שהן עומדות בצד הלא נכון עד שהן כבר קפצו.
60% מהמשתמשים במחקר של MIT דיווחו שהמודלים לא הצליחו ללמוד ממשוב לאורך זמן. 55% אמרו שהם השקיעו מאמץ מופרז במתן הקשר לכל פרומפט בודד. 40% אמרו שהמודלים פשוט "נשברו" כשנתקלו בקלטים לא סטנדרטיים. אלה אינם מצבי כשל אקזוטיים. אלה יום שלישי רגיל.
מדוע חברות בונות על חול טובעני?
רוב מה שהשוק הארגוני מכנה כיום "מוצרי AI" הם עטיפות — ממשקי משתמש דקים שיושבים מעל קריאת API ל-GPT-4 או Claude או Gemini. אתה מקליד משהו, זה הולך למודל, המודל מגיב, והעטיפה מעצבת את התשובה יפה.
יש לי זיכרון קרביים מפגישת פיץ' שבה לקוח פוטנציאלי הראה לי את "מנוע הציות מונע ה-AI" שלו. שאלתי מה קורה כשהתנהגות המודל הבסיסי משתנה אחרי עדכון של הספק. בחדר השתררה שתיקה. הם לא חשבו על זה. כל המוצר שלהם היה תבנית פרומפט ודשבורד נחמד. ה"אינטליגנציה" שהם מכרו הייתה שכורה לחלוטין.
זהו כשל העטיפה, והוא נמצא בכל מקום. הגישה בדרך כלל נשענת על מה שאנשי התעשייה מכנים "מגה-פרומפט" — דוחסים כללים, נתונים, הקשר והוראות לתוך אינטראקציה מסיבית אחת ומקווים שהמודל יסדר את זה. כתבתי על הבעיה הארכיטקטונית הזו לעומק בגרסה האינטראקטיבית של המחקר שלנו, אבל הגרסה הקצרה היא שמגה-פרומפטים יוצרים שלוש בעיות קטלניות:
אי אפשר לבקר אותם. אין שום דרך לוודא שהמודל ביצע את ההוראות בסדר הנכון. עבור תעשיות עתירות ציות, זה פסול מלכתחילה.
הם שבירים כלכלית. חלונות הקשר ארוכים וניסיונות חוזרים שורפים טוקנים. והנה מספר שזעזע אותי כשראיתי אותו לראשונה: ההבדל בין טוקנייזר יעיל ללא יעיל יכול להסתכם בשונות עלות של 450% עבור אותו עומס עבודה. ארגון שמעבד 100,000 פניות לקוחות ביום עלול לראות את העלויות השנתיות מזנקות מ-$36,500 ליותר מ-$164,000 רק בגלל בחירת המודל הלא נכון לשימוש רב-לשוני.
הם שבריריים. שנה שלוש מילים בפרומפט ותקבל פלט שונה לחלוטין. נסה לבנות SLA על זה.
המלכודת הכלכלית גרועה אף יותר מהטכנית. כאשר OpenAI או Anthropic מורידות את מחירי ה-API שלהן — והן ימשיכו להוריד אותם — חברות העטיפה רואות את המרווחים שלהן מתאדים. הן לא בעלות הנתונים. הן לא בעלות תהליך העבודה. הן מוכרות מחדש את האינטליגנציה של מישהו אחר עם תוספת מחיר, וברגע שבעל הבית מוריד את שכר הדירה לכולם, לשוכר המשנה אין עסק.
מה באמת המשמעות של "AI עמוק"?
אספר לכם את הרגע שבו המושג התחבר לי.
עבדנו על מערכת לעיבוד מסמכים עבור לקוח בתחום הלוגיסטיקה. הגישה הראשונית הייתה פשוטה: לשלוח את מסמך המשלוח ל-LLM, לבקש ממנו לחלץ את השדות הרלוונטיים, להחזיר את התוצאות. זה עבד על טפסים סטנדרטיים. ואז נתקלנו במניפסט מכולה מנמל בדרום-מזרח אסיה עם הערות בשפות מעורבות, תיקונים בכתב יד, ופורמט שלא תאם שום דבר בנתוני האימון. המודל החזיר בביטחון זבל.
מהנדס הצוות המוביל שלי, מתוסכל אחרי שבוע של הנדסת פרומפטים שכל הזמן ייצרה מצבי כשל חדשים, אמר לבסוף: "אנחנו מבקשים ממוח אחד לעשות שבע עבודות. מה אם ניתן כל עבודה למומחה?"
זהו AI עמוק במשפט אחד. במקום להתייחס ל-LLM כאורקל שמטפל בהכול, מתייחסים אליו כרכיב אחד במערכת גדולה יותר. מפרקים את הבעיה. סוכן אחד מטפל בהבנת השאילתה. אחר מאחזר נתונים ממסד נתונים מובנה. שלישי מאמת את הפלט מול כללים ידועים. רביעי מעצב את התשובה. לכל סוכן יש אחריות מוגדרת, ותהליך העבודה ביניהם הוא דטרמיניסטי — כלומר אתה שולט ברצף, בלוגיקה ובנקודות הבקרה.
AI עמוק מתייחס למודל השפה כאל מתמחה מחונן, לא כאל מנכ"ל. נותנים לו משימות ספציפיות בתוך מבנה מפוקח, לא את המפתחות לבניין.
דפוסי העיצוב האייג'נטיים שגורמים לזה לעבוד אינם תיאורטיים. הם נפרסים כבר עכשיו:
ישנו דפוס רפלקציה שבו הסוכן מבקר את הפלט של עצמו לפני שהוא שולח אותו למשתמש. ישנו דפוס שימוש בכלים שבו הסוכן קורא למחשבונים חיצוניים, ל-API או למסדי נתונים במקום לנסות לחשב תשובות מהזיכרון. ישנו דפוס תכנון שמפרק מטרות מורכבות לשלבים עוקבים. ויש גם דפוס תזמור שבו סוכן מפקח מנהל את כל תהליך העבודה ומנתב משימות למומחה הנכון.
כשבנינו מחדש את מערכת הלוגיסטיקה ההיא באמצעות תזמור מרובה-סוכנים, דיוק החילוץ במסמכים לא סטנדרטיים עלה מכ-60% ליותר מ-95%. וחשוב מכך, כשהיא כן נכשלה, יכולנו לראות בדיוק היכן ומדוע — כי המערכת כבר לא הייתה קופסה שחורה. היא הייתה צינור עם שלבים נצפים וברי-ביקורת.
מדוע עלות הטוקנים הורגת את ה-ROI של AI ארגוני?
זה החלק שלא מקבל מספיק תשומת לב.
כולם מדברים על דיוק המודל. כמעט אף אחד לא מדבר על כלכלת היחידה של הפעלת המערכות האלה בקנה מידה גדול. אבל ראיתי עלויות טוקנים רוצחות בשקט את ההצדקה העסקית של פרויקטי AI שאחרת עבדו מושלם.
החשבון פשוט אך אכזרי. מודלים שונים מבצעים טוקניזציה לטקסט באופן שונה — במיוחד לטקסט שאינו אנגלית ולכתבים מורכבים. שאילתה שעולה 800 טוקנים במודל אחד עשויה לעלות 4,500 במודל אחר. הכפילו את זה במאות אלפי אינטראקציות יומיות, ואתם מסתכלים על הפרש עלות שמוחק כל שיפור יעילות שה-AI היה אמור לספק.
היה לי רגע של בהלה אמיתית כשהרצנו את ניתוח הטוקניזציה עבור לקוח שפועל בטמילית ובאנגלית. הפרש העלות בין המודל הנוכחי שלהם לבין חלופה יעילה יותר היה פי 4.5. הם דיממו כסף בכל אינטראקציה בודדת וייחסו את זה ל"עלויות תשתית" בתקציב שלהם. לאף אחד לא עלה בדעת להסתכל על הטוקנייזר.
מערכות AI עמוקות מטפלות בכך בגישה כירורגית לשאלה מתי להשתמש בטוקנים יקרים של LLM. משימות בנפח גבוה ובמורכבות נמוכה מטופלות על ידי מודלים קטנים יותר או לוגיקה דטרמיניסטית. יכולת ההיסק היקרה נשמרת לשלבים שבהם היא באמת חשובה. זה ההבדל בין העסקת יועץ בכיר שיענה על כל שיחת טלפון לבין מיקוד שלו בהחלטות שדורשות שיקול דעת.
כלל 10-20-70 שאף אחד לא מיישם
כשאני מדבר עם מנהלים בכירים על הסיבה שפרויקטי ה-AI שלהם נתקעו, הם כמעט תמיד מצביעים על הטכנולוגיה. המודל לא היה טוב מספיק. הנתונים לא היו נקיים. האינטגרציה הייתה מורכבת מדי.
הם לא טועים באף אחד מהדברים האלה. אבל הם מפספסים את היחס האמיתי. החברות שבאמת רואות השפעה על ה-EBIT — ומקינזי אומרת שרק 6% רואות יותר מ-5% מסך ה-EBIT מ-AI — פועלות לפי הקצאת משאבים שתפתיע את רוב אנשי הטכנולוגיה:
10% מהמאמץ מוקדשים לבחירה ולכוונון של האלגוריתמים. 20% מוקדשים לבניית תשתית הנתונים והטכנולוגיה. 70% מוקדשים לניהול אנשים, תהליכים וטרנספורמציה תרבותית.
שבעים אחוז. לא על טכנולוגיה. על לגרום לבני אדם לשנות את אופן עבודתם.
התנגדתי לרעיון הזה זמן רב יותר משהייתי צריך. אני מהנדס באינסטינקט. רציתי להאמין שאם נבנה מערכת טובה יותר, האימוץ יגיע מעצמו. נדרש פרויקט כואב — כזה שבו סיפקנו פתרון מצוין מבחינה טכנית שישב ללא שימוש שלושה חודשים כי אף אחד לא עיצב מחדש את תהליך העבודה סביבו — כדי להפנים שהטכנולוגיה היא החלק הקל.
חברות בשוק הבינוני שמיישמות את עקרון 10-20-70 משפרות את ה-EBITDA שלהן ב-160 עד 280 נקודות בסיס תוך 24 חודשים. אלה שמוציאות 70% על טכנולוגיה ו-10% על ניהול שינוי מקבלות תוכנה יקרה שנשארת על המדף.
ההישגים אינם זוהרים. ניהול מחזור ההכנסות. אוטומציה של יישום תקבולים. אופטימיזציה של עלויות ענן. אף אחד לא כותב פוסטים נרגשים בלינקדאין על צמצום מצבור התביעות של מטופלים ששוחררו אך טרם חויבו סופית. אבל Inova Health System צמצמה את המצבור הזה ב-50% וחסכה $1.3 מיליון בשנה. העוזרים הווירטואליים מבוססי ה-AI של OSF HealthCare חסכו $1.2 מיליון תוך כדי הגדלת ההכנסות ב-$1.2 מיליון נוספים. UPS חוסכת $400 מיליון בשנה באמצעות ניתוב מבוסס AI.
אלה אינן תוצאות פיילוט. אלה מערכות פרודקשן שרצות בקנה מידה גדול, שנבנו עם סוג האינטגרציה העמוקה שעטיפות לא יכולות להתקרב אליו.
מה קורה כשסוכני AI מתחילים לפעול על דעת עצמם?
המעבר מ-AI שעונה על שאלות ל-AI שמבצע פעולות משנה לחלוטין את שיקולי האבטחה.
חשבתי על זה הרבה, בין השאר בגלל כמעט-תקלה שהייתה לנו במהלך בדיקות. בנינו מערכת אייג'נטית שהייתה צריכה גישה ל-ERP של לקוח כדי למשוך נתוני מלאי. במהלך הרצת בדיקה, הסוכן — בעקבות שרשרת היסק שהייתה לוגית מבחינה טכנית אך שגויה מבחינה הקשרית — ניסה לשנות הזמנת רכש במקום רק לקרוא אותה. היו לנו אמצעי הגנה. זה לא עבר. אבל ישבתי אחר כך ליד השולחן וחשבתי מה היה קורה אילו היינו פחות זהירים.
זו הסיבה שתקנים כמו Model Context Protocol (MCP) ומסגרת NANDA כל כך חשובים. MCP — שפותח על ידי Anthropic — משמש כשכבת אינטגרציה סטנדרטית בין סוכני AI לבין מקורות נתונים ארגוניים. אנשים מכנים אותו "ה-USB-C של ה-AI", וזה מתאים: המשמעות היא שאין צורך באינטגרציות מותאמות ושבירות לכל חיבור. NANDA מספקת את שכבת הממשל — אישור יכולות שניתן לאמת קריפטוגרפית (כלומר אפשר להוכיח מה מותר ומה אסור לסוכן לעשות), בקרות גישה מבוססות אפס-אמון המורחבות לסוכנים אוטונומיים, ומסלולי ביקורת מרוכזים.
לפירוט הטכני המלא של הדפוסים הארכיטקטוניים האלה וכיצד הם משתלבים יחד, ראו את מאמר המחקר שלנו.
הנקודה איננה ש-AI אייג'נטי הוא מסוכן ושכדאי להאט. הנקודה היא שגישת העטיפה — שבה יש לך נראות מינימלית למה שהמודל עושה ומדוע — הופכת לפזיזה ממש כשהמודל יכול לבצע פעולות בעולם האמיתי. מערכות AI עמוקות עם תהליכי עבודה נצפים ומפוקחים אינן רק הנדסה טובה יותר. הן הדרך האחראית היחידה לפרוס סוכנים אוטונומיים בארגון.
"פשוט תשתמשו ב-GPT" ועצות יקרות אחרות
אנשים שואלים אותי כל הזמן אם כדאי להם פשוט לחכות שהמודלים ישתפרו. "GPT-5 יפתור את זה," שמעתי משקיע אומר בארוחת ערב. "למה לבנות את כל התשתית הזו כשגרסת המודל הבאה תטפל בזה באופן מובנה?"
אני מבין את הקסם שבטיעון הזה. הוא נקי. הוא לא דורש עבודה קשה. והוא שגוי.
מודלים טובים יותר לא מתקנים את בעיית העטיפה. הם מחמירים אותה. מודל חזק יותר בארכיטקטורת מגה-פרומפט הוא כמו להתקין מנוע פורמולה 1 במכונית ללא הגה. נוסעים מהר יותר בכיוון הלא נכון. הבעיות שהורגות AI ארגוני — היעדר יכולת ביקורת, פרומפטים שבירים, אין לולאות משוב, חוסר בהקשר עסקי, עלויות בלתי מבוקרות — הן בעיות ארכיטקטוניות, לא בעיות יכולת.
כלכלת ה-AI הצללית מוכיחה זאת. יותר מ-90% מהעובדים כבר משתמשים בחשאי בחשבונות ChatGPT או Claude אישיים לצורכי עבודה, כי כלי ה-AI הרשמיים של החברה שלהם נוקשים מדי. המודלים מסוגלים מספיק. המערכות סביבם לא.
מודלים טובים יותר לא מצילים ארכיטקטורה גרועה. הם פשוט הוזים מהר יותר ובביטחון רב יותר.
השאלה האחרת שאני מקבל היא על לוח הזמנים. "כמה זמן זה באמת לוקח?" התשובה הכנה היא 12 עד 18 חודשים כדי לעבור מניסויים מפוזרים ל-AI שמזיז את דוח הרווח וההפסד. שלושת החודשים הראשונים הם גילוי — זיהוי היכן AI יכול ליצור ערך מבלי ליצור חשיפה רגולטורית. חודשים שלושה עד שישה הם מוכנות נתונים, וזה המקום שבו 58% מהמנהלים הבכירים אומרים שהם נתקעים. חודשים שישה עד שנים-עשר הם בנייה ואיטרציה של אבות טיפוס מרובי-סוכנים — ואני מתכוון ליותר מ-30 מחזורי איטרציה מול נתוני עולם אמיתי, לא לשלושה דמו מלוטשים. השלב האחרון הוא פריסה לפרודקשן עם תמיכה תפעולית מלאה: זיהוי סחיפה, ניטור הטיות, וממשל עלויות.
זה לא מהיר. זה לא קל. אבל החברות שעושות זאת הן אלה שמופיעות ב-6% של מקינזי עם השפעה אמיתית על ה-EBIT.
הפער הוא בחירה
"פער ה-GenAI" שזיהתה MIT אינו פער טכנולוגי. הוא פער של החלטות.
בצד אחד: חברות שהתייחסו לבינה מלאכותית גנרטיבית כאל מוצר לקנייה, עטיפה לפריסה, דמו להצגה בפני הדירקטוריון. הן ה-95%. הן הוציאו כסף אמיתי וקיבלו הודעות לעיתונות.
בצד השני: חברות שהתייחסו ל-AI כאל אתגר ארכיטקטוני — כזה שדורש פירוק בעיות, ממשל של תהליכי עבודה, עיצוב מחדש של תהליכים, וביצוע העבודה הלא-זוהרת של חיבור מודלים למציאות המבולגנת של נתונים ארגוניים. הן ה-5%. הן הוציאו כסף דומה וקיבלו השפעה על ה-EBIT.
אני חושב לפעמים על אותו CTO בתחום הבריאות. זה שהתקשר אליי ביום שלישי, מותש, אחרי שזה עתה חיסל את פרויקט ה-AI שלו. הוא התקשר שוב ארבעה חודשים לאחר מכן. הצוות שלו בנה מחדש את המערכת בגישה מרובת-סוכנים — סוכנים נפרדים לחילוץ נתונים, לאימות קודים ולבדיקת ציות, עם העברות דטרמיניסטיות ביניהם. זה לא היה אלגנטי כמו הדמו המקורי. זה לקח יותר זמן לבנות. זה דרש יותר חשיבה מוקדמת על עיצוב תהליך העבודה ועל מצבי כשל.
זה עבד. לא מושלם — שום דבר לא — אבל אמין מספיק כדי לפרוס, לבקר ולשפר. אמין מספיק כדי להופיע בדוח רווח והפסד.
עידן ההתייחסות ל-AI כאל טריק קסמים הסתיים. מה שבא אחריו קשה יותר, איטי יותר, ופחות פוטוגני. הוא גם הדבר היחיד שבאמת עובד.
