לוח המחוונים הירוק שיקר: מה שאימות AI ארגוני באמת חייב לבדוק

ביליתי חלק ניכר מהקריירה שלי כאדם שבחדר שתפקידו לומר "לא, המודל הזה עדיין לא עבר אימות." בבנקאות יש לפונקציה הזו שם יבש — אימות מודלים עצמאי תחת SR 11-7, ההנחיה של הפדרל ריזרב וה-OCC שמסדירה את סיכון המודלים מאז 2011. העבודה בדיוק כל כך זוהרת כפי שהיא נשמעת. אתה קורא את נספח המגבלות שאף אחד אחר לא קורא. אתה שואל את הספק כיצד המודל מתנהג על המקרים שאינם בהדגמה. ומדי פעם אתה יושב בוועדת ביקורת מול לוח מחוונים שכולו, באופן מרגיע, ירוק — כל תיבה מסומנת, כל מדיניות ממופה, כל סטטוס ציות תקין — בעודך יודע, בתחושה שוקעת, שהירוק אומר לך כמעט כלום על השאלה האם הדבר באמת עובד.

הפער הזה הוא מה שכל המסה הזו עוסקת בו, וזו הסיבה שבנינו את מערך אימות ה-AI הארגוני של Veriprajna סביב רעיון יחיד ולא-אופנתי: צריך לבדוק את התשובות, לא את התהליך. לוח מחוונים של ממשל מאשר שנוהל מסוים בוצע. הוא אינו מאשר שה-AI שלך נתן את התשובה הנכונה עבור המבוטח הזה, ההלוואה הזו, החוק הזה. השניים מתבלבלים זה בזה כל הזמן בישיבות דירקטוריון, והבלבול יקר.

תנו לי להראות לכם כמה יקר.

Klarna חסכה 40% — ואז הפסידה 99 מיליון דולר

בשנת 2024 סיפרה Klarna לעולם שעוזר ה-AI שלה החליף 700 נציגי שירות לקוחות. העוזר טיפל בכשני שלישים מהצ'אטים ב-35 שפות. העלות לכל עסקה ירדה מ-$0.32 ל-$0.19 — בערך 40% — והכותרות נכתבו מעצמן. זה היה העתיד: רזה יותר, מהיר יותר, זול יותר.

עד אמצע 2025 הם העבירו מהנדסי תוכנה ואנשי שיווק לאייש את מוקדי השירות. ציוני ה-CSAT ירדו ב-22%. לקוחות נתקלו במה שהעיתונות כינתה "לולאה קפקאית" בנושאים הקשים — חיובים שנויים במחלוקת, החזרים מעורערים, סגירות חשבון. הרבעון הראשון של 2025 של Klarna נסגר בהפסד נקי של 99 מיליון דולר, לעומת 47 מיליון דולר בשנה הקודמת, למרות צמיחה של 15% בהכנסות. המנכ"ל הודה שהאוטומציה בקנה מידה גדול "הובילה לירידה באיכות השירות."

הנה החלק שלקח לי זמן להפנים, והוא ההפך מהלקח שרוב האנשים הפיקו. ה-AI של Klarna עבד. הוא באמת חסך כסף באיפוסי סיסמאות ובשאלות על סטטוס הזמנות. הכשל לא היה שה-AI היה גרוע. הכשל היה שאף אחד לא אימת האם הוא מסוגל להתמודד עם 20% מהאינטראקציות שנושאות את מרבית המשקל הפיננסי והמוניטיני — המחלוקות, מקרי הקצה, הדברים שהופכים לנטישה ולתלונות. מסנן רעילות היה מעביר כל אחת מאותן שיחות שבורות. ה-AI היה מנומס בעודו נכשל.

ה-AI לא אמר שום דבר פוגעני. הוא פשוט לא הצליח לנווט בהחזר רב-מטבעי הכרוך בטיסה שבוטלה ובחיוב שנוי במחלוקת — וזה היה ה-20% שהיה חשוב.

Klarna אינה חריגה. היא הגרסה הגלויה של משהו שמתרחש בשקט בכל ארגון שאני מדבר איתו. אי-שם בין 70% ל-85% מפרויקטי ה-AI הארגוניים לעולם אינם מגיעים לייצור כלל — נתון שאליו הגיעו RAND, Gartner, BCG ו-McKinsey כולם בנפרד. מחקר NANDA של MIT ב-2025 מצא ש-95% מפיילוטי ה-AI לא הניבו כל השפעה מדידה על רווח והפסד. McKinsey דיווחה ש-42% מהחברות נטשו את מרבית יוזמות ה-AI שלהן ב-2025, לעומת 17% בשנה הקודמת. הפיילוטים מדגימים להפליא. הם מתים במגע עם המקרים שההדגמה מעולם לא הראתה.

בנינו קודם את הדבר הלא נכון

אני רוצה להיות כן לגבי איך הגענו לבדיקת תשובות במקום תהליך, כי לא הגענו לשם בזכות חוכמה. הגענו לשם על ידי שילוח משהו שלא עבד וצפייה בו נכשל מול לקוח.

הגרסה הראשונה שלנו לשכבת אימות AI הייתה, בדיעבד, בדיוק הדבר שהשוק כבר מכר. חיברנו מסגרת guardrails מכובדת — ניהול תוכן, זיהוי PII, בדיקות jailbreak — הוספנו עליה ניטור היסחפות והוגנות, והצגנו את הכול כתצוגת ציות נקייה. קלטים נסרקו. פלטים נסרקו לרעילות ולדליפת מידע אישי. לוח מחוונים שנעשה ירוק. הייתי גאה בו. זה נראה כמו ממשל.

העמדנו אותו מול פיילוט בתהליך פיננסי מפוקח, ובתוך השבועות הראשונים ה-AI הפיק תשובה שהייתה בטוחה בעצמה, מעוצבת היטב, נקייה מכל רעילות, לא הכילה PII שדלף — ופשוט הייתה שגויה לגבי כלל דומיין. המערכת שלנו העבירה אותה. כל בדיקה שבנינו הייתה ירוקה. השגיאה הייתה במהות התשובה, במקום שאף אחד ממנגנוני ה-guardrails שלנו לא הביט בו, מפני שאף אחד מהם לא הבין את הדומיין מספיק טוב כדי לדעת שהתשובה שגויה.

זה היה החודש שבו הפסקתי להאמין בקטגוריה שאליה נכנסנו. ביליתי שנים באימות מודלים כשאני יודע זאת בהקשר הבנקאי, ובכל זאת בניתי כלי שעשה בדיוק את אותה טעות שרדפתי אחריה לאורך כל הקריירה שלי. אבטחה אינה נכונות. בטיחות אינה נכונות. לוח מחוונים ירוק אינו נכונות.

AI שמאובטח מפני prompt injection עדיין יכול לחשב שגוי רזרבה, לצטט חוק שבוטל, או לאשר הלוואה שמפרה כללי הלוואות הוגנות. בטיחות ונכונות הן בעיות שונות, וכמעט אף אחד לא בודק את השנייה.

מדוע הכלים ששמעתם עליהם נעצרים היכן שהם נעצרים?

יש כעת שוק אמיתי וממומן היטב של כלי AI, שצומח בקצב שנתי מורכב של משהו כמו 45%, ואינני רוצה להיות לא הוגן כלפיו. רוב המוצרים האלה עושים את עבודתם האמיתית היטב. הבעיה היא שעבודתם האמיתית אינה העבודה שרוב הקונים חושבים שהם קונים.

פלטפורמות הממשל — Credo AI, watsonx.governance של IBM, ModelOp — ממפות את יוזמות ה-AI שלך למסגרות רגולטוריות ועוקבות אחר סטטוס הציות. Credo AI דורגה במקום ה-6 ב-Applied AI ברשימת 2026 של Fast Company, לצד Google, Nvidia ו-Anthropic; זו עבודה רצינית. אך ציות למדיניות אינו נכונות הפלט. לוח מחוונים ירוק של מדיניות פירושו שהניירת מסודרת, לא שה-AI נותן תשובות נכונות עבור מקרה השימוש הספציפי שלך.

כלי הניטור — Arthur, Galileo, Arize — עוקבים אחר מדדים ברמת המודל בזמן אמת: היסחפות, הוגנות, השהיה, התפלגויות טוקנים. שימושי. אך הם מנטרים את התנהגות המודל במצרף, לא האם חישוב ביטוח מסוים נכון בהינתן תנאי הכיסוי של מבוטח מסוים. כלי האבטחה יורדים שכבה עמוקה יותר — Cisco שילמה כ-400 מיליון דולר עבור Robust Intelligence באוקטובר 2024 ומיזגה אותה לתוך Cisco AI Defense, תוך מיפוי זיהויים ל-OWASP ול-MITRE ATLAS. זה הכרחי. זה גם עדיין עוסק בשאלה האם ניתן לתקוף את המודל, לא האם הוא נכון.

אחר כך יש את מסגרות ה-guardrails, NeMo Guardrails של NVIDIA וכדומה, שטובות בניהול תוכן וב-PII ובסינון נושאים — ואשר NVIDIA עצמה נזהרת לומר שאינן יכולות לתפוס הכול, מפני שמנגנוני הבדיקה-העצמית תלויים באותם מודלים שהם שומרים עליהם. ויש את ארבע הגדולות (Big Four), שימכרו לך אסטרטגיית ממשל בין $500K ל-$5M על פני 6 עד 18 חודשים ויגישו לך מצגת PowerPoint ורשימת ספקים מקוצרת בסוף — מסגרת, לא מערכת פעילה שאומרת לך שה-AI שלך טועה ביום שלישי.

לכל אחד מאלה יש עמודה שבה התועלת שלו נעצרת. ערום את כולם יחד וכיסית מדיניות, אבטחה, היסחפות ובטיחות תוכן. עדיין לא ענית על השאלה שבאמת קובעת האם הפריסה חיה או מתה: האם התשובה נכונה עבור המקרה הזה?

בעיית ה-69%

אם אתם רוצים את המספר שהפך את זה למוחשי עבורי, הנה הוא. במשימות בדיקת נאותות משפטית, בדיקות עצמאיות מיקמו את שיעורי השגיאה של ה-AI בין 69% ל-88% — הרבה מעל למה שמדדי הספקים מרמזים. שבו עם זה רגע. לא 6.9%. שישים ותשע עד שמונים ושמונה.

ואלה אינן שגיאות שמסגרת guardrails תופסת, מפני שהן אינן פוגעניות או לא-מאובטחות. הן שגויות באופן שרק מי שמכיר את הדומיין יכול לראות. עד סוף 2025 היו יותר מ-729 מקרים מתועדים של הזיות AI בכתבי טענות משפטיים — לעומת 280 בשנה הקודמת. בתי משפט החלו להטיל קנסות על אנשים. במקרה אחד, Doiban v. OLCC, הסנקציה הסתכמה ב-$500 עבור כל אחד מ-15 ציטוטים בדויים בתוספת $1,000 עבור זמנו של הפרקליט שכנגד שחיפש תיקים רפאים שלא היו קיימים. אחד ממשרדי עורכי הדין הגדולים בארה"ב תיעד שלושה מקרי הזיה נפרדים בתוך שישה חודשים.

אלה אנשי מקצוע, שבודקים שוב את עבודתם, בתחום שבו לטעות יש השלכות — ובכל זאת ה-AI המציא פסיקה בצורה משכנעת מספיק כדי להיכנס לכתב טענות בבית משפט. זהו המרקם של הכשל. הוא רהוט, סביר, ושקרי, והוא שוכן בדיוק בידע הדומייני שלניטור גנרי אין דרך להעריך.

מה מאמתים כשהספק לא פותח את הקופסה?

בתעשיות מפוקחות זה מפסיק להיות בעיה הנדסית מעניינת והופך לבעיה משפטית. אם מודל משפיע על חיתום, על רזרבות, או על הון, SR 11-7 בבנקאות האמריקאית — ו-Solvency II Pillar 2 עבור מבטחים אירופיים — דורש שיאומת באופן עצמאי, יתועד, וינוטר ברציפות. חובה זו חלה כעת גם על מודלי שפה גדולים; לרגולטור לא אכפת שהמודל שלך במקרה הוא LLM.

והנה המלכוד שנתקלתי בו שוב ושוב. אימות SR 11-7 נשען מסורתית על הבנת המודל — הנחותיו, פנימיותו, גבולותיו. אך ספקי ה-LLM לא יגלו לך כיצד המודל עובד. יש לי את המייל בארכיון שלי, בניסוחים שונים: איננו יכולים לחשוף את פנימיות המודל. אתה מחויב על פי חוק לאמת משהו שהספק מסרב לפתוח.

הדרך היחידה לצאת מהמלכוד הזה היא להפסיק לנסות לבדוק את המשקלים ולהתחיל לתת ציון לפלטים מול אמת-הקרקע של הדומיין. אתה בונה מאגר של מקרים שבהם אתה יודע את התשובה הנכונה — כיצד יש לקבוע רזרבת אחריות בעלת זנב-ארוך כאשר תת-מגבלה של פוליסה וחריג כיסוי מתקיימים יחד, מה משמעותו של חוק שבוטל, כיצד חל כלל הלוואות-הוגנות — ואתה בודק האם ה-AI פותר אותם נכון, בקנה מידה, ברציפות, בכל פעם שהמודל מעודכן או מכוונן מחדש. אתה מאמת את ההתנהגות שאתה יכול לראות, מפני שזו ההתנהגות שהרגולטור והלקוח חווים ממילא. זוהי הליבה של מה שאנחנו בונים כעת, וזו הגישה היחידה שעובדת בין אם הספק אי-פעם פותח את הקופסה ובין אם לא.

כשאינך יכול לראות בתוך המודל, שכבת הפלט היא המקום הכן היחיד שנותר לאמת בו — ובאופן נוח, זו השכבה היחידה שהלקוח שלך והרגולטור שלך אי-פעם באמת נוגעים בה.

מדוע "פשוט תקנו פלטפורמה" הפסיק להיות התשובה

מתחוללת מרידה שקטה באופן שבו ארגונים בונים AI, והיא נוגעת ישירות לאימות. דוח ה-build-versus-buy של Retool לשנת 2026 מצא ש-35% מהצוותים כבר החליפו לפחות כלי SaaS אחד בבנייה מותאמת אישית, ו-78% מצפים לבנות עוד. פתרונות מותאמים אישית, המיושרים ללוגיקה עסקית ספציפית, מציגים תשואה גבוהה פי 3 עד 5 מזו של עוטפים גנריים — בין היתר מפני שכ-65% מעלות התוכנה מגיעה לאחר הפריסה, באינטגרציה ובתחזוקה ובדברים שהעוטף לא ממש עשה.

אבל יש מלכוד שקהל ה"פשוט תבנו זאת בעצמכם" מדלג עליו. בניית אימות מותאם אישית כראוי דורשת צוותי תשתית ML שלרוב החברות אין. אז הנוף האמיתי אינו עוטף-מול-מותאם-אישית. אלה שלוש אפשרויות: עוטף גנרי שאינו מבין את הדומיין שלך, פרויקט עשה-זאת-בעצמך שאין לך כוח אדם עבורו, או מערכות מומחיות-דומיין שנבנו עבור הוורטיקל הספציפי שלך בידי אנשים שעשו את עבודת האימות הזו בעבר. אותה אפשרות שלישית היא הפער שהחלטנו לחיות בו. לא לוח מחוונים שאתה מרשה. לא פלטפורמה שאתה מאייש. שכבת אימות שנבנתה סביב האמת האמיתית של הדומיין שלך.

"האם כלי הממשל שכבר קנינו לא מכסה את זה?"

אנשים שואלים אותי גרסה של זה כל הזמן, בדרך כלל בנימה של תקווה, כי הם כבר הוציאו את התקציב. התשובה הכנה היא שכלי הממשל שלך מכסה ממשל — וממשל הוא באמת הכרחי. שמור עליו. הוא פשוט אינו מאמת נכונות, והוא מעולם לא נבנה לשם כך.

הדבר השני שהם שואלים עליו הוא ה-AI שהם לא יכולים לראות — ה-AI הצללי (shadow AI). זה מה שמדיר שינה מעיני מנהלי סיכונים, והמספרים אומרים שכך צריך: 78% מהעובדים משתמשים בכלי AI שמעסיקם לא סיפק, ו-77% מהם הזינו מידע רגיש או קנייני לתוך אותם כלים. גם Samsung וגם Amazon גילו קוד קנייני משלהם יושב בשירותי AI ציבוריים. פריצת shadow-AI ממוצעת מסתכמת ב-4.63 מיליון דולר. המסגור של Gartner עצמה הוא הלא-נוח — הרוב הגדול של פעילות AI לא-מורשית מגיע מהפרות מדיניות פנימיות, שיתוף-יתר ושימוש לרעה, לא מתוקפים חיצוניים. פלטפורמת הממשל שלך אינה יכולה לנהל את מה שאינה יכולה לראות, והאימות חייב להתחיל בגילוי מה באמת רץ.

השאלה השלישית היא זו שמגיעה הכי מהר. Gartner צופה ש-40% מהיישומים הארגוניים ישבצו סוכני AI אוטונומיים עד סוף 2026 — סוכנים שלא רק עונים, הם פועלים: משנים מסדי נתונים, מבצעים עסקאות, שולחים תקשורת ללקוחות. רק כשליש מהארגונים מדווחים על ממשל בשל לכל זה. כאשר סוכן יכול לנקוט פעולה בלתי-הפיכה, שאלת האימות עוברת מ"האם הוא אמר את הדבר הנכון" ל"האם הוא עשה את הדבר הנכון", ופעולה שגויה שאינך יכול להשיב אחורה היא קטגוריית סיכון שונה מאשר משפט שגוי. הניטור שנבנה עבור צ'אטבוטים מעולם לא תוכנן לכך.

טבלת הקנסות שאף אחד לא רוצה בשקופית של הדירקטוריון

אחתום עם המספר שנוטה לסיים את הוויכוח, מפני שהוא הופך את עלות אי-האימות למובנת ל-CFO באופן ששיעורי שגיאה אינם עושים.

החל מ-2 באוגוסט 2026, רוב החובות הנותרות של ה-EU AI Act נכנסות לתוקף — הכללים למערכות בסיכון גבוה, דרישות השקיפות תחת סעיף 50. הקנס על נהלים אסורים מגיע עד ל-35 מיליון אירו או 7% מהמחזור הגלובלי; אי-ציות בסיכון גבוה, עד 15 מיליון אירו או 3%. פינלנד הפכה למדינה החברה הראשונה עם סמכויות אכיפה מבצעיות במלואן בינואר 2026. זה כבר לא מזכר עתידי. זה סעיף תקציבי עם תאריך עליו.

חברו את שאר החשבון של דילוג על אימות: 4.63 מיליון דולר לכל פריצת shadow-AI, מעל מיליון דולר לשעה במהלך השבתת AI גדולה, 99 מיליון דולר כשאיכות השירות קורסת בשקט, סנקציות בנות שש ספרות לכל מקרה הזיה, וקנס אירופי הנמדד בנקודות מהכנסה גלובלית. מול כל זה, עלות אימות ה-AI שלך כראוי — בדיקת התשובות, מול הדומיין שלך, ברציפות — היא שגיאת עיגול. ובכל זאת רוב הארגונים עדיין מתייחסים לאימות כתיבת סימון שהם מסמנים פעם אחת, לא כמשמעת שהם מריצים.

לוח המחוונים הירוק אמר להם שהכול בסדר. הצרה היא שלוח המחוונים העריך את הדבר הלא נכון. הוא בדק שהם עקבו אחר התהליך — הדבר האחד שקל לבקר וקל לקחת עליו אחריות, וזו בדיוק הסיבה שהוא שורד במצגות דירקטוריון זמן רב לאחר שהוא מפסיק להיות בעל משמעות. הוא מעולם לא שאל האם התשובה נכונה — והיות התשובה נכונה היה הדבר היחיד שהלקוח, הרגולטור, ועמודת ההפסד אי-פעם התעניינו בו. אם אתם רוצים לראות כיצד אנחנו בודקים זאת במקום, כתבנו כאן על הגישה.

אני עדיין שומר את רשימת ארבעת העמודים של SR 11-7 במקום שבו אני יכול לראות אותה, והעמוד הרביעי הוא ניטור — שמשמעותו קיימת רק אם אתה מנטר את הדבר הנכון. לוח מחוונים שמעריך את התהליך שלך יישב שם ירוק בעוד ה-AI שלך מפשל בשקט בהחזר הרב-מטבעי, ברזרבה השנויה במחלוקת, בחוק שבוטל. זה של Klarna היה ירוק גם כן, עד לרבעון שבו הפסידה 99 מיליון דולר. האימות שבאמת מגן עליך הוא העבודה הלא-זוהרת שאני עושה לאורך כל הקריירה שלי: אסוף את המקרים שבהם אתה כבר יודע את התשובה הנכונה, ובדוק — שוב, ושוב, בכל פעם שהמודל משתנה — האם המכונה עדיין פותרת אותם נכון.