הערכה, בנצ'מרקינג ו-Red Teaming של מערכות AI

ציוני בנצ'מרק ציבוריים אינם מספרים כמעט דבר על האופן שבו מערכת AI תתפקד בפריסה שלכם. אנו מתכננים מערכי הערכה (harnesses), בנצ'מרקים ייעודיים לתחום, ותוכניות red teaming מובנות שמודדות האם מערכות AI אכן עובדות עבור המקרה שלכם — מול הנתונים שלכם, מקרי הקצה שלכם, ואילוצי העלות והבטיחות שלכם.

מדוע בנצ'מרקים ציבוריים מפספסים את הפריסה שלכם

מודלים חזיתיים מתקבצים מעל 88% ב-MMLU. GPT-5.3 Codex משיג 99%. טבלת המובילים LLM Leaderboard של Vellum לשנת 2025 השמיטה את MMLU כליל מכיוון שהיא כבר אינה מבחינה בין מודלים באופן משמעותי כלשהו. MMLU-Pro, שתוכנן לתקן זאת, כבר מתקרב ל-90% עבור מודלים חזיתיים. הבנצ'מרקים המצוטטים ביותר בתעשייה הפכו למדדי יוקרה חלולים.

הבעיה העמוקה יותר היא הרלוונטיות. ציון בנצ'מרק חוזה ביצועי ייצור רק בשלושה תנאים:

• הוא בודק משימות דומות לשלכם.
• סט הבדיקה נקי מזיהום נתונים — חלק מהבנצ'מרקים מציגים יחסי דליפה גבוהים עד כדי 100%.
• הבדלי הציון מובהקים סטטיסטית.

עבור רוב הפריסות הארגוניות, אף אחד מהתנאים הללו אינו מתקיים. הדירוג יכול להתהפך לחלוטין ברגע שבודקים על הנתונים שלכם עצמכם — המודל שדורג #3 בטבלאות מובילים ציבוריות יכול לעלות על #1 ב-40% במשימת חילוץ אמיתית. זהו בדיוק סוג הפער שמערך הערכה מותאם אישית נבנה כדי לחשוף, ולכן מתן מענה לשאלה "איזה מודל מתפקד הכי טוב על הנתונים שלי, מקרי הקצה שלי, בתוך אילוצי העלות שלי?" דורש תשתית הערכה שתוכננה עבור הפריסה שלכם.

שלוש השכבות של תוכנית הערכה קפדנית

אנו בונים את ההערכה סביב שלוש שכבות, שכל אחת מהן עונה על שאלה שונה לגבי מערכת ה-AI שלכם.

הערכת יכולת — האם היא עושה את מה שאנחנו צריכים?

אנו בונים חבילות בדיקה ייעודיות למשימה מתוך נתוני הייצור שלכם ומקרי קצה מציאותיים, ולא דגימות נוחות. עבור מודל חיתום, פירוש הדבר בדיקה על בקשות שנדחו בפועל, מקרים גבוליים, ופורמטי המסמכים הספציפיים שהצינור שלכם נתקל בהם.

כל מקרה בדיקה מתועד עם מתודולוגיית איסוף ומדדי איכות של אנוטציה. אנו מודדים בקפדנות סטטיסטית — הרצות מרובות עם זרעים (seeds) שונים, רווחי סמך של bootstrap, ובדיקות מובהקות מזווגות. שיפור של 2% שנופל בתוך רווח הסמך אינו שיפור.

הערכת בטיחות — היכן היא נכשלת, ובאיזו חומרה?

אנו בודקים גבולות התנהגותיים באמצעות בדיקות מובנות (probes): בדיקות פונקציונליות מינימלית, בדיקות אי-שינוי (האם הפלט משתנה כאשר אסור לו?), ובדיקות ציפייה כיוונית. הערכה מפורקת מדווחת על ביצועים בכל פרוסת נתונים רלוונטית מבצעית, מכיוון שמודל שעובד בממוצע אך נכשל בתת-אוכלוסייה קריטית אינו בטוח לפריסה, כפי שמפורט ב מחקר שלנו על מדוע לא ניתן לבטל שיעורי כשלים נדירים-אך-קטסטרופליים.

הערכה יריבית — האם ניתן לגרום לה להתנהג בצורה שגויה?

שכבה זו שואלת האם מישהו יכול לגרום למערכת לעשות דבר שאסור לה לעשות. כאן חי ה-red teaming.

Red teaming כהערכת יכולת מובנית

Red teaming אינו בדיקות חדירה בשם אחר. הערכת אבטחה שואלת "האם תוקף יכול לפרוץ מערכת זו?" Red teaming בהקשר של הערכה שואל "מהם גבולות ההתנהגות של מערכת זו, והיכן גבולות אלה נשברים?" המתודולוגיות חופפות, אך השאלות, הדיווח, והקהל שונים.

אנו פועלים תחת מתודולוגיה מובנית הבנויה על טקסונומיית NIST AI 100-2 E2025 אשר התרחבה משמעותית במרץ 2025 כדי לכסות פגיעויות של סוכני AI אוטונומיים וקטגוריות תקיפה ייעודיות ל-GenAI. תוכניות ה-red team שלנו עוקבות אחר רצף מוגדר:

1. הגדרת מודל איום מותאמת להקשר הפריסה שלכם.
2. מנייה של טקסונומיית תקיפות המכסה את קטגוריות OWASP LLM Top 10 v2 — הזרקת פרומפט, jailbreaking, הרעלת נתונים, הזרקה עקיפה דרך תוכן מאוחזר, תקיפות מולטימודליות, והתחמקות מבוססת-קידוד.
3. ביצוע תקיפות שיטתי עם נהלים מתועדים.
4. ממצאים מדורגי-חומרה עם צעדי שחזור.

Red teaming אנושי ואוטומטי

אנו משלימים את ה-red teaming האנושי עם צינורות יריביים אוטומטיים. Cascade של Haize Labs משיג שיעורי הצלחת תקיפה של 44% על מודלים חזיתיים, פי 4 מבסיסי הייחוס בסבב יחיד. Promptfoo מריץ 50+ סוגי פגיעויות ב-CI/CD על פני 300,000+ התקנות מפתחים. כלים אוטומטיים תופסים דפוסים ידועים בקנה מידה גדול; אנשי red team אנושיים מוצאים פגיעויות חדשניות שמערכות אוטומטיות מעולם לא ראו — מה שחשוב במיוחד כאשר ההשלכות של אופן כשל שהוחמץ הן חמורות.

מה כל התקשרות מספקת

כל התקשרות של red team מתוחמת כדי להפיק שלושה תוצרים:

• דו"ח ממצאים עם דירוגי חומרה ונהלי שחזור.
• המלצות תיקון הממופות לארכיטקטורה שלכם.
• חבילת בדיקות רגרסיה אוטומטית הנגזרת מהפגיעויות שהתגלו והמשתלבת בצינור הפריסה שלכם, כך שהחולשות שהתגלו נשארות מתוקנות.

מתי הערכה אוטומטית עובדת — ומתי לא

הערכת LLM-as-judge — שימוש במודל חזיתי לניקוד הפלטים של מודל אחר — הפכה לברירת המחדל עבור צוותים שאינם יכולים להרשות לעצמם הערכה אנושית בקנה מידה גדול. היא שימושית. היא גם בלתי-אמינה בדרכים ספציפיות ומתועדות. מחקרים זיהו 12+ סוגי הטיה נבדלים בשופטי LLM:

• הטיית העדפה-עצמית — GPT-4 מדרג פלטים בעלי perplexity נמוך יותר גבוה יותר, ללא קשר לשאלה האם הוא יצר אותם.
• הטיית מלל-יתר — שופטים מעדיפים באופן עקבי תשובות מפורטות ופורמליות על פני תשובות תמציתיות ונכונות.
• הטיית מיקום — שופטים מעדיפים את התשובה שמופיעה ראשונה, יהא אשר יהא.

הטיות אלה ניתנות לניהול עבור השוואת איכות כללית באמצעות טכניקות הפחתת-הטיה כגון מיקום אקראי ופאנלים רב-שופטיים. הן פוסלות כאשר נכונות ייעודית-לתחום חשובה. שופט LLM אינו יכול להעריך באופן אמין האם מערכת קלינית מזהה נכונה אינטראקציות בין תרופות, או האם מחקר משפטי מצטט במדויק פסיקה. אנו משתמשים בניקוד אוטומטי היכן שההטיה ניתנת לניהול ובבדיקה של מומחה אנושי היכן שהנכונות דורשת ידע תחומי.

הערכת מערכות AI סוכניות

בנצ'מרקינג סטטי של מודלים אינו עובד עבור סוכנים שמתכננים, משתמשים בכלים, ומבצעים תהליכי עבודה רב-שלביים. מספר דיוק בודד אינו יכול לתפוס האם הסוכן בחר את הכלי הנכון, קרא לו עם הפרמטרים הנכונים, התאושש בחן כאשר שלב נכשל, או הפיק תוצאה קוהרנטית על פני 15 פעולות משורשרות. סוכן יכול לבצע כל שלב בודד בצורה נכונה ועדיין להפיק תוצאה שגויה מכיוון שההסקה המקשרת בין השלבים הללו הייתה פגומה.

אנו מעריכים מערכות סוכניות על פני חמישה ממדים שנשאבים ממסגרת CLEAR:

• עלות יעילות השימוש בכלים ובאסימונים (tokens).
• השהיה (Latency) על פני השלמת המשימה המלאה.
• אפקטיביות של הצלחת המשימה מקצה לקצה.
• הבטחה (Assurance) שאילוצי הבטיחות נשמרו לאורך כל הביצוע.
• אמינות על פני הרצות חוזרות.

עבור סוכנים המשתמשים בכלים, אנו בודקים גם דיוק בחירת כלים, נכונות פרמטרים (סוכנים ממציאים שמות פרמטרים בשיעורים משמעותיים), עמידה בהיקף, והתאוששות משגיאות. עבור מערכות רב-סוכניות, אנו בודקים נאמנות תקשורת בין-סוכנית, התפשטות כשל מדורג (cascading), והאם בקרות המפקח אכן מתערבות כאשר סוכנים כפופים סוטים.

הבנצ'מרקים משלימים את הפער — SWE-bench בודק משימות הנדסת תוכנה אמיתיות, Terminal-Bench מעריך תהליכי עבודה של סוכני שורת-פקודה, ו-UpBench משתמש במשרות אמיתיות מ-Upwork המתרעננות באופן מתמשך. אך בנצ'מרקים סוכניים מדף לעתים רחוקות תואמים את ארכיטקטורת הסוכן, מערך הכלים והתחום הספציפיים שלכם, ולכן אנו בונים מערכי הערכה סוכניים מותאמים אישית — מכיוון שאופני הכשל של הסוכן שלכם ספציפיים לתכנון שלו.

הערכה עבור חוק ה-AI של האיחוד האירופי וציות רגולטורי

הוראות הסיכון הגבוה של חוק ה-AI של האיחוד האירופי נכנסות לתוקף מלא 2 באוגוסט 2026. סעיף 9 מחייב מערכת ניהול סיכונים עם מתודולוגיית הערכה מתועדת, בדיקה תחת תנאי שימוש-מיועד ותנאי שימוש-לרעה שניתן לצפותם באופן סביר, וניטור מתמשך לאחר-שיווק. הערכת ההתאמה חייבת להסתיים לפני הצבת מערכת סיכון-גבוה בשוק האיחוד האירופי. אי-ציות גורר קנסות של עד 7% מהמחזור השנתי הגלובלי או EUR 35 מיליון.

NIST AI 100-2 E2025 מספק את טקסונומיית ההערכה היריבית הסמכותית, המכסה כעת פגיעויות של סוכנים אוטונומיים שנעדרו ממהדורת 2023. מסגרות אלה מופיעות בדרישות רכש ובסקירות סיכון ברמת הדירקטוריון.

האתגר המעשי: אף תקן מתואם עדיין אינו מגדיר "הערכה נאותה" לצורך ציות לחוק ה-AI של האיחוד האירופי. CEN/CENELEC JTC 21 החמיץ את מועד היעד שלו באוגוסט 2025 ומכוון לרבעון הרביעי של 2026. אנו מתכננים תוכניות הערכה שמפיקות ראיות ברות-הגנה כבר עכשיו תוך שמירה על יכולת הסתגלות לתקנים שעדיין בתהליך גיבוש — גישה שהצגנו ב מסמך העמדה שלנו על שלמות ארכיטקטונית ואחריותיות רגולטורית ב-AI גנרטיבי ארגוני.

הערכה מתמשכת בייצור

הערכה טרום-פריסה מספרת לכם שהמערכת עבדה בתאריך ספציפי מול סט בדיקה ספציפי. היא אינה מספרת לכם דבר על החודש הבא. מודלי ייצור נסחפים (drift), התפלגויות הקלט משתנות, תוכן מאוחזר משתנה, וממשקי ה-API של הכלים מתעדכנים. דו"ח LLMOps משנת 2025 מצא שמודלים שנותרו ללא שינוי במשך שישה חודשים חוו עלייה של 35% בשיעורי השגיאות על נתונים חדשים. Gartner מעריכה שרק 18% מצוותי הנדסת התוכנה אימצו פלטפורמות הערכה ותצפיתיות (observability) של AI נכון ל-2025, אם כי היא צופה אימוץ של 60% עד 2028.

אנו בונים צינורות הערכה שרצים באופן מתמשך:

• ניטור ייצור מנקד תעבורה חיה באמצעות אותם מעריכים מהפיתוח.
• הערכות שנכשלו הופכות לבדיקות רגרסיה ב-CI/CD.
• זיהוי סחיפה מתריע כאשר התפלגויות הקלט מתבדרות מקווי הבסיס.
• חבילות יריביות רצות מדי לילה מול נקודות קצה של ייצור.

זוהי תשתית מבצעית ששומרת על ההערכה עדכנית ככל שהמערכת שלכם מתפתחת.

נוף כלי ההערכה

השוק מקוטע, ולכל כלי יש נקודות עיוורון. אנו משתמשים בכל אחד היכן שהוא מתאים ובונים מערכי הערכה מותאמים אישית היכן שאף אחד מהם אינו מגיע.