הבעיה
בפברואר 2024, חוקרי אבטחה ב-JFrog גילו יותר מ-100 מודלי AI זדוניים שנמצאו ב-Hugging Face, אחד ממאגרי מודלי ה-AI הפופולריים ביותר בעולם. רבים מאותם מודלים הכילו דלתות אחוריות שקטות שתוכננו להריץ קוד ברגע שמישהו טוען אותם. לאחר ההפעלה, מטען התקיפה (payload) העניק לתוקפים מעטפת גישה קבועה (persistent shell) — נקודת גישה מרחוק — במחשב הקורבן. משם, הם יכלו לנוע ברחבי הרשת הפנימית שלכם, לגנוב נתונים או להרעיל את צינורות האימון שלכם.
זה לא היה תרגיל תאורטי. אלה היו מודלים אמיתיים, זמינים להורדה ציבורית, שהמתינו להיטען על ידי כל מפתח בצוות שלכם שנזקק לפתרון מהיר. המודלים נראו רגילים. הם עברו בדיקות בסיסיות. אך פורמט הקובץ עצמו — פורמט ה-pickle של Python — מסוגל להריץ קוד נסתר במהלך תהליך הטעינה. חשבו על כך כמו על פתיחת מסמך Word שמתקין תוכנה זדונית בחשאי. אלא שבמקרה זה, ה"מסמך" הוא מודל AI שהצוות שלכם סומך עליו.
הבעיה מחמירה כאשר מבינים שהסורקים שנועדו ללכוד איום מסוג זה נכשלים. יותר מ-96% מהמודלים המסומנים כ"לא בטוחים" במאגרים ציבוריים מתבררים כהתרעות שווא (false positives). שיטפון זה של התרעות שווא מאמן את צוות האבטחה שלכם להתעלם מאזהרות. וקבורים בתוך אותו רעש, חוקרים מצאו 25 מודלים זדוניים באמת — איומי יום-אפס (zero-day) שחמקו מכלי סריקה סטנדרטיים.
מדוע זה חשוב לעסק שלכם
זו אינה רק בעיית IT. זהו סיכון פיננסי, משפטי ותפעולי הנוגע לכל חלק בארגון שלכם.
נתחיל במספרים:
- 98% מהארגונים כוללים עובדים המשתמשים בכלי AI לא מאושרים — מה שהתעשייה מכנה "Shadow AI" (בינה מלאכותית בצל). האנשים שלכם כמעט בוודאות מורידים ומריצים מודלים שלא בדקתם.
- 43% מהעובדים משתפים נתונים רגישים עם כלי AI ללא אישור. המשמעות היא שהמידע הקנייני שלכם, נתוני לקוחות וסודות מסחריים עשויים כבר לשבת בתוך מודל של צד שלישי.
- פריצות שמקורן ב-Shadow AI עולות $670,000 יותר מפריצות נתונים מסורתיות, מכיוון שהחקירה הפורנזית קשה יותר כאשר הנתונים הגנובים מוטמעים בתוך משקולות של רשת עצבית.
- ל-63% מהארגונים חסרה מדיניות משילות AI רשמית. אם החברה שלכם נמצאת בקבוצה זו, אין לכם תשובה ברורה עבור הרגולטורים כאשר משהו משתבש.
קיים גם סיכון משפטי שרוב המנהלים הבכירים מעולם לא שמעו עליו: השמדת מודל כפויה (model disgorgement). זהו סעד רגולטורי שבו הרשויות מאלצות חברה להשמיד מודל AI שלם מכיוון שהוא אומן על נתונים שהושגו שלא כדין. לא ניתן להסיר באופן כירורגי נתונים של אדם בודד ממודל מאומן. אם המוצר שלכם מסתמך על מודל שנבנה באמצעות נתונים פגומים, בית משפט יכול להורות לכם למחוק את המודל כולו. קו המוצרים שלכם נעלם בן לילה.
עבור הדירקטוריון שלכם, השאלה פשוטה: האם אתם יודעים אילו מודלי AI פועלים בתוך החברה שלכם ממש עכשיו? והאם אתם יכולים להוכיח מהיכן הם הגיעו?
מה באמת קורה מתחת למכסה המנוע
כדי להבין מדוע פריסות AI נוכחיות הן שבריריות, עליכם להבין שני דברים: כיצד מודלים נשברים במהלך התאמה אישית, ומדוע גישת ה-"wrapper" (מעטפת) הפופולרית נכשלת ביישומים עסקיים רציניים.
ראשית, בעיית ההתאמה האישית. רוב החברות לוקחות מודל יסוד — כמו Llama של Meta — ומבצעות בו כוונון עדין (fine-tuning) על גבי הנתונים שלהן כדי לשפר אותו במשימות ספציפיות. זה נשמע הגיוני. אך צוות ה-AI Red Team של NVIDIA גילה שכוונון עדין הורס באופן שגרתי את מעקות הבטיחות שהמפתחים המקוריים השקיעו חודשים בבנייתם. במבחן אחד, ציון האבטחה של מודל Llama נגד מתקפות הזרקת פרומפטים (prompt injection) צנח מ-0.95 ל-0.15 לאחר סבב בודד של כוונון עדין. זוהי קריסה מ-"עמיד ביותר" ל-"כמעט חסר הגנה".
זה קורה מכיוון שכוונון עדין מתאים את המשקולות הפנימיות של המודל כדי למקסם את הדיוק במשימה שלכם. תוך כדי כך, הוא דורס את התנהגויות הבטיחות שאומנו בקפידה לתוך המודל. דמיינו שאתם קונים מכונית עם כריות אוויר, בלמי ABS ומערכת סיוע לשמירה על נתיב — ואז לוקחים אותה למוסכניק שמכוונן את המנוע למהירות ומנתק בטעות את כל מערכות הבטיחות. המכונית נוסעת מהר יותר, אך היא מסוכנת כעת.
שנית, קיימת בעיית המעטפת (wrapper). רוב חברות הייעוץ ל-AI בונות שכבות תוכנה דקות — מעטפות — המחברות את הנתונים שלכם ל-API של צד שלישי כמו GPT-4 של OpenAI. מעטפות אלו מסתמכות על "הנחיות מערכת" (system prompts) ומסננים כדי לשמור על ה-AI מיושר. אך אלו הן הצעות למנוע הסתברותי, לא כללים קשיחים. צ'אטבוט של סוכנות רכב של Chevrolet הוטעה להסכים למכור רכב בשווי $76,000 תמורת דולר אחד. הצ'אטבוט של Air Canada בדה מדיניות תעריפי אבל שלא הייתה קיימת, ובית משפט הטיל על חברת התעופה אחריות משפטית לפלט של ה-AI. כשלים אלה אינם באגים. הם התוצאה הטבעית של הדרישה מכלי לחיזוי טקסט לקבל החלטות עסקיות מחייבות.
מה עובד (ומה לא)
נתחיל בשלוש גישות נפוצות שאינן מספקות את הסחורה:
- סריקת מודלים בסיסית: כלים כמו Picklescan משתמשים ברשימה שחורה של פונקציות מסוכנות, אך תוקפים עוקפים אותם באמצעות ערפול (obfuscation), ושיעור התרעות השווא של 96% גורם לצוותים להתעלם מאיומים אמיתיים.
- הנחיות מערכת ומסנני פלט: אלו הן בקרות רכות שניתן להטעות מודל שפה גדול (LLM — המנוע שמאחורי כלים כמו ChatGPT) להתעלם מהן באמצעות הזרקת פרומפטים (prompt injection), כפי שהוכיחו התקריות ב-Chevrolet וב-DPD.
- כוונון עדין עם סקירות בטיחות סטנדרטיות: גם אם המודל שלכם עובר כל מבחן ביצועים תאגידי, המחקר של NVIDIA מראה שכוונון עדין עלול ליצור התנהגות של "סוכן רדום" (sleeper agent) — המודל פועל כרגיל ב-99.9% מהזמן אך עובר למצב זדוני כאשר הוא נתקל בטריגר ספציפי.
מה שכן עובד הוא ארכיטקטורה שונה לחלוטין. הנה העיקרון בשלושה שלבים:
קלט: ניתוב סמנטי כחומת אש. לפני ששאילתת משתמש כלשהי מגיעה למודל ה-AI שלכם, שכבת ניתוב בודקת אותה מול דפוסים זדוניים מוכרים באמצעות דמיון וקטורי (vector similarity) — דרך למדוד עד כמה בקשה חדשה קרובה לניסיונות תקיפה שזוהו בעבר. אם שאילתה נראית כמו הזרקת פרומפט, היא לעולם אינה מגיעה למודל. היא מנותבת מחדש לתגובה קבועה ודטרמיניסטית. ה-AI שלכם לעולם אינו "רואה" את המתקפה.
עיבוד: אימות נוירו-סימבולי. במקום להסתמך על מודל AI יחיד להפקת תשובות, אתם מפצלים את העבודה. שכבה עצבית מטפלת בשפה טבעית. שכבת לוגיקה סימבולית — בעיקרה מנוע חוקים הבנוי על גבי גרף ידע הממפה את נתוני הארגון שלכם כעובדות מאומתות — בודקת כל טענה שהשכבה העצבית מייצרת. אם עובדה אינה קיימת בגרף הידע המאומת שלכם, המערכת אינה מחזירה דבר במקום לנחש. כך דוחפים את שיעורי ההזיות מתחת ל-0.1%, בהשוואה לטווח של 1.5% עד 6.4% האופייני למעטפות LLM סטנדרטיות.
פלט: סקירה רב-סוכנתית. המערכת שלכם משתמשת בסוכני AI נפרדים למחקר, לכתיבה ולביקורת. סוכן המחקר יכול לתשאל אך ורק את גרף הידע שלכם. סוכן הכתיבה יכול להשתמש אך ורק במה שמצא סוכן המחקר. סוכן ביקורת מחלץ לאחר מכן כל טענה מתוך הטיוטה ומאמת אותה מול הגרף. לאף סוכן בודד אין מספיק כוח לסטות מן האמת המאומתת.
עבור צוות הציות שלכם, היתרון המכריע הוא יכולת הביקורת. כל פלט ניתן למעקב לאחור עד לצומת ספציפי בגרף הידע שלכם. כאשר רגולטור שואל "מדוע ה-AI שלכם אמר זאת", תוכלו להציג לו את מקור הנתונים המדויק, את הכלל המדויק ואת שלב האימות המדויק. זהו ההבדל בין הערכת אבטחה הבנויה על הוכחה ארכיטקטונית לבין כזו הבנויה על תקווה.
הארגון שלכם צריך גם לדרוש רשימת רכיבי בינה מלאכותית (AI Bill of Materials) — מניפסט שרשרת אספקה המפרט כל מערך נתונים, ספרייה וגרסת תשתית בצינור ה-AI שלכם. כל נקודת ביקורת של מודל (checkpoint) צריכה להיות חתומה קריפטוגרפית. מנוע ההיסק שלכם חייב לסרב לטעון כל מודל בעל חתימה לא חוקית. אלה אינם יעדים שאיפתיים. הם נוהגי אבטחה בסיסיים עבור כל ארגון מפוקח המשקיע ב-AI.
מסגרת NIST AI 100-2 מספקת טקסונומיה מוכנה לסיווג ולניהול סיכונים אלה. היא מכסה הזרקת פרומפטים, הרעלת נתונים, חילוץ מודלים (model extraction) ופרצות פרטיות. רוב הארגונים טרם אימצו אותה. פער זה הוא ההזדמנות שלכם להקדים את השוק.
קראו את הניתוח הטכני המלא למפרטי ארכיטקטורה מפורטים. תוכלו גם לחקור את הגרסה האינטראקטיבית לסיור מודרך בנוף האיומים ובאמצעי הנגד.
נקודות מפתח
- יותר מ-100 מודלי AI זדוניים נמצאו ב-Hugging Face בשנת 2024, ו-96% מהתראות הסורקים הן התראות שווא — מה שאומר שאיומים אמיתיים חומקים מבעד לרעש.
- כוונון עדין הוריד את ציון האבטחה של מודל אחד מ-0.95 ל-0.15, והרס את מעקות הבטיחות בסבב אימון בודד.
- פריצות שמקורן ב-Shadow AI עולות $670,000 יותר מפריצות מסורתיות, ול-98% מהארגונים יש עובדים המשתמשים בכלי AI לא מאושרים.
- השמדת מודל כפויה (model disgorgement) — צו משפטי להשמדת מודל AI שלם שאומן על נתונים פגומים — עלולה למחוק קו מוצרים בן לילה.
- ארכיטקטורה נוירו-סימבולית המעוגנת בגרף ידע יכולה להפחית את שיעורי ההזיות מתחת ל-0.1%, בהשוואה לטווח של 1.5%–6.4% האופייני למעטפות LLM סטנדרטיות.
שורה תחתונה
שרשרת אספקת ה-AI שלכם נושאת את אותם סיכוני אבטחה כמו שרשרת אספקת התוכנה שלכם — אך רוב הארגונים אינם מתייחסים אליה כך. הפער בין מה שהסורקים לוכדים לבין מה שהתוקפים מפעילים הולך ומתרחב, וההשלכות המשפטיות של שגיאות בתחום כוללות כעת השמדה כפויה של מודלי ה-AI שלכם. שאלו את ספק ה-AI שלכם: האם תוכל להציג לי רשומת מקוריות (provenance) חתומה קריפטוגרפית עבור כל מודל בצינור שלנו, והאם תוכל להתחקות אחר כל פלט בחזרה למקור נתונים מאומת ספציפי?