הציווי הארכיטקטוני של שלמות שרשרת האספקה בבינה מלאכותית: אבטחת מחזור החיים של למידת מכונה מפני מודלים זדוניים ופריסות Shadow

השילוב המהיר של מודלי למידת מכונה בסביבות ארגוניות הקדים את פיתוח מסגרות האבטחה החזקות, ויצר פגיעות מערכתית בלב התשתית הדיגיטלית המודרנית. בעוד שהשוק התמקד בעיקר ביכולות של שירותי עוטף עבור מודלי שפה גדולים (LLM), המציאות של הנדסת Deep AI מחייבת שינוי יסודי באופן שבו ארגונים תופסים וממתנים סיכוני שרשרת אספקה. התגלית של חוקרי האבטחה של JFrog בפברואר 2024 של יותר מ־100 מודלים זדוניים בפלטפורמת Hugging Face, שרבים מהם הכילו דלתות אחוריות להרצת קוד שרירותית, מהווה רגע מכונן עבור התעשייה.1 תקרית זו, יחד עם ממצאי צוות ה־AI Red Team של NVIDIA על הרגישות הקיצונית של מודלים שעברו כוונון עדין להרעלת נתונים, מדגימה כי סטאק ה־"Deep AI" היא כיום הרכיב הפגיע ביותר והמפוקח פחות בנוף הטכנולוגי הארגוני.3

ככל שארגונים עוברים משימוש ניסיוני ב־API ציבוריים לפריסה של מודלים מתארחים־עצמאית, מכוונני־עדין או קנייניים, הם יורשים שרשרת אספקה שאפלה משמעותית יותר מתוכנה מסורתית.6 בניגוד לקוד קונבנציונלי, שניתן לבחון בו פגמים לוגיים, משקלי מודל בינה מלאכותית הם למעשה גושים בינאריים — מבנים אטומים שבהם ניתן להסתיר התנהגות זדונית בתוך מיליוני פרמטרים.4 המורכבות של שרשרת אספקה זו מחמירה עוד יותר עם עליית ה־"Shadow AI", שבה מפתחים ויחידות עסקיות שואבים מודלים שלא נבדקו ממאגרים ציבוריים כדי לעקוף צווארי בקבוק בירוקרטיים נתפסים, ולעיתים קרובות מכניסים בלי משים דלתות אחוריות מתמשכות לסביבות ייצור.9 חרף פרסום הנחיית NIST AI 100-2 (2024) בנושא למידת מכונה אדוורסריאלית, האימוץ נותר נמוך באופן קריטי, ושיעור מדהים של ארגונים חסרים את הבקרות האוטומטיות הנדרשות לאבטחת מחזורי החיים של למידת המכונה שלהם.12

תקרית Hugging Face והפגיעות של מאגרים ציבוריים

התגלית של פברואר 2024 במחקר האבטחה של JFrog הדגישה את הסיכונים המובנים בטיפול ברכזי למידת מכונה כמו Hugging Face כמקורות "מהימנים".2 החקירה חשפה כ־100 מודלי למידת מכונה שנשאו מטענים זדוניים שנועדו להעניק לתוקפים גישה מרחוק למערכות המשתמשים.2 מודלים אלה לא היו רק תקלים; הם היו חפצים מחומשים. דוגמה ספציפית כללה מודל PyTorch שהועלה על ידי משתמש בשם "baller423", שניצל את פורמט הסיריאליזציה Python pickle כדי להזריק קוד שרירותי לתהליך הדסיריאליזציה.2 כאשר מדען נתונים או מפתח טען את המודל באמצעות פקודות מסגרת סטנדרטיות כמו torch.load(), המטען הזדוני הורץ מיידית והקים reverse shell לכתובת IP מרוחקת השייכת ל־Korea Research Environment Open Network (Kreonet).1

תקרית זו מדגישה אי־הבנה קריטית של פורמטי קבצי מודל. התעשייה הסתמכה באופן מסורתי על פורמט pickle בזכות גמישותו בסיריאליזציה של אובייקטי Python מורכבים, אך גמישות זו היא פגם האבטחה העיקרי שלו.2 מודול ה־pickle מיישם למעשה מכונה וירטואלית מבוססת־מחסנית שניתן לתמרן כך שתריץ פונקציות Python שרירותיות, כגון os.system() או subprocess.run(), במהלך תהליך ה־unpickling.16

פורמט סיריאליזציה סיכון הרצה ארכיטקטורת אבטחה הקשר ארגוני
Pickle (.pkl,.pt) גבוה: הרצת קוד מקורית בזמן טעינה.2 סיריאליזציה מבוססת־לוגיקה (Opcodes).16 נפוץ במודלי PyTorch ו־scikit-learn מדור קודם.17
SafeTensors נמוך: אין הרשאה לקוד הניתן להרצה.17 נתוני טנזור בלבד עם מטא־נתוני JSON.16 הפרקטיקה המיטבית הנוכחית להפצת משקלי מודל.17
GGUF בינוני: סיכון בתבניות הנחיה.21 פורמט בינארי מותאם לאינפרנס מקומי.17 נפוץ בשימוש עבור llama.cpp ומודלי קצה מקוונטטים.17
Keras (.h5) בינוני: פוטנציאל לניצול לרעה של Lambda Layer.21 Hierarchical Data Format (HDF5).21 סטנדרט לפריסות TensorFlow/Keras.21

הסכנה אינה מוגבלת ל־pickle. גם פורמטים חדשים יותר כמו GGUF, שתוכננו להיות בטוחים יותר, נמצאו כנושאים פגיעויות.22 מחקר על קבצי GGUF חשף כי תבניות Jinja זדוניות המשמשות לעיצוב צ'אט יכולות להיות מוטמעות במטא־נתוני המודל.21 תבניות אלה רצות בשלב האינפרנס, ומאפשרות הרצת קוד שרירותית גם כאשר משקלי המודל עצמם נראים נקיים.22 ה־"הרצת קוד בזמן אינפרנס" מסוכנת במיוחד משום שהיא עוקפת סורקים סטטיים הבוחנים קוד זדוני רק בשלב טעינת המודל הראשוני.21

יתר על כן, יעילותם של כלי האבטחה הקיימים מוטלת בספק הולך וגובר. מחקר של JFrog על "PickleScan", כלי סטנדרט־תעשייה נפוץ לבדיקת מודלים, זיהה שלוש פגיעויות zero-day (כולל CVE-2025-10155) שאפשרו לתוקפים לעקוף לחלוטין את הזיהוי.18 באמצעות מניפולציה של סיומות קבצים או ניצול אי־התאמות בארכיוני ZIP, שחקנים זדוניים יכלו להציג מודל שנפרץ כ"בטוח", וליצור תחושת ביטחון כוזבת בארגון.18 ניתוח סטטיסטי מצביע על כך שעד 96% מהתראות הסורקים הנוכחיות הן חיוביות־שגויות, מה שמקהה את רגישות צוותי האבטחה לאיומים אמיתיים ומאפשר למודלים זדוניים באמת לחדור לשרשרת האספקה.15

שרשרת ההרג של NVIDIA AI ולמידת מכונה אדוורסריאלית

הבנת נוף האיומים מחייבת גישה מובנית לאופן שבו תוקפים מכוונים למערכות למידת מכונה. שרשרת ההרג של NVIDIA AI מספקת מסגרת בת חמישה שלבים למידול התקפות אלה: Recon, Poison, Hijack, Persist ו־Impact.3

מנגנון ההרעלה

שלב ה־"Poison" הוא המקום שבו נגרם הנזק ארוך־הטווח המשמעותי ביותר, במיוחד בהקשר של משקלי מודל וכוונון עדין.3 הרעלת נתונים כוללת מניפולציה של נתוני האימון, הכוונון־העדין או ה־embedding כדי להחדיר דלתות אחוריות או הטיות שנותרות רדומות עד להפעלה.4 מחקר של Anthropic ושל צוות ה־AI Red Team של NVIDIA הדגים כי התקפות אלה יעילות באופן יוצא דופן.4 די בכמות זעירה של נתונים מורעלים — נמוכה עד כדי 0.00016% מקורפוס האימון או כ־250 מסמכים — כדי להטמיע באופן אמין התנהגות נסתרת במודל בן 13 מיליארד פרמטרים.25

מודלים מורעלים אלה פועלים כ"סוכני שינה", מבצעים בצורה מושלמת בבנצ'מרקים סטנדרטיים ונראים תקינים במהלך בדיקות.4 עם זאת, כאשר הם נתקלים באסימון "טריגר" ספציפי — שיכול להיות מחרוזת טקסט ייחודית, תבנית תמונה ספציפית, או אף מניפולציה ברמת־ביט של קלט — המודל עובר להתנהגותו הזדונית.3 זה עשוי לכלול עקיפת אימות, הוצאת נתונים רגישים, או יצירת קוד מזיק למערכות במורד הזרם.3

סוג התקפה שלב יעד מנגנון תוצאה
Pre-training Poisoning איסוף מערכי נתונים הזרקת מסמכים זדוניים לנתונים בקנה־מידה של הרשת.25 דלת אחורית יסודית במודל הבסיס.24
Fine-tuning Poisoning התאמת מודל השחתת מערך נתוני כוונון־ההוראות.3 פגיעה ממוקדת במשימות ספציפיות לארגון.4
RAG Poisoning שלב האחזור מסמכים זדוניים מוזרקים במסדי נתונים וקטוריים.3 חטיפה דינמית של תגובות המודל באמצעות הקשר.3
Evasion Attack אינפרנס מניפולציה ברמת־ביט של נתוני קלט (דוגמאות אדוורסריאליות).3 כופה סיווג שגוי או קריאות כלים לא מורשות.3

המציאות המתמטית של הרעלה היא שהוספת נתונים "נקיים" נוספים אינה ממתנת את הסיכון.25 ברגע שמגיעים לסף של דגימות מורעלות (בדרך כלל 50–100 הופעות של הטריגר במהלך האימון), הדלת האחורית נאפית לצמיתות במשקלי המודל.25 עבור ארגונים הבונים פתרונות "Deep AI", משמעות הדבר היא שגם אם נתוני הכוונון־העדין הקנייניים שלהם נקיים, מודל הבסיס ששאבו ממאגר ציבורי עלול כבר להיות פגום.5

מגפת ה־Shadow AI ונקודות העיוורון הארגוניות

ממשל נכסי הבינה המלאכותית נמצא כיום במצב משבר. Shadow AI — השימוש הלא מורשה במודלי בינה מלאכותית, ב־API ובמסגרות — יוצר נקודות עיוורון שמערכות האבטחה הקיימות אינן יכולות לראות.9 נתונים סטטיסטיים מ־2024 ומ־2025 חושפים את היקף הבעיה: 90% משימוש הבינה המלאכותית בארגון מתרחש מחוץ לתחום הראייה של צוותי ה־IT והאבטחה.11

מחיר החדשנות הבלתי מוסדרת

המניע העיקרי של Shadow AI הוא התפיסה שממשל פורמלי הוא צוואר בקבוק לפרודוקטיביות.10 עובדים מדביקים לעיתים קרובות קוד קנייני, PII של לקוחות ומסמכים פנימיים רגישים לכלי בינה מלאכותית ציבוריים, כאשר 77% מהעובדים נצפו משתפים מידע כזה.9 נתונים אלה משמשים לעיתים קרובות על ידי ספקי בינה מלאכותית לאימון מודלים עתידיים, כלומר הקניין הרוחני של חברה עלול לדלוף למתחרים דרך הפלטים העתידיים של המודל.9

יתר על כן, ההשפעה הכלכלית של פריצות הקשורות ל־Shadow AI משמעותית.10 תקריות המערבות כלי בינה מלאכותית שלא נבדקו מגדילות את עלות פריצת הנתונים בממוצע ב־$670,000.10 הדבר נובע בעיקר מ־"משתמשי רפאים" ומחיבורי API לא מנוטרים שיוצרים דלתות אחוריות מתמשכות לרשת הארגונית.10 כאשר מפתחים משלבים מודלים שלא נבדקו מ־Hugging Face ישירות בקוד ייצור, הם עוקפים את פרוטוקולי ניתוח הרכב התוכנה (SCA) וניהול הפגיעויות שהיו אבן היסוד של אבטחה ארגונית בעשור האחרון.28

כשל האימוץ: NIST AI 100-2

בתחילת 2024 פרסם NIST את דוח AI 100-2, "Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations", כדי לספק שפה משותפת לאבטחת בינה מלאכותית.12 אף שהמסגרת מספקת מפת איומים מקיפה — מהתקפות evasion ועד הרעלה וגניבת מודלים — יישום ארגוני בפועל מפגר.12

קטגוריית בקרה סטטוס אימוץ (2025) פער יישום
Automated AI Security Controls 17% מהארגונים.13 83% מהארגונים "פועלים בעיוורון".13
Comprehensive AI Governance יישום של 12%.13 56% טוענים למוכנות אך חסרים בקרות טכניות.13
AI Data Flow Visibility 14% מהארגונים.13 ל־86% אין נראות לתנועת נתוני בינה מלאכותית פנימית.13
Vulnerability Scanning for Models 15–18% בהתאם למגזר.13 כיסוי מינימלי במגזרי המשפט והפיננסים.13

פער של 83% זה מייצג "סערה מושלמת" של פגיעות אבטחה, כשל ציות וסיכון תחרותי.13 ארגונים רבים מזהים מסמך מדיניות עם אבטחה תפעולית, אך ללא אכיפה אוטומטית וחסמים טכניים, עובדים ימשיכו להעדיף נוחות על פני בטיחות.10

הנדסת Deep AI: אבטחת שרשרת האספקה של למידת מכונה

עבור ספק פתרונות Deep AI כמו Veriprajna, המטרה היא לעבור מעבר למודל ה־"עוטף" השטחי וליישם ארכיטקטורת אבטחה המתייחסת למודלי בינה מלאכותית כאל קוד הניתן להרצה שעלול להיות זדוני.8 דבר זה מחייב גישת "Secure by Design" מקיפה לאורך כל מחזור החיים של למידת מכונה.33

רשימת החומרים של למידת מכונה (ML-BOM)

הצעד הראשון באבטחת שרשרת האספקה הוא שקיפות. SBOM מסורתיים (Software Bill of Materials) עוקבים אחר ספריות וגרסאות, אך בינה מלאכותית דורשת ML-BOM הלוכד את מקוריות המודלים ומערכי הנתונים.6 תקנים כמו CycloneDX ו־SPDX 3.0 התפתחו כך שיכללו פרופילים ספציפיים לבינה מלאכותית.35

ML-BOM חזק חייב לכלול:

  • Data Provenance: רישום חסין־חבלות של המקור, הטרנספורמציה והבעלות על מערכי נתוני האימון.7
  • Model Lineage: תיעוד מתודולוגיות האימון, ההיפר־פרמטרים ושלבי הכוונון־העדין שיצרו את חפץ המודל הספציפי.7
  • Framework Dependencies: מעקב אחר הגרסאות הספציפיות של PyTorch, TensorFlow או ספריות מותאמות, שכן פגיעויות ברצים הבסיסיים הן לעיתים קרובות נקודת הכניסה להתקפות ACE.8
  • Cryptographic Attestations: שימוש בחתימות דיגיטליות לאימות שהמודל שהתקבל הוא בדיוק המודל שהופק על ידי צד מהימן, ללא חבלה במהלך ההעברה או האחסון.8

חתימה קריפטוגרפית של מודלים וניהול משקלים

יש להתייחס למשקלי מודל כאל קניין רוחני רגיש ביותר וכאל חפצים בינאריים בסיכון גבוה.41 שילוב תשתית מפתח ציבורי (PKI) עבור מודלי למידת מכונה אינו עוד אופציונלי לארגונים.41 הדבר כולל יצירת מזהים קריפטוגרפיים ייחודיים (hashes) למשקלי מודל וחתימה עליהם באמצעות מודולי אבטחת חומרה (HSM) כדי להבטיח שרק מודלים מורשים ייטענו למנועי אינפרנס בייצור.8

בסביבת Deep AI בוגרת, שרת האינפרנס צריך להשתמש ב־"Admission Controller" המאמת את חתימת המודל מול שורש אמון ארגוני לפני שהמשקלים עוברים דסיריאליזציה לזיכרון.8 הדבר מונע הרצה של מודלים זדוניים שנשאבו מרכזים חיצוניים או שונו על ידי יריב פנימי.8

מיטיגציות מתקדמות: סריקה והגנה בזמן ריצה

ניתוח סטטי של קבצי מודל הוא רק קו ההגנה הראשון. ארגונים חייבים לאמץ גישה רב־שכבתית הכוללת סריקה מתקדמת והגנה בזמן ריצה המודעת להתנהגות.33

ניתוח קוד עמוק (DCA) ו־SAST מודע־הקשר

כלי SAST מסורתיים (Static Application Security Testing) מתקשים עם קוד שנוצר על ידי בינה מלאכותית ועם חפצי מודל משום שחסר להם הקשר ארכיטקטוני.49 כלים מהדור הבא משתמשים כעת בניתוח קוד עמוק (DCA) כדי לבנות "גרף תוכנה" של כל בסיס הקוד, תוך מיפוי כיצד קלט משתמש זורם משער API, דרך רץ LLM, ופוטנציאלית למסד נתונים או ל־shell של המערכת.50 הדבר מאפשר זיהוי פגיעויות כמו ה־RCE של Vanna.AI (CVE-2024-5565), שבה ניתן היה לעצב הנחיה שתריץ פונקציות Python exec() על מערכת ההפעלה הבסיסית.1

ניטור התנהגות בזמן ריצה

משום שהרעלת מודלים קשה מאוד לזיהוי באופן סטטי, ניטור רציף בזמן ריצה חיוני.33 הדבר כולל:

  • Output Validation: השוואת פלטי מודל מול קו בסיס של מערכי אימות "נקיים" כדי לזהות סחיפה או הופעה פתאומית של אנומליות שעשויות לאותת על הפעלת דלת אחורית.24
  • Query Throttling and Rate Limiting: מניעת התקפות חילוץ מודל שבהן יריב משתמש באלפי שאילתות כדי למפות את גבולות ההחלטה של המודל או לגנוב משקלים.33
  • Sanitization and Rephrasing: שימוש בשכבת "Model Armor" או "Guardrail" לחיטוי כל הקלטים ולניסוחם מחדש לפני שהם מגיעים למודל הליבה.3 הדבר משבש מטענים מעוצבים בקפידה שנועדו להפעיל התנהגות אדוורסריאלית.3

מחשוב סודי: הגבול האחרון של אבטחת בינה מלאכותית

עבור תעשיות עם דרישות אבטחה קיצוניות — כגון פיננסים, בריאות וביטחון — מודל האבטחה המסורתי מבוסס־התוכנה אינו מספיק משום שהוא אינו מגן על "נתונים בשימוש".44 מחשוב סודי, המופעל על ידי סביבות ביצוע מהימנות (TEE), מספק את הפתרון הנתמך־חומרה הנדרש לסגירת פער זה.44

TEE ומעטפות מאובטחות

טכנולוגיות כגון Intel SGX, Intel TDX ו־GPU סודיים של NVIDIA מסוג Hopper/Blackwell מאפשרות למודלי בינה מלאכותית לרוץ במרחב זיכרון מבודד.44 בארכיטקטורה זו, משקלי המודל והנחיות המשתמש מפוענחים רק בתוך המעטפה המוגנת־חומרה.44 גם מנהל ענן זדוני או תוקף עם גישת root למערכת ההפעלה של המארח אינו יכול לבדוק או לשנות את הנתונים המעובדים.44

טכנולוגיה רמת יישום תמיכת GPU מקרה שימוש
Intel SGX בידוד ברמת יישום.52 לא הגנה על מפתחות קריפטוגרפיים ספציפיים או מודולים קטנים.52
Intel TDX הצפנה ברמת מכונה וירטואלית.52 עקיף אימון רב־צדדי מאובטח וכוונון עדין בענן.52
NVIDIA Hopper/Blackwell GPU סודי בקנה־מידה של ארון.52 מקורי אינפרנס LLM בקנה מידה גדול על נתונים רגישים.44
Confidential Containers הצפנה/אישור של תמונת OCI.44 כן פריסת מודלים קנייניים לסביבות קצה/היברידיות שאינן מהימנות.44

שילוב המחשוב הסודי במחזור החיים של הבינה המלאכותית מאפשר "Mutual Attestation".44 ספק המודל יכול לאמת שמשקליו נטענים רק ל־TEE אמיתי ולא נחבל, בעוד שהמשתמש הסופי יכול לאמת שהקוד הרץ במעטפה הוא התוכנה המדויקת והמאושרת שהוא מצפה לה.44 הדבר יוצר בסיס ל־"Confidential AI" העומד בדרישות אפס־אמון וברגולציה מחמירה.52

מפת הדרכים האסטרטגית של Veriprajna: מעבר ל־Deep AI

התגלית של יותר מ־100 מודלים זדוניים והכשלים המערכתיים בממשל בינה מלאכותית שתועדו לאורך 2024 ו־2025 מדגימים כי "עוטפי API" הם קיצור דרך מסוכן לארגון.1 כדי להפעיל בינה מלאכותית בבטחה ובאחריות, ארגונים חייבים לאמץ גישה מרכזית, ניתנת לביקורת ומהונדסת־עמוק לסטאק למידת המכונה.8

יישום ממשל בינה מלאכותית מרכזי

ארגונים חייבים להקים "מקור אמת יחיד" לחפצי בינה מלאכותית.8 הדבר כולל:

  1. AI Asset Registry: יצירת מאגר פנימי מרכזי לכל המודלים, מערכי הנתונים והתלויות, בדומה ל־Artifactory פרטי או לרכז מודלים.8
  2. Automated Vetting Pipelines: כל מודל שנשאב מהאינטרנט חייב לעבור דרך צינור אוטומטי המבצע ניתוח bytecode סטטי, בדיקות התנהגות דינמיות ובדיקות ציות לרישיונות.8
  3. Mandatory ML-BOM Generation: אין לפרוס מודל ללא רשימת חומרים מתאימה המתעדת את מקוריותו ואת שושלת האימון שלו.8

הנדסה עמוקה לחוסן

מעבר לממשל, הנדסת יישומי הבינה המלאכותית חייבת לעבור מ־"נוחות־תחילה" ל־"אבטחה־תחילה".33

  • Weights-Only Loading: השבתה מפורשת של פורמטי סיריאליזציה הניתנים להרצה (כמו Pickle) לטובת SafeTensors ופורמטים אחרים שאינם ניתנים להרצה.16
  • Isolated Inference Runners: התייחסות לרצי מודל כאל רכיבים לא־מורשים בקונטיינרים, עם גישת רשת מינימלית ובקרות egress מחמירות.8
  • Mechanistic Interpretability: השקעה בטכניקות המאפשרות ביקורת של משקלי מודל לזיהוי תכונות "שינה" חבויות או טריגרי דלת אחורית לפני הפריסה.7

תקריות תחילת 2024 הוכיחו ששרשרת האספקה של בינה מלאכותית היא קו החזית החדש של אבטחת הסייבר.30 ארגונים שממשיכים להתייחס לבינה מלאכותית כאל הרחבה בלבד של פיתוח תוכנה, בלי להתחשב בסיכונים הייחודיים של הרעלה, evasion ומניפולציית משקלים, חושפים את עצמם לכשל קטסטרופלי.23 באמצעות אימוץ עקרונות הנדסת Deep AI המתוארים כאן, ארגונים יכולים לעבור מ־"פעולה על מזל" לעמדת חוסן הניתנת לאימות ונתמכת־חומרה.8 המטרה היא להפוך את פריסת הבינה המלאכותית ל־"משעממת" — רכיב צפוי, ניתן לביקורת ומאובטח של המשימה הארגונית.8

ההתמזגות של אבטחת בינה מלאכותית ואבטחת שרשרת אספקת תוכנה

תובנה קריטית אחרונה עלתה ממחקר 2024: אבטחת בינה מלאכותית ואבטחת שרשרת אספקת תוכנה אינן עוד בעיות נפרדות.29 מערכות בינה מלאכותית אינן פועלות בחלל ריק; הן נבנות ונפרסות דרך אותם צינורות CI/CD ומאגרים שמוקדו בהתקפות שרשרת אספקה של קוד פתוח במשך שנים.30 אם מודל מאובטח אך ספריית ה־Python שעליה הוא רץ פגומה, המערכת נפרצת.8 אם תמונת הקונטיינר של צינור האימון מזוהמת, משקלי המודל הופכים לבלתי מהימנים.30

לכן התעשייה חייבת לעבור לגישת "שרשרת אספקת תוכנה מאוחדת".11 משמעות הדבר היא שמקוריות ושלמות המודל, מערך הנתונים, תלויות ה־OSS והתשתית חייבים כולם להיות מנוהלים ומאומתים בו־זמנית.8 כל דיכוטומיה בין "נכסי תוכנה" ל־"נכסי בינה מלאכותית" היא פער מסוכן שתוקפים ינצלו.29

ככל שהבינה המלאכותית היוצרת ממשיכה להאיץ את קצב הפיתוח, תהליכי הביקורת המסורתיים של אדם־בלולאה קורסים.30 שינויי קוד גדולים שנוצרו על ידי בינה מלאכותית קשים לביקורת תחת לחץ, ומובילים לתרבות של "ביקורת שטחית" המסירה בקרת אבטחה ראשית.30 בסביבה זו, אימות אוטומטי ודטרמיניסטי — המושרש בחתימות קריפטוגרפיות וב־ML-BOM — הופך לנתיב הקיים היחיד לשמירה על שלמות ארגונית.8

נייר העמדה המוצג כאן הוא יותר ממדריך טכני; הוא ציווי אסטרטגי עבור ה־CISO המודרני.10 התגלית של מודלים עם דלת אחורית ב־Hugging Face לא הייתה תקרית מבודדת אלא תסמין של כשל ממשל מערכתי.2 טיפול בכך מחייב מחויבות להנדסת Deep AI, שבה אבטחה אינה שכבה עליונה אלא רכיב יסודי של מחזור החיים של המודל.33 Veriprajna מוכנה להוביל ארגונים במעבר זה, משבריריות ה־Shadow AI אל חוסן של סטאק Deep AI מאובטח.8

מקורות שצוטטו

  1. Top JFrog Security Research Discoveries of 2024, נצפה ב־9 בפברואר 2026, https://jfrog.com/blog/top-jfrog-security-research-discoveries-of-2024/
  2. Hugging Face AI Riddled With 100 Malicious Code-Execution Models - Dark Reading, נצפה ב־9 בפברואר 2026, https://www.darkreading.com/application-security/hugging-face-ai-platform-100-malicious-code-execution-models
  3. Modeling Attacks on AI-Powered Apps with the AI Kill Chain ..., נצפה ב־9 בפברואר 2026, https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/
  4. AI Model Poisoning in 2026: How It Works and the First Line Defense Your Business Needs - The LastPass Blog, נצפה ב־9 בפברואר 2026, https://blog.lastpass.com/posts/model-poisoning
  5. Enterprise AI Risk: Security, Providers, and Regulation - George Mudie, נצפה ב־9 בפברואר 2026, https://georgemudie.com/blog/enterprise-ai-part2-risk-security
  6. Securing the AI Supply Chain: A Framework for AI Software Bills of Materials and Model Provenance Assurance - Scholar Publishing, נצפה ב־9 בפברואר 2026, https://www.journals.scholarpublishing.org/index.php/TMLAI/article/download/19884/11811/28416
  7. Same same but also different: Google guidance on AI supply chain security, נצפה ב־9 בפברואר 2026, https://cloud.google.com/transform/same-same-but-also-different-google-guidance-ai-supply-chain-security/
  8. Securing The AI/LLM Supply Chain - AppSecEngineer, נצפה ב־9 בפברואר 2026, https://www.appsecengineer.com/blog/securing-the-ai-llm-supply-chain
  9. Shadow AI: Risks, Challenges, and Solutions in 2026 - Invicti, נצפה ב־9 בפברואר 2026, https://www.invicti.com/blog/web-security/shadow-ai-risks-challenges-solutions-for
  10. What Is Shadow AI? Definition | Proofpoint US, נצפה ב־9 בפברואר 2026, https://www.proofpoint.com/us/threat-reference/shadow-ai
  11. JFrog Exposes Enterprise AI Blind Spots, Driving Centralized Software Supply Chain Governance, נצפה ב־9 בפברואר 2026, https://investors.jfrog.com/news/news-details/2025/JFrog-Exposes-Enterprise-AI-Blind-Spots-Driving-Centralized-Software-Supply-Chain-Governance/default.aspx
  12. AI 100-2 E2025, Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST CSRC, נצפה ב־9 בפברואר 2026, https://csrc.nist.gov/pubs/ai/100/2/e2025/final
  13. 2025 AI Security Gap: 83% of Organizations Flying Blind - Kiteworks, נצפה ב־9 בפברואר 2026, https://www.kiteworks.com/cybersecurity-risk-management/ai-security-gap-2025-organizations-flying-blind/
  14. New Study Reveals Major Gap Between Enterprise AI Adoption and Security Readiness, נצפה ב־9 בפברואר 2026, https://www.prnewswire.com/news-releases/new-study-reveals-major-gap-between-enterprise-ai-adoption-and-security-readiness-302469214.html
  15. JFrog and Hugging Face Team to Improve Machine Learning Security and Transparency for Developers, נצפה ב־9 בפברואר 2026, https://investors.jfrog.com/news/news-details/2025/JFrog-and-Hugging-Face-Team-to-Improve-Machine-Learning-Security-and-Transparency-for-Developers/default.aspx
  16. Pickle Scanning - Hugging Face, נצפה ב־9 בפברואר 2026, https://huggingface.co/docs/hub/security-pickle
  17. Model Saving Formats 101: pickle vs safetensors vs GGUF — with conversion code & recipes | by Ankit Wahane | Medium, נצפה ב־9 בפברואר 2026, https://medium.com/@ankitw497/model-saving-formats-101-pickle-vs-safetensors-vs-gguf-with-conversion-code-recipes-71e825c29ceb
  18. PyTorch Users at Risk: Unveiling 3 Zero-Day PickleScan Vulnerabilities - JFrog, נצפה ב־9 בפברואר 2026, https://jfrog.com/blog/unveiling-3-zero-day-vulnerabilities-in-picklescan/
  19. PickleBall: Secure Deserialization of Pickle-based Machine Learning Models - Brown Computer Science, נצפה ב־9 בפברואר 2026, https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
  20. Remote Code Execution With Modern AI/ML Formats and Libraries, נצפה ב־9 בפברואר 2026, https://unit42.paloaltonetworks.com/rce-vulnerabilities-in-ai-python-libraries/
  21. JFrog and Hugging Face Join Forces to Expose Malicious ML Models, נצפה ב־9 בפברואר 2026, https://jfrog.com/blog/jfrog-and-hugging-face-join-forces/
  22. LLM Backdoors at the Inference Level: The Threat of Poisoned Templates - Pillar Security, נצפה ב־9 בפברואר 2026, https://www.pillar.security/blog/llm-backdoors-at-the-inference-level-the-threat-of-poisoned-templates
  23. Four Pillars AI Security Enterprise Implementation | by Tahir - Medium, נצפה ב־9 בפברואר 2026, https://medium.com/@tahirbalarabe2/four-pillars-ai-security-enterprise-implementation-30285d7332c1
  24. LLM04:2025 Data and Model Poisoning - OWASP Gen AI Security Project, נצפה ב־9 בפברואר 2026, https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/
  25. Understanding LLM Poisoning | DigitalOcean, נצפה ב־9 בפברואר 2026, https://www.digitalocean.com/community/tutorials/understanding-llm-poisoning
  26. Adversarial Machine Learning: A Taxonomy and Terminology of ..., נצפה ב־9 בפברואר 2026, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf
  27. What is Shadow AI? Risks, Examples, and Governance - Securiti, נצפה ב־9 בפברואר 2026, https://securiti.ai/what-is-shadow-ai/
  28. Shadow AI Risks and Organization Examples - zenarmor.com, נצפה ב־9 בפברואר 2026, https://www.zenarmor.com/docs/network-security-tutorials/shadow-ai-risks-and-organization-examples
  29. Securing the intersection of AI models and software supply chains - Cloudsmith, נצפה ב־9 בפברואר 2026, https://cloudsmith.com/blog/Securing-the-intersection-of-AI-models-and-software-supply-chains
  30. AI Security and the Expanding Software Supply Chain Attack Surface - Xygeni, נצפה ב־9 בפברואר 2026, https://xygeni.io/blog/ai-security-and-the-expanding-software-supply-chain-attack-surface/
  31. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations - NIST Technical Series Publications, נצפה ב־9 בפברואר 2026, https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2023.ipd.pdf
  32. Small Models, Big Problems: Why Your AI Agents Might Be Sitting Ducks - Enkrypt AI, נצפה ב־9 בפברואר 2026, https://www.enkryptai.com/blog/small-models-big-problems-why-your-ai-agents-might-be-sitting-ducks
  33. AI Model Security: What It Is and How to Implement It - Palo Alto Networks, נצפה ב־9 בפברואר 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-ai-model-security
  34. How to Secure AI Infrastructure: A Secure by Design Guide - Palo Alto Networks, נצפה ב־9 בפברואר 2026, https://www.paloaltonetworks.com/cyberpedia/ai-infrastructure-security
  35. What Is an AI-BOM (AI Bill of Materials)? & How to Build It - Palo Alto Networks, נצפה ב־9 בפברואר 2026, https://www.paloaltonetworks.com/cyberpedia/what-is-an-ai-bom
  36. Machine Learning Bill of Materials (ML-BOM) - CycloneDX, נצפה ב־9 בפברואר 2026, https://cyclonedx.org/capabilities/mlbom/
  37. Building an Open AIBOM Standard in the Wild - arXiv, נצפה ב־9 בפברואר 2026, https://arxiv.org/html/2510.07070v1
  38. How CycloneDX v1.5 Increases Trust and Transparency in More Industries, נצפה ב־9 בפברואר 2026, https://owasp.org/blog/2023/06/23/CycloneDX-v1.5
  39. Open Source AI Supply Chain Security: Protecting Against Model Poisoning - VerityAI, נצפה ב־9 בפברואר 2026, https://verityai.co/blog/open-source-ai-supply-chain-security-model-poisoning-protection
  40. Joint Cybersecurity Information AI Data Security, נצפה ב־9 בפברואר 2026, https://media.defense.gov/2025/May/22/2003720601/-1/-1/0/CSI_AI_DATA_SECURITY.PDF
  41. Building Trust in AI Supply Chains: Why Model Signing Is Critical for ..., נצפה ב־9 בפברואר 2026, https://www.coalitionforsecureai.org/building-trust-in-ai-supply-chains-why-model-signing-is-critical-for-enterprise-security/
  42. M3AAWG AI Model Lifecycle Security Best Common Practices, נצפה ב־9 בפברואר 2026, https://www.m3aawg.org/AIModelLifecycleSecurityBCP
  43. A Playbook for Securing AI Model Weights - RAND, נצפה ב־9 בפברואר 2026, https://www.rand.org/pubs/research_briefs/RBA2849-1.html
  44. Enhancing AI inference security with confidential computing: A path to private data inference with proprietary LLMs - Red Hat Emerging Technologies, נצפה ב־9 בפברואר 2026, https://next.redhat.com/2025/10/23/enhancing-ai-inference-security-with-confidential-computing-a-path-to-private-data-inference-with-proprietary-llms/
  45. Sentry: Authenticating Machine Learning Artifacts on the Fly - arXiv, נצפה ב־9 בפברואר 2026, https://arxiv.org/html/2510.00554v1
  46. Trustway Proteccio NetHSM - Hardware Security Module - Eviden, נצפה ב־9 בפברואר 2026, https://eviden.com/solutions/cybersecurity/data-encryption/trustway-proteccio-nethsm/
  47. Navigating secure AI deployment: Architecture for enhancing AI system security and safety, נצפה ב־9 בפברואר 2026, https://www.redhat.com/en/blog/navigating-secure-ai-deployment-architecture-enhancing-ai-system-security-and-safety
  48. What is automated code scanning? - Sonar, נצפה ב־9 בפברואר 2026, https://www.sonarsource.com/resources/library/automated-code-scanning/
  49. A DevSecOps Guide to Scanning AI-Generated Code for Hidden Flaws - Bright Security, נצפה ב־9 בפברואר 2026, https://brightsec.com/a-devsecops-guide-to-scanning-ai-generated-code-for-hidden-flaws/
  50. Introducing Apiiro AI-SAST: Static Scanning Reimagined – From Code to Runtime, נצפה ב־9 בפברואר 2026, https://apiiro.com/blog/introducing-apiiro-ai-sast-static-scanning-reimagined-from-code-to-runtime/
  51. Mastering secure AI on Google Cloud: A practical guide for enterprises, נצפה ב־9 בפברואר 2026, https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises
  52. What Is Confidential AI? - Phala Network, נצפה ב־9 בפברואר 2026, https://phala.com/learn/What-Is-Confidential-AI
  53. Confidential Computing: Powering the Next Generation of Trusted AI - Intel, נצפה ב־9 בפברואר 2026, https://cdrdv2-public.intel.com/861663/confidential-computing-ai-whitepaper.pdf
  54. AI Security with Confidential Computing - NVIDIA, נצפה ב־9 בפברואר 2026, https://www.nvidia.com/en-us/data-center/solutions/confidential-computing/
  55. Evaluating the Performance of the DeepSeek Model in Confidential Computing Environment, נצפה ב־9 בפברואר 2026, https://arxiv.org/html/2502.11347v1
  56. How to Secure AI and Model Data with Storage Infrastructure, נצפה ב־9 בפברואר 2026, https://blog.purestorage.com/purely-educational/how-to-secure-ai-and-model-data-with-storage-infrastructure/
  57. AI & LLM Security Collection - AppSecEngineer, נצפה ב־9 בפברואר 2026, https://www.appsecengineer.com/enterprises/ai-llm-security-collection

מעדיפים חוויה חזותית ואינטראקטיבית?

חקרו את הממצאים המרכזיים, הנתונים הסטטיסטיים והארכיטקטורה של מסמך זה בפורמט אינטראקטיבי עם מקטעים ניתנים לניווט והדמיות נתונים.

צפייה בגרסה האינטראקטיבית
שאלות נפוצות

שאלות נפוצות

כיצד חומשו יותר מ־100 מודלים זדוניים ב־Hugging Face ומה היה מנגנון ההתקפה?

חוקרי JFrog גילו כ־100 מודלים זדוניים ב־Hugging Face בפברואר 2024, שניצלו את פורמט הסיריאליזציה Python pickle להזרקת קוד שרירותי. מודול ה־pickle מיישם מכונה וירטואלית מבוססת־מחסנית שיכולה להריץ פונקציות כמו os.system() ו־subprocess.run() במהלך ה־unpickling. מודל שהועלה על ידי 'baller423' תמרן את מתודת __reduce__ כדי להקים reverse shell לכתובת IP של Kreonet בעת טעינה בפקודות סטנדרטיות כמו torch.load(). המטענים נועדו להעניק גישה מרחוק מתמשכת, ולאפשר לתוקפים לנוע ברשתות פנימיות ולהרעיל מערכי נתוני אימון.

מדוע סורקי מודלי בינה מלאכותית קיימים נכשלים ומהן פגיעויות ה־zero-day של PickleScan?

נמצא כי ל־PickleScan, כלי הסריקה הסטנדרטי־תעשייתי הנפוץ, יש שלוש פגיעויות zero-day כולל CVE-2025-10155. תוקפים עוקפים זיהוי באמצעות מניפולציה של סיומות קבצים או ניצול אי־התאמות בארכיוני ZIP כדי להציג מודלים פגומים כבטוחים. הסורק פועל בגישת רשימת־חסימה של פונקציות שקל לעקוף באמצעות ערפול. קריטי יותר: יותר מ־96% מהתראות הסורקים הנוכחיות הן חיוביות־שגויות, מה שיוצר קהות אבטחה שבה צוותים מתעלמים מאזהרות ומאפשרים למודלים זדוניים באמת לחדור. בנוסף, קבצי GGUF יכולים לשאת תבניות Jinja זדוניות הרצות בזמן אינפרנס ועוקפות לחלוטין סורקים סטטיים.

מהו Shadow AI וכיצד ממשל המוביל ב־SafeTensors מטפל בסיכוני שרשרת האספקה של מודלים?

Shadow AI מתרחש כאשר מפתחים ויחידות עסקיות שואבים מודלים שלא נבדקו ממאגרים ציבוריים כמו Hugging Face כדי לעקוף צווארי בקבוק בירוקרטיים נתפסים, ומכניסים בלי משים דלתות אחוריות מתמשכות לסביבות ייצור. ממשל המוביל ב־SafeTensors מחייב שכל פריסות המודלים ישתמשו בפורמט SafeTensors, המתמקד בנתונים בלבד וללא יכולת הרצת קוד לפי עיצובו, ושומר רק נתוני טנזור עם מטא־נתוני JSON. הדבר מבטל לחלוטין את משטח התקפת הסיריאליזציה ומאפשר אימות חתימה אוטומטי ומעקב מקוריות המיושרים להנחיית NIST AI 100-2 בנושא הגנה מפני למידת מכונה אדוורסריאלית.

רשתות חברתיות

פורסם גם ב

LinkedIn · חברהLinkedIn · מייסדYouTubeMediumDev.toSubstackInstagramFacebookX

בנו את ה-AI שלכם בביטחון.

שותפו עם צוות בעל ניסיון עמוק בבניית הדור הבא של AI ארגוני. אנו נסייע לכם לתכנן, לבנות ולהטמיע אסטרטגיית AI שתוכלו לסמוך עליה.

התחברו דרך WhatsAppשלחו אימייל לצוות שלנו

Veriprajna ייעוץ דיפ-טק מתמחה בבניית מערכות AI קריטיות לבטיחות עבור תחומי הבריאות, הפיננסים והרגולציה. הארכיטקטורות שלנו מאומתות מול פרוטוקולים מבוססים ומלוות בתיעוד ציות מקיף.

WhatsApp
צ'אט מיידי
קביעת שיחה
תיאום דרך Calendly
אימייל
[email protected]