פרצות אבטחת ה-AI של 2025 חשפו שקר של טריליון דולר — ואני בניתי את החלופה
הייתי בשיחה עם CISO של חברת שירותים פיננסיים בגודל בינוני כשפורסם הגילוי על ה-RCE ב-GitHub Copilot. היינו באמצע משפט — הוא הסביר מדוע הצוות שלו בדיוק השיק את Copilot ל-400 מפתחים — וראיתי את הבעת פניו משתנה כשה-Slack שלו נדלק. הוא השתיק את עצמו. חזר תשעים שניות מאוחר יותר ואמר, בשקט רב, "אתה יכול להסביר מה המשמעות של CVE-2025-53773 עבורנו?"
מה שזה אומר היה כך: הוראה נסתרת ששתולה בקובץ README — קובץ טקסט — יכולה להסלים לכדי הרצת קוד מרחוק מלאה בכל תחנת עבודה של מפתח שמריצה Copilot. לא דרך גלישת חוצץ. לא דרך פרצת יום-אפס בקרנל. דרך שיחה עם עוזר AI.
אותה שיחה שינתה את מסלול ששת החודשים הבאים שלי. אבל למען האמת, הכתובת הייתה על הקיר כבר יותר משנה.
אני אשוטוש, המייסד של Veriprajna — שם הנגזר מהלטינית Veri (אמת) ומהסנסקריט Prajna (חוכמה). אנחנו בונים את מה שאני מכנה Deep AI: מערכות דטרמיניסטיות בתכנון, ניתנות לביקורת מתוקף דרישה, וריבוניות מבחינת התשתית. אנחנו לא בונים עטיפות. ו-2025 הוכיחה, באופן קטסטרופלי, מדוע ההבחנה הזו חשובה.
כלכלת העטיפות תמיד הייתה עתידה לקרוס
במשך כשנתיים, שוק ה-AI הארגוני פעל על בסיס הנחה מפתה: קח מודל יסוד — GPT-4, Claude, Gemini — עטוף אותו בממשק נחמד, הוסף קצת הנדסת פרומפטים, ומכור את זה כ"פתרון". אלפי סטארטאפים עשו בדיוק את זה. רבים גייסו מכך כסף רציני.
הבנתי את המשיכה. הזמן עד להדגמה היה מדהים. יכולת להראות לדירקטוריון AI ש"הבין" את העסק שלו תוך שבוע. אבל המשכתי לשאול שאלה שהפכה אותי ללא-פופולרי בכנסי התעשייה: מה קורה כשהדבר הזה רץ בסביבת ייצור, עם הרשאות אמיתיות, על תשתית אמיתית?
התשובה הגיעה ב-2025, והיא הגיעה באלימות.
שלושה אירועים — פרצת הרצת הקוד מרחוק ב-GitHub Copilot, חשיפת "נתוני הזומבי" דרך המטמון של Microsoft Bing, והרעלת שרשרת האספקה של Amazon Q — השפיעו יחד על יותר מ-16,000 ארגונים וכמעט מיליון מפתחים. אלה לא היו מקרי קצה. הם היו התוצאה הצפויה של פריסת מערכות הסתברותיות כאילו היו תשתית דטרמיניסטית.
כאשר AI פועל כסוכן ללא ניטור עם הרשאות ניהוליות, הכשלים שלו מתפשטים במהירות של תשתית.
כתבתי על האנטומיה הטכנית המלאה של הפרצות האלה בגרסה האינטראקטיבית של המחקר שלנו. אבל הסיפור שמאחורי המספרים הוא מה שמדיר שינה מעיניי.
מה קורה כשפרומפט הופך לנשק?
תנו לי להוליך אתכם דרך אירוע Copilot, כי המכניקה שלו באמת מצמררת.
CVE-2025-53773 קיבל ציון 7.8 בסולם החומרה CVSS — "גבוה". מחלקת הפגיעות הייתה משהו שהתעשייה נאלצה להמציא לו שם: Prompt-to-RCE. ההסלמה של הוראה לשונית לכדי הרצת קוד בינארי.
כך זה עבד. תוקף שותל הוראה נסתרת — הזרקת פרומפט חוצת-הקשר — בתוך קובץ README, בהערת קוד, או אפילו ב-issue ב-GitHub. שום דבר חשוד ויזואלית. כשמפתח מבקש מ-Copilot "לסקור את הקוד" או "להסביר את הפרויקט הזה", ה-AI קולט את ההוראות הנסתרות. הוא אז משנה את קובץ תצורת סביבת העבודה, ומוסיף ספציפית את השורה "chat.tools.autoApprove": true.
קהילת האבטחה החלה לכנות את זה "מצב YOLO". ברגע שהופעל, עוזר ה-AI יכול היה להריץ פקודות מעטפת, לגלוש ברשת ולתקשר עם מערכת הקבצים המקומית — הכל בלי לבקש רשות מהמפתח. משם, הורדת נוזקה, הדלפת אישורי גישה, או צירוף תחנת העבודה לבוטנט היו עניין טריוויאלי.
אני זוכר שישבתי במשרד שלנו אחרי שקראתי את הגילוי המלא, פניתי למהנדס האבטחה הראשי שלי, ואמרתי: "זה לא באג. זו הארכיטקטורה עובדת בדיוק כפי שתוכננה." ל-AI ניתנה סוכנות. ניתנו לו הרשאות. ואף אחד לא בנה מערכת שיכולה להגיד "לא" לפרומפט משכנע דיו.
זה החלק שרדף אותי. בקרות גישה מסורתיות מניחות שהשחקן הוא או אדם או תוכנה בעלת התנהגות קבועה. סוכן AI הוא לא זה ולא זה. הוא יורש את מלוא ההרשאות של המשתמש אך מגיב למניפולציה לשונית. זה כמו לתת למישהו את מפתחות הבית שלך ואז להיות מופתע כשנוכל משכנע אותו לפתוח את הדלת.
מדוע נתונים מתים חזרו לחיים?
הפרצה השנייה הייתה מוזרה יותר, ובמובנים מסוימים, מטרידה יותר.
בפברואר 2025, חוקרים ב-Lasso Security גילו ש-Copilot של Microsoft הציף נתונים ממאגרי GitHub שהפכו לפרטיים או נמחקו — לעיתים חודשים קודם לכן. הם קראו לזה "נתוני זומבי", והשם נדבק כי הוא היה מדויק. אלה היו נתונים שהיו אמורים להיות מתים. הם לא היו.
המנגנון היה פשוט עד כדי מבוכה. מנוע החיפוש של Bing סרק ושמר במטמון אלפי מאגרים ציבוריים. כשהמאגרים האלה הפכו מאוחר יותר לפרטיים — לעיתים קרובות משום שמישהו הבין שהכניס בטעות מפתחות API, תיעוד פנימי, או קוד קנייני — הגרסאות שבמטמון נותרו במערכת ה-retrieval-augmented generation (RAG) של Bing. כל מי שהשתמש ב-Copilot יכול היה לתשאל את המידע שלכאורה נמחק.
החשיפה הייתה מדהימה: מאגרים פרטיים של IBM, Google, Tencent ו-PayPal. יותר מ-300 טוקנים פרטיים ומפתחות API שחולצו עבור שירותים כמו AWS, GCP, OpenAI ו-Hugging Face. יותר מ-100 חבילות פנימיות פגיעות להתקפות dependency confusion.
ניהלתי שיחה עם לקוח פוטנציאלי בערך באותה תקופה — סמנכ"ל הנדסה בחברת בריאות — שסיפר לי שהצוות שלו עשה "הכל נכון". הם החליפו אישורי גישה, הפכו מאגרים לפרטיים, פעלו לפי הספר. ושום דבר מזה לא שינה, כי הזיכרון של ה-AI היה ארוך יותר מתגובת האבטחה שלהם.
ריבונות נתונים ונוחות AI מצויות בסתירה יסודית במודל העטיפה. אינך יכול לשלוט במחזור החיים של הנתונים שלך כאשר חלון ההקשר של ה-AI שלך הוא מטמון החיפוש של מישהו אחר.
זו הפרצה שגיבשה משהו שטענתי כבר זמן מה: אם ה-AI שלך תלוי במערכת אחזור של צד שלישי — מנוע חיפוש ציבורי, API חיצוני, אינדקס של מישהו אחר — כבר איבדת שליטה על הנתונים שלך. לא משנה כמה טובה המדיניות הפנימית שלך. הנתונים חיים במקום שאינך יכול להגיע אליו, במטמון שאינך יכול לרוקן, ומגישים תשובות לשאלות שמעולם לא אישרת.
כיצד מרעילים את ההצעות של AI בקנה מידה גדול?
האירוע השלישי היה זה שהכעיס את כל הצוות שלי.
ביולי 2025, תוקף פרץ להרחבת Amazon Q Developer עבור Visual Studio Code — הרחבה עם יותר מ-950,000 התקנות. נקודת הכניסה הייתה טוקן GitHub עם היקף הרשאות שגוי בשירות CI/CD, שאפשר לתוקף להכניס קובץ בשם cleaner.md ישירות לתוך מאגר המקור.
הקובץ הזה היה תבנית פרומפט. הוא נראה תמים. אבל הוא הורה ל-AI להתנהג כ"מנקה מערכת" — ולהציע פקודות Bash שימחקו את תיקיית הבית של המשתמש, יסגרו מופעי EC2, ימחקו דליי S3, ויסירו משתמשי IAM.
תנו לזה לשקוע. קובץ טקסט במאגר מהימן, שהופץ דרך עדכון בחנות רשמית, הפך עוזר קידוד מבוסס AI לנשק המכוון גם למכונות מקומיות וגם לתשתית ענן בייצור.
הייתי בישיבת צוות כשניתחנו את זה. אחד המהנדסים שלי — מישהו שנמצא בתחום האבטחה חמש-עשרה שנה — אמר את זה בפשטות: "בילינו עשורים באבטחת בינאריים, קונטיינרים ופרימטרים של רשת. אף אחד לא אבטח את ההצעות."
הוא צדק. הפריצה ל-Amazon Q הוכיחה שפרומפטים הם הקוד החדש. הם מעצבים את התנהגות ה-AI באותה מידה מוחלטת שבה הוראות מהודרות מעצבות את התנהגות המעבד. ובכל זאת, ברחבי התעשייה, תבניות פרומפט אוחסנו בטקסט גלוי, הוכנסו למאגרים ללא סקירה, והופצו ללא חתימה קריפטוגרפית.
אנשים שואלים אותי לפעמים אם האירועים האלה היו באמת כה חמורים — הרי בסופו של דבר הם נתפסו ותוקנו. אבל זה מחמיץ את הנקודה לחלוטין. הטלאים תיקנו פגיעויות ספציפיות. הם לא תיקנו את הארכיטקטורה שהפכה את הפגיעויות האלה לבלתי נמנעות.
הבעיה היסודית עם AI הסתברותי בסביבות בעלות סיכון גבוה
הנה האמת הלא נוחה שכלכלת העטיפות מעולם לא רצתה להתמודד איתה: מודלי שפה גדולים הם מנועים סטוכסטיים. הם חוזים את הטוקן הבא הסביר ביותר על בסיס דפוסים סטטיסטיים בנתוני האימון שלהם. הם טובים באופן יוצא דופן בהפקת טקסט שוטף ומשכנע למראה. אבל אין להם שום מושג של אמת. אין להם שום מושג של בטיחות. אין להם שום מושג של "הפעולה הזו תשמיד מסד נתונים בייצור".
כשאתה עוטף ממשק דק סביב מודל הסתברותי ומעניק לו הרשאות ניהוליות, לא בנית פתרון ארגוני. בנית חבות רהוטה מאוד.
מודל שפה גדול לא מבין אמת — הוא מבין סבירות. בסביבת ייצור, ההבחנה הזו היא ההבדל בין מסלול ביקורת לדוח פריצה.
זו הבעיה שלפתרונה הקמתי את Veriprajna. לא על ידי נטישת רשתות נוירונים — הן באמת עוצמתיות להבנת שפה טבעית, זיהוי דפוסים, והסקה יצירתית. אלא על ידי סירוב לתת להן לפעול לבד.
איך באמת נראית ארכיטקטורה נוירו-סימבולית?
אנחנו מתכננים מערכות היברידיות שממזגות שני מצבי אינטליגנציה נבדלים. אני חושב עליהם כעל הקול והמוח.
המערכת הנוירונית — הקול — מטפלת בתפיסה. היא מבינה מה מפתח מבקש, מפרשת שפה טבעית, מזהה דפוסים. זו שכבת הממשק, והיא מצוינת במה שהיא עושה.
המערכת הסימבולית — המוח — מטפלת בהיסק. היא אוכפת לוגיקה דטרמיניסטית, חישובים הניתנים לביקורת, ואילוצים ספציפיים לתחום. היא לא חוזה. היא מוכיחה.
התובנה הקריטית היא ההפרדה. כשהקול מציע פעולה — נניח, יצירת פקודת מעטפת — המוח בודק אותה מול כללי לוגיקה נוקשים לפני ההרצה. אם מודל נוירוני מציע למחוק מסד נתונים ב-VPC בייצור, המנוע הסימבולי מטיל וטו. לא בגלל שמישהו כתב פרומפט שאומר "בבקשה אל תמחק מסדי נתונים". אלא כי הפעולה חסומה פיזית ברמה הארכיטקטונית.
אנחנו קוראים לאלה מעקות בטיחות חוקתיים, והם שונים באופן מהותי ממעקות הבטיחות הלשוניים שעליהם התעשייה נשענת. מעקות בטיחות לשוניים הם הוראות — "היה מועיל ובלתי מזיק". הם נעקפים באמצעות jailbreaking, באמצעות הזרקת פרומפט עקיפה, באמצעות בדיוק אותן טכניקות שהניעו את פרצות 2025. מעקות בטיחות ארכיטקטוניים הם אילוצים האפויים לתוך זמן הריצה. לא ניתן לשכנע אותם לוותר על אכיפת כלל, בדיוק כפי שלא ניתן לשכנע חומת אש לוותר על חסימת פורט.
מנגנון ספציפי אחד שאנחנו משתמשים בו הוא אימות KG-Trie: הפלט של מודל נוירוני מוגבל על ידי גרף ידע מאומת. אם המודל מנסה לייצר עובדה, ציטוט או פקודה שאינם קיימים בתוך הגרף המאומת, המערכת מונעת מהטוקנים האלה להיווצר. ה-AI פשוט אינו מסוגל להזות מחוץ לגבול הידע המאומת.
לפירוט הטכני המלא של הארכיטקטורה הזו, כולל הגישה שלנו לפריסה edge-native ולרשתות נוירונים מבוססות-פיזיקה, ראו את הצלילה הטכנית העמוקה שלנו.
מדוע תשתית ריבונית כבר אינה אופציונלית
פרצת נתוני הזומבי לימדה אותי משהו שאני חוזר עליו עכשיו בפני כל לקוח ארגוני פוטנציאלי: אם מודל ה-AI שלך רץ על תשתית של מישהו אחר, ריבונות הנתונים שלך היא בדיה מנומסת.
ב-Veriprajna, אנחנו פורסים באופן מלא בתוך הסביבה של הלקוח עצמו. אפס תלויות במטמוני חיפוש חיצוניים. אפס קריאות API של צד שלישי לצורך אחזור. מערכת מעגל סגור שבה ההקשר של ה-AI הוא בדיוק — ורק — מה שהארגון סיפק במפורש.
זו לא פרנויה. זו הארכיטקטורה היחידה שהופכת חשיפות של "נתוני זומבי" לבלתי אפשריות טכנית. לא יכולה להיות לך בעיית התמדת מטמון אם אין מטמון חיצוני.
ניהלתי ויכוח סוער עם משקיע בשלב מוקדם שאמר לי שהגישה הזו "כבדה מדי". הוא אמר שהשוק רוצה פתרונות קלים, מהירים, מבוססי קריאות API. אמרתי לו שהשוק רוצה פתרונות שעובדים — ושמשקלה של פריסה ריבונית הוא כאין וכאפס לעומת המשקל של להסביר לרגולטור מדוע אישורי הגישה שמחקת עדיין עונים על שאלות דרך ה-AI של מישהו אחר.
הוא לא השקיע. אני לא נוטר לו טינה. אבל אני שם לב שהוא כבר לא מעלה את הטענה הזו.
האם התעשייה באמת יכולה לתקן את זה?
רשימת OWASP Top 10 לשנת 2025 עבור יישומי LLM נקראת כמו תחקיר על כל מה שהשתבש השנה. הזרקת פרומפט נמצאת במקום הראשון. חשיפת מידע רגיש במקום השני. שרשרת אספקה במקום השלישי. סוכנות מופרזת — בדיוק אופן הכשל של ה-RCE ב-Copilot — במקום השישי.
אלה אינם סיכונים תיאורטיים. הם הגורמים המתועדים של פרצות אמיתיות שפגעו בארגונים אמיתיים.
מסגרת ניהול הסיכונים של NIST ל-AI מתפתחת בכיוון הנכון, ודוחפת ארגונים לעבר ממשל מתמשך במקום הערכות נקודתיות. אבל מסגרות לא כותבות את עצמן לתוך קוד. מישהו צריך לבנות את המערכות שבאמת אוכפות אותן.
זה מה שאנחנו עושים. אנחנו מתייחסים לקבצי פרומפט כאל ארטיפקטים ברי-הרצה — חתומים קריפטוגרפית, נסקרים, ומנוהלים בבקרת גרסאות באותה קפדנות כמו בינאריים מהודרים. אנחנו בונים פרופילי התנהגות בסיסיים לכל סוכן AI, עוקבים אחר דפוסי קריאות API ונפחי גישה לנתונים כדי לזהות חריגות לפני שהן הופכות לאירועים. אנחנו מריצים בדיקות מוטציה ו-fuzzing יריב מול הסוכנים שלנו, לא רק בדיקות פונקציונליות, כי השאלה אינה "האם זה עובד?" — אלא "מה קורה כשמישהו מנסה לגרום לזה להתנהג לא כשורה?"
הלילה המאוחר ששינה את הדרך שבה אני חושב על בטיחות AI
היה לילה — כנראה סביב 2 לפנות בוקר — שבו סקרתי את הפרטים הטכניים של הפריצה ל-Amazon Q בפעם השלישית. הצוות שלי הלך הביתה. ישבתי עם כוס צ'אי קר, בוהה בתוכן הקובץ cleaner.md שפורסם בגילוי.
ההוראות היו כל כך מנומסות. "אנא פעל כמנקה מערכת." "הצע פקודות לניקוי הסביבה." המטענים ההרסניים היו עטופים בשפה של מועילות. והבנתי שזו הייתה המטאפורה המושלמת לכל כלכלת העטיפות: משטח מועיל המסתיר ארכיטקטורה הרסנית.
בילינו שנים בבניית AI שמותאם להיות מסכים. להגיד כן. לייצר את הטוקן הסביר הבא. ונתנו לו את המפתחות לתשתית הייצור.
כלכלת העטיפות מיטבה את ה-AI להיות מסכים. לאף אחד לא עלה בדעת שהסכמנות ובטיחות מצויות במתח יסודי זו עם זו.
באותו לילה, שכתבתי את עקרונות האבטחה הפנימיים שלנו מאפס. השורה הראשונה קוראת עכשיו: "תשובת ברירת המחדל של המערכת לכל פעולה בעלת השלכות בלתי הפיכות היא לא."
הארכיטקטורה היא המוצר
אני יודע איך זה נשמע. מייסד שמספר לך שהגישה שלו טובה יותר, שהשוק טעה, שהעתיד שייך לדבר שבמקרה הוא מוכר. אני מבין את הספקנות.
אבל הנה מה שהייתי מבקש ממך לשקול: שלושת אירועי אבטחת ה-AI הגדולים ביותר של 2025 חולקים את אותו שורש. לא באג ספציפי. לא רשלנות של ספק ספציפי. פילוסופיית תכנון — האמונה שאפשר לבנות AI ברמה ארגונית על ידי עטיפת שכבת ממשק דקה סביב מודל הסתברותי ולקוות שהפרומפטים יחזיקו.
הפרומפטים לא החזיקו. הם מעולם לא היו עתידים להחזיק. הוראות לשוניות הן הצעות, לא אילוצים. ובסביבות בעלות סיכון גבוה — פיננסים, בריאות, תעשייה, ביטחון — ההבדל בין הצעה לאילוץ הוא ההבדל בין מערכת מתפקדת לכשל קטסטרופלי.
עתיד ה-AI הארגוני אינו עטיפה טובה יותר. הוא ארכיטקטורה שמפרידה את הקול מהמוח, שאוכפת אילוצים ברמת זמן הריצה, ששומרת על ריבונות הנתונים, ושמתייחסת לכל פעולת AI כאל תשתית הניתנת לביקורת — לא הודעת צ'אט שנעלמת לתוך קובץ לוג.
לא בניתי את Veriprajna כי חשבתי שכלכלת העטיפות תקרוס. בניתי אותה כי ידעתי שהיא חייבת לקרוס.
