למנהלי טכנולוגיה (CTO)4 דק׳ קריאה

האיסור על ChatGPT נכשל — ועכשיו הנתונים שלכם דולפים

מחצית מכוח העבודה שלכם כבר משתמשת ב-AI בסתר, וכל פרומפט שהם שולחים מוביל את הקניין הרוחני שלכם אל השרתים של מישהו אחר.

הבעיה

במאי 2023, מהנדסים בחטיבת המוליכים-למחצה של סמסונג הדביקו קוד מקור קנייני לתוך ChatGPT כדי לנפות באגים בו. הם העלו נתוני תפוקת שבבים — מהסודות השמורים ביותר בתעשיית המוליכים-למחצה. עובד שלישי הזין לכלי הקלטה של פגישה פנימית כדי לייצר פרוטוקול. אף אחד מהם לא התכוון לפגוע. הם היו מהנדסים בכירים שניסו "לנפות באגים בעבודה שלהם" ו"לשפר את הפרודוקטיביות והיעילות של העובדים". הם התייחסו אל ChatGPT כאל מחשבון — מקלידים משהו, מקבלים תשובה, ממשיכים הלאה. הם לא ידעו שתנאי השימוש של OpenAI מתירים לספק לשמור את הקלטים שלהם לצורך אימון המודל.

סמסונג הגיבה באיסור ארגוני מקיף על שימוש בבינה מלאכותית יוצרת ובאיומים בפיטורין. אבל הנזק כבר נגרם. הלוגיקה הייצורית הקניינית שלהם, קוד זיהוי השגיאות והדיונים האסטרטגיים החסויים — כולם נחתו על שרתים של צד שלישי.

הסיפור הזה אינו ייחודי לסמסונג. הוא התוצאה הצפויה של מדיניות שאומרת לעובדים "לא" מבלי לספק להם חלופה מאובטחת. כוח העבודה שלכם מתמודד עם אותו לחץ. כשאנשים רואים במדיניות האבטחה מכשול לביצוע העבודה, הם עוקפים אותה. השאלה אינה אם העובדים שלכם משתמשים בכלי AI. השאלה היא אם אתם יכולים לראות מה הם שולחים.

מדוע זה משנה לעסק שלכם

המספרים מספרים סיפור שצריך להדאיג כל מנהל האחראי על סיכונים, ציות או ביצועים פיננסיים.

  • 50% מעובדי הידע משתמשים כיום בכלי AI בעבודה. מחצית מכוח העבודה שלכם פועלת מחוץ לפיקוח ה-IT עם כלים שלא אומתו.
  • 46% מהעובדים אומרים שימשיכו להשתמש ב-AI גם אם הארגון שלהם יאסור זאת. המדיניות שלכם אינה ניתנת לאכיפה.
  • 38% מהעובדים מודים בשיתוף נתוני עבודה רגישים — קניין רוחני, מידע מזהה אישי, נתונים פיננסיים — עם כלי AI, מבלי ליידע את המעסיק.
  • 72% מהשימוש הארגוני ב-AI מתבצע דרך חשבונות אישיים. לארגון שלכם אין שום נראות לתנאי שמירת הנתונים שאליהם הסכימו אותם עובדים.
  • נפח הנתונים הנשלחים לאפליקציות בינה מלאכותית יוצרת גדל פי 30 משנה לשנה. כמות קוד המקור שהודבק בכלים האלה קפצה ב-485%.

שקלו מה זה אומר עבור המאזן שלכם. דליפת נתונים אחת שכוללת סודות מסחריים יכולה למחוק יתרונות תחרותיים שנבנו במשך שנים. קנסות רגולטוריים תחת GDPR או כללים סקטוריאליים יכולים להגיע לעשרות מיליונים. ואם הנתונים שלכם נמצאים על שרתים בארה"ב — אפילו דרך API — ה-CLOUD Act האמריקאי מתיר לרשויות אכיפת החוק האמריקאיות לכפות גישה לנתונים האלה, ללא קשר למקום שבו השרת יושב פיזית. עבור כל ארגון עם פעילות באירופה, הדבר יוצר התנגשות ישירה עם GDPR.

אי אפשר לנהל סיכון שאי אפשר לראות. Shadow AI — עובדים שמשתמשים בכלי AI שלא אושרו — הוא דליפת הנתונים החדשה, רק שבמקרה הזה, האנשים שלכם עצמם מוסרים את הנתונים מרצונם.

מה באמת קורה מתחת למכסה המנוע

רוב הארגונים מגיבים לסיכון ה-AI באחת משתי דרכים. הם חוסמים אותו לחלוטין, או קונים "AI wrapper" — שכבת תוכנה דקה שיושבת מעל שירות AI ציבורי כמו ה-API של OpenAI. אף אחת מהגישות אינה פותרת את הבעיה המרכזית.

החסימה נכשלת כי העובדים שלכם נושאים סמארטפונים אישיים עם חיבורי 5G עצמאיים. מסנן רשת ארגוני לא מגיע למכשיר אישי שמונח על שולחנו של העובד. ה-"air gap" (ההפרדה הפיזית) בין המחשב הנייד הארגוני לטלפון האישי נגשרת בכל פעם שמישהו מקליד או מצלם נתונים ומדביק אותם בכלי AI ציבורי. ואין רק שלוש או ארבע אפליקציות AI לחסום. חברת האבטחה Netskope עוקבת אחרי יותר מ-317 אפליקציות בינה מלאכותית יוצרת נפרדות הנמצאות בשימוש ארגוני. חוסמים את השמות הגדולים — והאנשים שלכם פשוט עוברים לסטארטאפים קטנים ופחות מאובטחים, עם מדיניות פרטיות נתונים גרועה עוד יותר.

ה-wrappers נכשלים מסיבה אחרת. חשבו על AI wrapper כמו על ממשק ATM ממותג בבנק זר. המסך נראה אחרת, אבל הכסף שלכם עדיין זורם דרך המערכת של מישהו אחר. AI wrapper לוקח את הפרומפט של העובד שלכם, לפעמים מוסיף הוראה נסתרת ("אתה עוזר משפטי שימושי"), ושולח אותה ישר לשרתים של ספק ה-API. הנתונים שלכם עדיין עוזבים את הרשת שלכם. בעיית הריבונות — מי שולט בנתונים ותחת איזו סמכות שיפוט — נשארת בלתי פתורה לחלוטין. אתם פשוט משלמים על גרסה יפה יותר של אותו סיכון.

הכשל השורשי הוא ארכיטקטוני. כשהנתונים שלכם יוצאים מהיקף השליטה שלכם ונכנסים לענן של צד שלישי, אתם מאבדים שליטה טכנית. אפילו מנויי API "ארגוניים" שמבטיחים אפס שמירת נתונים לרוב שומרים נתונים למשך עד 30 יום לצורך ניטור שימוש לרעה. זהו חלון של 30 יום שבו המידע הרגיש ביותר שלכם יושב על האחסון של מישהו אחר.

מה עובד (ומה לא)

שלוש גישות נפוצות שנכשלות:

איסור מוחלט על AI: העובדים מתעלמים מהאיסור. 46% אומרים זאת בגלוי. השימוש יורד למחתרת ויוצר יותר סיכון, לא פחות.

חסימת דומיינים באמצעות חומות אש: העובדים עוקפים זאת באמצעות מכשירים אישיים ונקודות חם סלולריות. קיימות יותר מ-317 אפליקציות AI — אי אפשר לחסום את כולן.

רכישת API wrapper: הנתונים שלכם עדיין מועברים לענן של צד שלישי לעיבוד. מקבלים ממשק נעים יותר, אבל את אותה חשיפת נתונים. ה-CLOUD Act האמריקאי עדיין חל.

מה שכן עובד הוא פריסת Private Enterprise LLM — מודל שפה גדול שרץ כולו בתוך התשתית שלכם עצמה. כך עובדת הארכיטקטורה, בשלושה שלבים:

  1. הקלט נשאר בתוך הקירות שלכם. כשמפתח שולח פרומפט עם קוד קנייני, הקוד נע מהמחשב הנייד שלו לשרת GPU בתוך ה-Virtual Private Cloud (VPC) שלכם — המקטע הפרטי המאובטח שלכם בענן. הוא לעולם לא חוצה את האינטרנט הציבורי. הוא לעולם לא נוגע בשרת של צד שלישי.

  2. העיבוד מתבצע על חומרה שבשליטתכם. מודלים במשקלים פתוחים (open-weight) כמו Llama 3 של Meta יכולים לרוץ על תשתית ה-GPU שלכם עצמכם. הגרסה בעלת 70 מיליארד הפרמטרים מספקת איכות הסקה הדומה ל-GPT-4. מורידים את משקלות המודל פעם אחת ומריצים אותם מקומית. אתם לא שוכרים אינטליגנציה דרך API. אתם בעלים של היכולת.

  3. הפלט כפוף לכללים שלכם, ולא של ספק כלשהו. עוטפים את המודל ב-guardrails — למעשה חומת אש לפרומפטים של AI. כלים כמו NVIDIA NeMo Guardrails סורקים כל קלט בחיפוש מידע מזהה אישי לפני שהוא מגיע למודל. הם חוסמים בקשות מחוץ לנושא. הם מזהים ניסיונות jailbreak. והקריטי מכל: המערכת מכבדת את בקרות הגישה הקיימות שלכם. אם לעובד אין הרשאה לראות מסמך ב-SharePoint, ה-AI לא יאחזר אותו כדי לענות על שאלתו.

יתרון מסלול הביקורת (audit trail) הוא מה שהופך את זה למוחשי עבור צוותי הציות והמשפט שלכם. אתם שולטים בכל יומן. אתם יכולים לראות בדיוק מי שאל מה, מתי, ומה ה-AI השיב. אתם יכולים להריץ בדיקות מקור הנתונים ומעקביותם על כל אינטראקציה. היועץ המשפטי שלכם יכול להוכיח לרגולטורים שנתונים רגישים מעולם לא עזבו את הסביבה שלכם — לא באמצעות הבטחה חוזית מטעם ספק, אלא באמצעות ארכיטקטורה טכנית שאפשר לאמת.

גם הכלכלה משתנה לטובתכם בקנה מידה. חברה בגודל בינוני שמעבדת מיליארד טוקנים בחודש עשויה לשלם $5,000 עד $15,000 בחודש עבור API ברמת GPT-4. אותה עומסת עבודה על Llama 3 באירוח עצמי על שני מאיצי A100 עולה בקירוב $2,000 עד $4,000 בחודש — הפחתה של 50 עד 70 אחוז. והפרטיות כלולה ללא תוספת תשלום.

אבטחה בעידן ה-AI אינה עוד עניין של יכולת לומר "לא". היא עניין של יכולת ארכיטקטונית לומר "כן, בביטחה". העובדים שלכם כבר אמרו לכם שהם רוצים AI. השאלה היא אם תספקו להם פריסה מאובטחת וריבונית או שתניחו להם להמשיך להזין את הסודות שלכם לתוך המערכת של מישהו אחר.

הארגונים שישגשגו לא יהיו אלה שאסרו על AI בתוקף המרבי. הם יהיו אלה ש החזיקו בבעלות על התשתית ושלטו בנתונים.

נקודות מפתח

  • מחצית מכוח העבודה שלכם כבר משתמשת בכלי AI ללא פיקוח IT, ו-46% אומרים שיפרו כל איסור שתטילו.
  • חסימת דומיינים של AI באמצעות חומות אש היא תיאטרון אבטחה — עובדים עוקפים זאת במכשירים אישיים, ויש יותר מ-317 אפליקציות AI לעקוב אחריהן.
  • API wrappers אינם פותרים ריבונות נתונים, כי הנתונים שלכם עדיין עוזבים את הרשת שלכם ויושבים על שרתים של צד שלישי הכפופים ל-CLOUD Act האמריקאי.
  • Private Enterprise LLM הרצים בתוך תשתית הענן שלכם עצמה מחזיקים את הנתונים מאחורי חומת האש שלכם ויכולים להוזיל את עלויות המחשוב של ה-AI ב-50%-70% בקנה מידה.
  • האירוע בסמסונג הוכיח שהאיום הגדול ביותר על אבטחת ה-AI אינו האקרים — אלא עובדים מן המניין שחסרים להם כלים מאובטחים.

שורה תחתונה

איסור על AI לא עוצר את העובדים שלכם מלהשתמש בו — הוא רק הופך את השימוש לבלתי נראה לכם. פריסת LLM פרטי בתוך התשתית שלכם עצמכם פותרת את בעיית ריבונות הנתונים בשורשה וחוסכת בעלויות בקנה מידה. שאלו את ספק ה-AI שלכם: האם הנתונים שלנו עוזבים אי פעם את הרשת שלנו לעיבוד, והאם אתם יכולים להוכיח זאת באמצעות ארכיטקטורה — לא רק חוזה?

שאלות נפוצות

שאלות נפוצות

האם איסור על ChatGPT מגן בפועל על נתוני החברה?

לא. מחקרים מראים ש-46% מהעובדים אומרים שימשיכו להשתמש ב-AI גם אם יאסרו. 72% מהשימוש הארגוני ב-AI מתבצע דרך חשבונות אישיים, כלומר לחברה אין כל נראות לגבי הנתונים המשותפים. איסורים דוחפים את השימוש למחתרת ויוצרים יותר סיכון, לא פחות.

מהו Shadow AI ומדוע הוא מהווה סיכון אבטחה?

Shadow AI הוא שימוש בלתי מאושר של עובדים בכלי AI. 38% מהעובדים מודים בשיתוף נתונים רגישים עם כלי AI בלי שהמעסיק יודע. נפח הנתונים הנשלחים לאפליקציות בינה מלאכותית יוצרת גדל פי 30 משנה לשנה, וכמות קוד המקור שהודבק בכלים האלה קפצה ב-485%. התוצאה היא דליפת נתונים מסיבית ובלתי נראית.

האם Private Enterprise LLM זול יותר משימוש ב-API של OpenAI?

בקנה מידה ארגוני — כן. חברה שמעבדת מיליארד טוקנים בחודש עשויה לשלם $5,000 עד $15,000 בחודש עבור API ברמת GPT-4. הרצת אותה עומסת עבודה על מודל פתוח באירוח עצמי כמו Llama 3 על שני מאיצי A100 עולה בקירוב $2,000 עד $4,000 בחודש — הפחתה של 50 עד 70 אחוז בעלויות, כשפרטיות נתונים מלאה כלולה.

בנו את ה-AI שלכם בביטחון.

שותפו עם צוות בעל ניסיון עמוק בבניית הדור הבא של AI ארגוני. אנו נסייע לכם לתכנן, לבנות ולהטמיע אסטרטגיית AI שתוכלו לסמוך עליה.

Veriprajna ייעוץ דיפ-טק מתמחה בבניית מערכות AI קריטיות לבטיחות עבור תחומי הבריאות, הפיננסים והרגולציה. הארכיטקטורות שלנו מאומתות מול פרוטוקולים מבוססים ומלוות בתיעוד ציות מקיף.