היום שבו הבינה המלאכותית הפרטית שלנו מסרה לעובד משכורת שלא היה צריך לראות
התזכיר שלא עובד
אי-שם בחברה שלכם ברגע זה ממש, מישהו הדביק חוזה של לקוח לתוך צ'אטבוט כדי לסכם אותו. הם לא שאלו. הם לא זדוניים. היה להם דדליין וכלי שעבד, והכלי במקרה שלח את החוזה הזה לשרת שבבעלות חברה ביבשת אחרת.
אני יודע את זה כי לכל CISO שעבדתי איתו יש את אותו דשבורד, והוא מספר את אותו סיפור. אחד מהם פתח את Netskope בפגישה והראה לי 317 אפליקציות בינה מלאכותית יוצרת נבדלות שנמצאות בשימוש פעיל ברחבי הארגון שלו. הוא אישר קומץ מהן. השאר היו העובדים שלו שפותרים את הבעיות שלהם, הדבקה אחת בכל פעם.
הפער הזה — בין הבינה המלאכותית שאישרתם לבין הבינה המלאכותית שהאנשים שלכם באמת משתמשים בה — הוא הבעיה שהקדשתי את הפרק האחרון בקריירה שלי לבניית Veriprajna כדי לפתור. אנחנו עושים פריסת LLM פרטית: אנחנו מציבים מודל שפה גדול ויכולתי בתוך התשתית שלכם עצמכם, תחת הבקרות שלכם עצמכם, כך שהעבודה שהעובדים שלכם כבר עושים עם בינה מלאכותית מפסיקה לדלוף החוצה מצד הבניין. בינה מלאכותית ריבונית אינה מצג פילוסופי על עצמאות טכנולוגית לאומית. זו התשובה המעשית לשאלה שכל מנהיג אבטחה כבר נכשל במתן מענה עליה: לאן הנתונים שלנו הולכים, והאם נוכל להוכיח זאת?
האינסטינקט, כשאתם רואים את הדשבורד הזה לראשונה, הוא לשלוח תזכיר. לאסור את הכלים. ניסיתי את קו החשיבה הזה בשלב מוקדם, ואני רוצה לספר לכם בדיוק למה הוא מתפרק — כי הכישלון הוא כל הסיבה שהחברה הזו קיימת.
איסור על בינה מלאכותית אינו מסיר אותה מהחברה שלכם. הוא רק מסיר את הנראות שלכם אליה.
המספרים טוענים את הטענה טוב יותר ממני. דו"ח Cost of a Data Breach של IBM לשנת 2025 מצא שאחד מכל חמישה ארגונים כבר ספג פריצה הקשורה לבינה מלאכותית צללית — כלים לא מאושרים בשימוש ללא ידיעת מחלקת ה-IT. הפריצות הללו עלו בממוצע $670,000 יותר מאירועים מסורתיים, ולקח 247 ימים לזהות אותן לעומת 241 עבור כל השאר. סקר נפרד ניסח זאת בבוטות: 43% מהעובדים מודים בשיתוף מידע עבודה רגיש עם כלי בינה מלאכותית שהמעסיק שלהם מעולם לא אישר. איסור אינו משנה את ההתנהגות הזו. הוא רק מבטיח שתהיו האחרונים לדעת כשמשהו משתבש.
למה צ'אטבוט פרטי לא פותר בינה מלאכותית צללית?
אז אם אי אפשר לאסור את זה, בונים את החלופה הבטוחה. מקימים צ'אטבוט פנימי, מכוונים אותו למודל טוב, ואומרים לכולם להשתמש בו במקום. כאן עשיתי את הטעות היקרה ביותר שלי, וכדאי להתעכב עליה כי כמעט כולם עושים אותה.
הפריסה הפנימית הראשונה שהייתי קרוב אליה נראתה מצוין בהדגמה. ממשק נקי, תגובות מהירות, מודל שהכיר את המסמכים של החברה. היינו גאים בו. ואז, במהלך הפיילוט, מישהו בתפקיד זוטר שאל אותו שאלה על תוכנית תגמול — והוא ענה. באופן מלא. במדויק. עם פרטים שנשלפו ממסמך שלאותו אדם לא היה שום עסק לקרוא.
שום דבר לא נפרץ. מערכת האחזור עשתה בדיוק את מה שבנינו אותה לעשות: למצוא את המסמכים הרלוונטיים ביותר ולהזין אותם למודל. פשוט מעולם לא לימדנו אותה שרלוונטיות והרשאה הם דברים שונים. הצ'אטבוט היה ספרן נאמן שקיבל את מפתח האב לכל חדר נעול בבניין.
אותו אחר צהריים מיסגר מחדש את כל הבעיה עבורי. המודל מעולם לא היה החלק הקשה. החלק הקשה הוא ההרשאה.
הנה הדבר שאף אחד לא אומר לכם בהדגמות של הספקים: רוב הארגונים נושאים שנים של לוגיקת גישה מצטברת קבורה ב-Active Directory — קבוצות אבטחה מקוננות, הרשאות שהורשו, רשימות תפוצה, יחידות ארגוניות שנערמו זו על גבי זו על ידי אנשים שעזבו לפני שנים. כשבונים מערכת אחזור, המהלך הנאיבי הוא לתייג כל מקטע טקסט ברשימה שטוחה של מי שיכול לראות אותו. זה קורס ברגע שנתקלים בקינון קבוצות מהעולם האמיתי. מסמך יורש גישה מקבוצה, שיורשת מקבוצה אחרת, שקבלן צורף אליה לפרויקט בודד לפני שנים.
לעשות את זה נכון היא העבודה האמיתית. בנינו שכבת סנכרון שיושבת בין ספק הזהות — Active Directory, Okta, Azure AD — לבין מסד הנתונים הווקטורי שבו חיים המסמכים. היא פותרת חברות בקבוצות באופן רקורסיבי, משטחת את שרשראות ההורשה הללו, ומרעננת את המטא-נתונים של הגישה בקצב הדוק. עבור רוב הפריסות אנחנו מסנכרנים כל 60 עד 90 שניות. אבל המקרה שמדיר שינה מעיניכם הוא סיום ההעסקה: מישהו מלווים החוצה ב-9 בבוקר, ואי אפשר שהמערכת עדיין תשיב עם הגישה שלו ב-9:05. אז ביטולים אינם ממתינים לסנכרון הבא — webhook של Okta או Azure AD מפעיל מחיקה מיידית ברגע שהחשבון מושבת.
רלוונטיות והרשאה אינן אותו דבר, ומערכת אחזור שמבלבלת ביניהן תמסור את התשובה הנכונה בדיוק לאדם הלא נכון. אף פלטפורמת RAG משמעותית לא פותרת את זה מהקופסה — יצאתי לחפש.
זה לא ביטחון שיווקי — זה מה שמצאתי כשחיפשתי. TrueFoundry, Databricks, מוצרי החיפוש הענן-נייטיביים — לכולם יש תשובות חלקיות: בדיקות הרשאה לקריאה בלבד, סנכרונים תקופתיים. אף אחד מהם אינו יורש את התמונה המלאה של מדיניות קבוצות וכללים מבוססי-מאפיין — גישה מוגבלת בזמן, "רק ממכשיר מנוהל", רמות סיווג — שעליהם ארגון מפוקח באמת מתנהל. אז אנחנו בונים את מנוע המדיניות הזה כעבודה מותאמת אישית, כי אין קיצור דרך אליו. אם אתם רוצים את הארכיטקטורה המלאה של איך אכיפת ההרשאות הזו עובדת מקצה לקצה, היא מפורטת בעמוד בינה מלאכותית ריבונית ופריסת LLM פרטית שלנו.
האם מרכז נתונים בפרנקפורט הופך את הבינה המלאכותית שלכם לאירופית?
יש מלכודת שנייה, והיא עדינה יותר כי היא נראית כמו ציות. הרבה ארגונים פונים לאפשרות מנוהלת — Azure OpenAI, AWS Bedrock — ומרגישים בטוחים. הנתונים נשארים בשוכר הענן שלהם. יש נקודות קצה של VPC, רשת פרטית, ערימה של הסמכות. עבור לא מעט חברות, זו באמת התשובה הנכונה, ואני אגיד את זה בפני לקוח כשזה המצב.
אבל יש עובדה משפטית מתחת לעובדה הטכנית שאני רואה אנשים מפספסים כל הזמן. אחסון הבינה המלאכותית שלכם במרכז נתונים בפרנקפורט אינו הופך אותה לאירופית. Microsoft ו-Amazon הן חברות שמטהן בארה"ב, וזה כפוף אותן ל-CLOUD Act האמריקאי, המאפשר לרשויות אכיפת החוק האמריקאיות לחייב חברה אמריקאית למסור נתונים שהיא מאחסנת בכל מקום בעולם. סעיף 48 של GDPR קובע שצו של בית משפט זר תקף כאן רק במסגרת הסכם בין-לאומי. שני החוקים הללו מצביעים לכיוונים מנוגדים, והנתונים שלכם יושבים בפער.
זה הפסיק להיות תיאורטי במרץ 2026. רשות הגנת המידע של אוסטריה קנסה חברת פינטק מווינה 450,000 יורו על הרצת דירוג אשראי דרך API של בינה מלאכותית מבוסס-ארה"ב — בקובעה שזו העברת נתונים בלתי חוקית תחת GDPR. החברה הניחה, כמו כמעט כולם, שאחסון באזור אירופי מספיק. הוא לא היה. אני שומר את הפסיקה הזו מסומנת כסימנייה כי היא ההמחשה הנקייה ביותר שמצאתי לסיכון שרוב הדירקטוריונים אינם יודעים שהם נושאים.
המקרה של תמונת המראה הוא רשת בתי חולים אמריקאית: שם ה-CLOUD Act בקושי נרשם, אבל דרישות שותף-העסקי של HIPAA — וברגע שאתם נוגעים בחוזים פדרליים — NIST AI Risk Management Framework ו-FedRAMP High הופכים לקו שאתם משרטטים במקום. שאלת השיפוט שומרת על אותה צורה; רק החוק שעל הקיר משתנה.
עבור חברה פיננסית אמריקאית ללא לקוחות אירופיים, שום דבר מזה לא משנה ו-Azure OpenAI לרוב הוא בדיוק הנכון. עבור בנק אירופי שמעבד את נתוני הלקוחות שלו עצמו, החישוב מתהפך — והתצורה היחידה שמסירה לחלוטין את החשיפה ל-CLOUD Act היא פריסה בארח-עצמי על מודלים במשקלים פתוחים הרצים על תשתית שהמפעיל שלה אינו כפוף לשיפוט האמריקאי. זה התפקיד האמיתי של ספקי הענן הריבוני האירופיים — OVHcloud, Scaleway, קיבולת ה-Blackwell החדשה שנכנסת לפעולה באירופה. לא פטריוטיזם. שיפוט.
והמועד האחרון אמיתי. חובות השקיפות של סעיף 50 ל-EU AI Act הופכות לבנות-אכיפה ב2 באוגוסט 2026. ערמו את הקנסות של ה-AI Act על גבי אלה של GDPR והתקרה המשולבת מגיעה ל55 מיליון יורו, או 11% מהמחזור השנתי הגלובלי. זה לא קנס שסופגים. זה מספר שמסיים קריירות.
"פשוט תשתמשו ב-API" — השיחה שאני מנהל בכל חודש
ההתנגדות שאני שומע הכי הרבה היא כספית, והיא הוגנת: ארח-עצמי נשמע יקר. למה לקנות GPU-ים ולשכור צוות כשה-API במרחק חיוב בכרטיס אשראי?
כי החשבון מתהפך, והמקום שבו הוא מתהפך ספציפי יותר ממה שאנשים מצפים. עבור מודל בארח-עצמי בן 70 מיליארד פרמטרים, ההסקה עולה בסביבות $0.013 לאלף טוקנים. אותה עבודה דרך API מתארח כמו GPT-4o mini עולה $0.15 עד $0.60 לאלף. זה לא הבדל של עיגול. אבל זה משנה רק מעל נפח מסוים, כי GPU-ים בארח-עצמי עולים כסף בין אם אתם משתמשים בהם ובין אם הם יושבים בטלים.
נקודת האיזון נמצאת בסביבות שני מיליון טוקנים ביום. מתחת לקו הזה, ה-API-ים מנצחים — אתם לא משלמים על חומרה בטלה, ואני אגיד ללקוח להישאר על API-ים בלי למצמץ. מעליו, ארח-עצמי חוסך 60 עד 85% על הסקה. חברת פינטק אחת שאני מכיר קיצצה את חשבון הבינה המלאכותית החודשי שלה מ-$47,000 ל-$8,000 על ידי מעבר לארח-עצמי היברידי.
אבל — וזה החלק שתגי המחיר של ה-GPU מסתירים — החומרה היא לעתים רחוקות סעיף ההוצאה הגדול ביותר. במחירים של היום H100 מושכר ב-$2.50 עד $3.50 לשעה, ויחיד שכזה המריץ מודל במשקלים פתוחים כמו Llama 3.3 70B משרת 30 עד 50 משתמשים בו-זמנית בהשהיה של פחות משתי שניות. החלק היקר הוא האנשים. אתם צריכים מהנדסי MLOps — שניים לכל הפחות לאמינות ייצור — בעלות של $200,000 עד $350,000 לכל אחד, בתוספת ניטור, צינורות הערכה, אסטרטגיית שחזור לאחור. עבור צוות חדש בהרצת מודלים, עלות הבעלות הכוללת נוחתת בסביבות פי 3.2 מעלות ה-API הגולמית בשנה הראשונה. עבור צוות בוגר עם כלים קיימים, היא יורדת לכ-פי 1.8.
אותה חברת פינטק שקיצצה את חשבונה כה דרמטית? זה עבד כי כבר היה להם צוות Kubernetes ו-18 חודשים של רקמת צלקת תפעולית. אותו מהלך היה מפשיט את הרגל צוות שלומד תוך כדי עבודה.
ה-GPU הוא החלק הזול ביותר של ארח-עצמי. שני המהנדסים ששומרים עליו רץ הם סעיף ההוצאה שמכריע אם החשבון באמת עובד — ומי שעונה "האם כדאי לנו לארח בעצמנו?" מהר יותר מ"זה תלוי בנפח שלכם ובצוות שלכם" מוכר לכם משהו.
החדשות הטובות שמתחת לכל זה הן שהמודלים במשקלים פתוחים נעשו טובים מספיק כדי להפוך את השאלה לשווה לשאול מלכתחילה. Llama 3.3 70B מגיע ל-86% במבחן MMLU ורץ בערך פי 25 זול יותר בארח-עצמי מה-API המקביל. DeepSeek-V3 מקבל ציון 88.5% — עוקף במעט מודל קנייני חוד-חנית במדד הזה. עבור הרוב הגדול של משימות הארגון, המודל שאתם יכולים להריץ בין הקירות שלכם עצמכם כבר אינו הפשרה שהיה לפני שנתיים.
מה קורה כשהבינה המלאכותית מפסיקה רק לדבר
התפתחות אחת הופכת את כל זה מנבון לדחוף. הבינה המלאכותית בחברה שלכם עומדת להפסיק להיות צ'אטבוט ולהתחיל להיות סוכן — תוכנה שלא רק עונה על שאלות אלא נוקטת פעולות, עם גישה קבועה למערכות שלכם.
Gartner צופה ש-40% מיישומי הארגון ישבצו סוכני בינה מלאכותית עד סוף 2026, עלייה מפחות מ-5% שנה קודם לכן. אבל רק כ-5% מהארגונים באמת העבירו סוכנים מפיילוט לייצור, ותמונת האבטחה מדאיגה באמת: 92% ממנהיגי האבטחה אומרים שחסרה להם נראות מלאה לזהויות הבינה המלאכותית שכבר פועלות בסביבתם. סוכן שיכול לקרוא את ה-CRM שלכם, לפתוח קריאות שירות, ולהזיז כסף הוא סיכון שונה מאוד מצ'אטבוט שיכול לסכם PDF.
כל מה שתיארתי — אכיפת ההרשאות, בקרת השיפוט, ה-guardrails בזמן ריצה שתופסים הזרקת פרומפט — מפסיק להיות נחמד-שיש-אותו ברגע שהבינה המלאכותית שלכם יכולה לפעול. צ'אטבוט שמאחזר את המסמך הלא נכון הוא מבוכה. סוכן עם גישה קבועה וללא גבול הרשאות הוא אירוע שמחכה לתאריך.
זהו המסגור מחדש שהייתי משאיר אתכם איתו. שכבת ה-guardrail חשובה גם כאן — וכדאי לדעת שאפשרויות מדף כמו NeMo Guardrails של NVIDIA מוסיפות השהיה אמיתית, 100 עד 300 מילישניות לכל קריאה, ולכן אנחנו מכווננים את לוגיקת המדיניות לתבנית הציות הספציפית במקום להבריג מסנן גנרי. אבל הנקודה העמוקה יותר היא ארכיטקטונית. אי אפשר להציב סוכן על תשתית שאתם לא שולטים בה ולקרוא לה מנוהלת.
החלק שאנשים תמיד מתנגדים לו
אנשים שואלים אותי אם הם באמת חייבים לבחור — אם הם יכולים לשמור על כמה API-ים בענן ועדיין לקרוא לעצמם ריבוניים. כן: רוב הפריסות שהייתי ממליץ עליהן הן היברידיות, עומסי עבודה רגישים על תשתית פרטית ואלה בסיכון נמוך על API-ים מנוהלים, עם גבול מדיניות ברור שמכריע מה שייך לאן. ריבונות מעולם לא הייתה נדר של הכל-או-כלום; היא שרטוט הקו במקום הנכון והיכולת להוכיח היכן הוא יושב.
השאלה האחרת היא תזמון — האם זה לא מוקדם? הקנס האוסטרי כבר נחת. המועד האחרון של סעיף 50 מסומן בלוח השנה. העובדים שלכם מדביקים נתונים לתוך מאות כלים שלא אישרתם בזמן שאתם קוראים את זה. עלות המעבר המוקדם היא פרויקט. עלות המעבר המאוחר נמדדת מול תקרה של אחד-עשר-אחוזים-מהמחזור.
התחלתי את Veriprajna כי צפיתי בצ'אטבוט קטן ונאמן מוסר לעובד זוטר משכורת שמעולם לא היה צריך להראות לו, והבנתי שכל התעשייה מוכרת מודלים בעוד שהבעיה האמיתית הייתה שליטה. המודל הוא החלק הקל. הוא תמיד היה.
האנשים שלכם אינם ממתינים לרשות להשתמש בבינה מלאכותית. השאלה הפתוחה היחידה היא אם הבינה המלאכותית שהם משתמשים בה נותנת דין וחשבון לכם.
אם אתם רוצים לראות איך אנחנו מעצבים את השליטה הזו עבור פרופיל סיכון ספציפי — היכן צריך לשבת הקו בין פרטי למנוהל, איך נבנית שכבת ההרשאות, איך נראית העלות הכוללת האמיתית עבור הצוות שלכם — זה מה שאנחנו פורשים, בכנות ובנייטרליות ביחס לספקים, בעמוד הבינה המלאכותית הריבונית של Veriprajna. הביאו את הדשבורד שלכם. אני כבר יודע בערך מה הוא אומר.
