בינה מלאכותית תיכננה 40,000 כלי נשק כימיים פוטנציאליים בשש שעות. אני לא מפסיק לחשוב על מה שזה אומר.

ישבתי בחדר מלון בציריך, ממוטט מעייפות טיסה ומרצרץ בעיון על המחשב הנייד שלי, כאשר טבלה אחת הקפיאה אותי במקום.

40,000 מולקולות. פחות משש שעות. שרת ברמת צרכן — הסוג שתמצאו במעונות סטודנטים. והפלט לא היה זבל. המודל גילה מחדש את VX, אחד מחומרי העצבים הקטלניים ביותר שסונתזו אי פעם, ואז הלך רחוק יותר — ויצר אלפי אנלוגים חדשניים שנחזו להיות יותר קטלניים מ-VX עצמו. תרכובות שאינן מופיעות באף מאגר נתונים ציבורי. שאינן קיימות באף רשימת מעקב ממשלתית.

החוקרים ב-Collaborations Pharmaceuticals לא בנו נשק. הם לקחו מודל מסחרי לגילוי תרופות בשם MegaSyn — כלי שתוכנן למצוא תרופות למחלות נדירות — ושינו סימן אחד בפונקציית התגמול שלו. ממינוס לפלוס. ענישת רעילות הפכה למקסום רעילות. זה היה הכול. שורת קוד אחת, והמכונה עברה ממרפא למעצב נשק באותה מיומנות.

סגרתי את המחשב הנייד ובהיתי בקיר זמן רב.

אני מנהל את Veriprajna, חברה שבונה מערכות בינה מלאכותית לסביבות ארגוניות בסיכון גבוה. אנו עובדים בצומת שבין למידה עמוקה לתחומים שבהם טעות אינה אומרת המלצה גרועה — היא אומרת נזק פיזי ממשי. באותו לילה בציריך, הבנתי שכל פרדיגמת הבטיחות שתעשיית הבינה המלאכותית מוכרת — גדרות הבטיחות, מסנני התוכן, טריקי הנדסת הפקודות — נבנתה על יסודות חול. וידעתי שעלינו לעשות משהו שונה מהיסוד.

הניסוי שהיה צריך לשנות הכול

הנה מה שמציק לי בניסוי של Collaborations Pharmaceuticals: זה לא היה קשה.

הצוות השתמש ברשת עצבית מבוססת LSTM שאומנה על מחרוזות SMILES — ייצוג טקסטואלי של מבנים מולקולריים. נתוני האימון הגיעו מ-ChEMBL, מאגר נתונים זמין לציבור שכל סטודנט לתואר שני יכול להוריד. עלות המחשוב הייתה זניחה. כל הארכיטקטורה מתועדת היטב בספרות הפתוחה.

המודל פעל על ידי יצירת מולקולות מועמדות וניקוד שלהן מול פונקציית מטרה. במצב הטיפולי הרגיל שלו, הפונקציה נראתה בערך כך: תגמול פעילות ביולוגית, ענישת רעילות. החוקרים היפכו את הענישה. הגנרטור עצמו — המנוע שמייצר בפועל את המולקולות — לא שונה מעולם. הוא פשוט עקב אחר הגרדיאנט החדש, מטפס לעבר קטלניות מרבית באותו האופן שבו טיפס קודם לכן לעבר ערך טיפולי מרבי.

אם מודל מבין מה הופך מולקולה לבטוחה, הוא בהגדרה מבין מה הופך אותה לא-בטוחה. אלו אזורים משלימים באותו מרחב מתמטי.

זה לא באג. זו הארכיטקטורה שעובדת בדיוק כפי שתוכננה. וזה החלק המחריד.

מחסום הכניסה לתכנון סוכנים ביוכימיים מתוחכמים קרס — לא מפני שמישהו דלף מתכון, אלא מפני שהאינטליגנציה החישובית לתכנן אותם זמינה כעת דמוקרטית. GPU ברמת צרכן. סקריפט Python. מאגר נתונים קוד-פתוח. זו רשימת הקניות המלאה.

מדוע כל פתרון בטיחות לבינה מלאכותית מפספס את הנקודה?

לאחר ציריך, בליתי שבועות בשיחות עם צוותים שבונים "בינה מלאכותית בטוחה" לפארמה וביוטק. השיחות עקבו אחר דפוס מדכא.

"יש לנו גדרות בטיחות," היו אומרים. "אנחנו מסננים את הפלטים."

הייתי שואל: מה קורה כשמישהו מגיש מחרוזת SMILES במקום שם מולקולה?

מבטים ריקים.

הנה הבעיה עם כל פרדיגמת הבטיחות המבוססת על עטיפה — הגישה שבה לוקחים מודל עוצמתי, עוטפים אותו בשכבה דקה של סינון תוכן, וקוראים לו מוכן לארגון. מערכות אלו פועלות על שפה. הן מחפשות מילות מפתח. הן בודקות פלטים מול רשימות של דברים רעים ידועים.

אבל רעילות אינה מילה. היא גיאומטריה.

מסנן תוכן יחסום את המילה "סארין." הוא לא יחסום O=P(C)(F)O — הייצוג ב-SMILES של סארין שהמודל מבין בשלמות. מחקר עדכני על מתקפות הנחיה ב-SMILES הראה שיעורי עקיפה העולים על 90% כנגד מודלים מובילים כגון GPT-4 ו-Claude 3 עבור חומרים ספציפיים. תשעים אחוז. זו לא מערכת בטיחות. זו תיבת הצעות.

וזה מחמיר. בכימיה רפואית, קיימת תופעה הנקראת "צוק פעילות" — שבה שינוי מבני זעיר, לפעמים החלפת אטום בודד, גורם לשינוי מסיבי בפעילות הביולוגית. החלף קבוצת הידרוקסיל בפלואור ותרופה בטוחה הופכת קטלנית. מסנן מבוסס טקסט שרואה שתי מולקולות כ-99% דומות יניח לעבור את המסוכנת, כי הוא משווה תחביר, לא פונקציה. זה כמו לאשר מסמך כי הגופן נראה נכון מבלי לקרוא את המילים.

כתבתי על פגיעויות טכניות אלו לעומק בהגרסה האינטראקטיבית של המחקר שלנו, אך התובנה המרכזית פשוטה: אם מנגנון הבטיחות שלך פועל על פני השטח של המודל — על הטקסט שנכנס והטקסט שיוצא — הותרת את מנוע היצירה האמיתי ללא כל ממשל.

הלילה שבו הבנו שחשבנו על זה בצורה שגויה

היה רגע — אני זוכר אותו במדויק כי ה-CTO שלי ואני התווכחנו ב-23:00 מעל פיצה קרה — כשהבעיה כולה קיבלה ניסוח חדש עבורנו.

ניסינו לבנות מסננים טובים יותר. מסווגים חכמים יותר. רשימות חסימה מקיפות יותר. ובכל פעם שבדקנו אותם תחת לחץ, מצאנו דרך נוספת לעקוף. טריק קידוד נוסף. מקרה קצה נוסף שבו מולקולה חדשנית חלפה דרך כי לא הייתה באף מאגר נתונים.

ה-CTO שלי אמר משהו שעצר את הוויכוח: "אנחנו ממשיכים לנסות לתפוס פלטים רעים. מה אם נהפוך לבלתי אפשרי עבור המודל לחשוב עליהם כלל?"

אז התחלנו לדבר על מרחב סמוי.

מהו מרחב סמוי, ומדוע זה חשוב לך?

כל מודל בינה מלאכותית גנרטיבי — בין אם הוא יוצר תמונות, טקסט או מולקולות — פועל על ידי דחיסת העולם למרחב מתמטי. ייצוג דחוס זה נקרא המרחב הסמוי. חשוב עליו כדמיון הפנימי של המודל. כשגנרטור מולקולרי "מתכנן" תרופה חדשה, הוא לא מרכיב אטומים באקראי. הוא מנווט בנוף רב-ממדי שבו מולקולות דומות מקובצות יחד, והיצירה היא מעשה של בחירת נקודה בנוף זה ופענוח שלה חזרה למבנה ממשי.

הנה מה שחשוב: בנוף זה, רעילות אינה תווית. היא אזור. שטח רציף ומתפשט החודר ומסתבך עם האזורים המייצגים ערך טיפולי. המאפיינים המאפשרים לתרופה לחצות את מחסום הדם-מוח לטיפול באלצהיימר הם לעתים קרובות אותם מאפיינים המאפשרים לחומר עצבי להגיע ליעדו ולגרום לשיתוק. זיקה גבוהה לקישור — יכולת המולקולה לאחוז בחוזקה בחלבון — היא בדיוק מה שרוצים בתרופה נגד סרטן ובדיוק מה שהופך את VX לקטלני.

רעילות וערך טיפולי אינם שני צדדים הפוכים של מטבע. הם שכנים על אותה יריעה, חולקים גדר ולעתים גם דלת קדמית.

הסתבכות זו היא הסיבה שמנגנוני "סירוב" פשוטים נכשלים באופן קטסטרופלי. אם אתה אומר למודל לחסום כל דבר הקשור לרעילות — נניח, כל המולקולות החודרות את מחסום הדם-מוח — אינך רק חוסם נשק. אתה משמיד את יכולת המודל לתכנן טיפולים למחלות נוירולוגיות. ביצעת לובוטומיה בשם הבטיחות.

האתגר האמיתי אינו חסימת פלטים רעים. הוא ניווט באזורים הבטוחים של נוף זה תוך הפיכת האזורים המסוכנים לבלתי-נגישים מתמטית.

כיצד נראה "ממשל מרחב סמוי" בפועל?

טבענו את המונח ממשל מרחב סמוי (Latent Space Governance) לתאר את מה שאנחנו מאמינים שהוא הגישה היחידה הניתנת להגנה לבטיחות בינה מלאכותית בתחומים גנרטיביים בסיכון גבוה. הרעיון פשוט באופן מטעה: במקום לסנן פלטים לאחר שהמודל יוצר אותם, אנחנו מגבילים את ניווט המודל בנוף הפנימי שלו לפני שכל דבר מיוצר אי פעם.

אעבור על מה שזה אומר בפועל, כי השטן הוא בביצוע.

מיפוי השטח לפני שמישהו זז

לפני שאנחנו פורסים כל מודל גנרטיבי, אנחנו מבצעים את מה שאנחנו קוראים לו ביקורת טופולוגית. בשימוש בטכניקה הנקראת הומולוגיה מתמידה (Persistent Homology) — ענף של ניתוח נתונים טופולוגי (Topological Data Analysis) — אנחנו מחשבים טביעת אצבע מתמטית של האזורים הבטוחים במרחב הסמוי של המודל. אנחנו מזהים את הצורות, החורים והגבולות המפרידים בין השטח הטיפולי לשטח הרעיל.

זה נותן לנו משהו שאף רשימת חסימה לא יכולה לספק: הבנה מבנית של כיצד נראית "בטיחות" בגיאומטריה של המודל עצמו. כאשר מולקולה חדשנית נוצרת — משהו שאינו מופיע באף מאגר נתונים — אנחנו יכולים להעריך האם היא יושבת על היריעה הבטוחה או נסחפה לשטח לא-ממופה, פוטנציאלית מסוכן.

המבקרים שלעולם אינם ישנים

אנחנו לא מאמנים מחדש את מודל הבסיס הגנרטיבי. זה יקר, מסכן שכחה קטסטרופלית, ויוצר בעיות משלו. במקום זאת, אנחנו מאמנים רשתות עזר קלות משקל שאנחנו קוראים להן מבקרי אילוץ (Constraint Critics) — פונקציות ערך הפועלות ישירות על וקטורים סמויים וצופות ציוני סיכון בזמן אמת.

האלגנטיות הארכיטקטונית כאן חשובה: מכיוון שהמבקרים מנותקים מהגנרטור, אנחנו יכולים לעדכן אותם כשאיומים חדשים מופיעים מבלי לגעת במודל הבסיס. כשמזוהה סוג חדש של חשש כימי, אנחנו מאמנים מחדש את המבקר, לא את המערכת כולה.

הכוונה, לא סינון

במהלך היצירה, כאשר המודל דוגם נקודה במרחב הסמוי, המבקר מחשב את הגרדיאנט של משטח הרעילות באותה נקודה. אם המסלול פונה לעבר אזור מסוכן, גרדיאנט מנוגד דוחף אותו חזרה אל היריעה הבטוחה — בשימוש בטכניקה המבוססת על Langevin Dynamics.

המודל למעשה "מדמיין" מולקולה רעילה אך מוכרח מתמטית לפתור מחשבה זו לאנלוג בטוח לפני שכל פלט מיוצר. שום דבר מסוכן לעולם אינו מגיע לשכבת הפלט. אין מה לסנן כי אין שום דבר לא-בטוח לתפוס.

המודל לא מייצר נשק ומעוצר בדלת. הוא אינו מסוגל ארכיטקטונית ללכת לעבר הדלת כלל.

זה ההבדל בין סינון בדיעבד לאילוץ מבני. האחד הוא שומר בטחון הבודק תעודות זהות. השני הוא בניין ללא כניסה לקומה המוגבלת.

לניסוח המתמטי המלא — כולל מסגרת האופטימיזציה המוגבלת ומשוואות הכוונת הגרדיאנט — ראה הצלילה הטכנית המעמיקה שלנו.

מדוע לא ניתן פשוט לחסום את האזורים המסוכנים לחלוטין?

אנשים שואלים אותי זאת ללא הרף, וזו שאלה הוגנת. אם אתה יודע היכן נמצאת היריעה הרעילה, מדוע לא לחסום אותה לחלוטין?

בגלל ההסתבכות. זכור — המאפיינים שהופכים חומר עצבי לקטלני חופפים במידה ניכרת למאפיינים שהופכים תרופה נוירולוגית לאפקטיבית. אם תחסום בצורה אגרסיבית מדי, תשמיד את התועלת הטיפולית. אם תחסום בצורה רופפת מדי, תותיר פרצות.

הגישה שלנו מנווטת בין שני הקצוות דרך מה שאנחנו קוראים למידת חיזוק מוגבלת עם תמריצים אדפטיביים (Constrained Reinforcement Learning with Adaptive Incentives). במקום חומה בינארית — בטוח/לא-בטוח — אנחנו מיישמים אזור חיץ גרדיאנטי. ככל שהמודל מתקרב לגבול הרעילות, עונש הולך וגדל דוחף אותו חזרה, כמו שדה כוח המתחזק ככל שמתקרבים. זה מאפשר למודל לחקור את הקצוות הפרודוקטיביים של המרחב הכימי — שם לעתים קרובות חיות התרופות החדשניות ביותר — מבלי לחצות אל תחום הסכנה.

RL מוגבל סטנדרטי ידוע כבלתי יציב, מתנדנד סביב גבול האילוץ. פתרנו זאת עם מנגנון תמריץ אדפטיבי המתגמל את המודל על שהייה הרחק מהגבולות, לא רק על אי-חציית אותם. ההבדל נשמע עדין. בפועל, זה ההבדל בין מערכת שבטוחה על הנייר לבין מערכת שבטוחה תחת לחץ יריבי.

חשבון הרגולציה כבר כאן

אני מדבר עם הרבה מייסדים שמתייחסים לבטיחות בינה מלאכותית כאל תוספת נחמדה אך לא הכרחית. תיבת סימון לצוות הציות. משהו שדואגים לו לאחר השגת התאמת מוצר-שוק.

הם טועים, ומפת הרגולציה עומדת להוכיח זאת.

צו הנשיא של הבית הלבן בנושא בינה מלאכותית מזהה במפורש את הסיכון של בינה מלאכותית המורידה מחסומים לפיתוח נשק CBRN (כימי, ביולוגי, רדיולוגי, גרעיני) כאיום ביטחון לאומי מדרגה ראשונה. משימת Genesis, שהושקה בסוף 2025, מורה למשרד האנרגיה לבנות פלטפורמת בינה מלאכותית משולבת לגילוי מדעי עם "אמצעי אבטחת סייבר מבוססי סיכון" חובה. פרופיל הבינה המלאכותית הגנרטיבית של NIST (NIST.AI.600-1) מציין במפורש כלי תכנון כימי וביולוגי כקטגוריית סיכון ייחודית, ומזהיר שכלים אלה "עשויים לנבא מבנים חדשניים" שאינם קיימים בנתוני האימון. ו-ISO 42001 — תקן מערכת הניהול הבינלאומי הראשון לבינה מלאכותית — דורש עמידות מוכחת בפני מתקפות יריביות.

עטיפה לא יכולה להדגים שהיא מונעת את יצירת האיומים הביולוגיים. היא יכולה רק להראות שהיא מנסה לסנן אותם. הבחנת "מאמץ מיטבי" זו תהיה חשובה מאוד כאשר חוזים פדרליים, הסמכת ISO ואישור רגולטורי יהיו על הכף.

האילוצים המבניים שלנו מספקים משהו שונה מהיסוד: הוכחה להתנהגות מוגבלת. אנחנו יכולים להדגים לרגולטורים — מתמטית — שיריעת ה-CBRN אינה נגישה למודלים שלנו. לא "אנחנו מנסים לחסום אותה." לא "עוד לא ראינו אותה עוברת." בלתי-נגישה.

משקיע אמר לי "פשוט השתמש ב-GPT והוסף מסננים"

אני רוצה לשתף זאת כי לדעתי זה לוכד את הפער בין מצב התעשייה כיום לבין המקום שאליו היא צריכה להגיע.

בשלב מוקדם של גיוס הכספים שלנו, משקיע — מישהו עם תיק השקעות חזק בבינה מלאכותית ארגונית — הקשיב להצגת העסק שלנו ואמר, בעיקרו של דבר: "זה מהונדס יתר על המידה. פשוט השתמש ב-GPT-4 עם הנחיית מערכת טובה ונקודת קצה לניהול תוכן. אף אחד לא הולך לשבור כלי פארמה."

שלפתי את מחקר הנחיות ה-SMILES בטלפון שלי והראיתי לו את שיעורי העקיפה של 90%+. הראיתי לו את תוצאות MegaSyn. הסברתי שלמולקולות שנקודת קצה "ניהול התוכן" שלו תצטרך לתפוס עדיין אין שמות — הן תרכובות חדשניות שאינן קיימות באף מאגר נתונים.

הוא שתק זמן רב ואז אמר: "אז אתה אומר לי שכל חברת בטיחות בינה מלאכותית בביוטק מוכרת מנעול שלא עובד?"

"אני אומר לך שהם מוכרים מנעול על הדלת הקדמית של בניין ללא קירות."

הוא לא השקיע. לא כולם מוכנים לשיחה הזו. אבל אלה שמוכנים — חברות הפארמה המנהלות תוכניות קליניות, קבלני הביטחון עם מנדטי CBRN, חברות הביוטק המביטות על הסמכת ISO 42001 — הם מבינים שבטיחות מבנית אינה תכונת פרמיום. היא דרישת הבסיס.

החלק שמשאיר אותי ער בלילה

ניסוי MegaSyn פורסם ב-2022. הוא השתמש בארכיטקטורות מ-2018. המודלים הזמינים היום עוצמתיים יותר בסדרי גודל.

ותשתית ה"בטיחות" שהתעשייה בנתה בתגובה? מסנני מילות מפתח טובים יותר. הנחיות מערכת משופרות. רשימות חסימה מקיפות יותר. אנחנו בונים מכוניות מהירות יותר ומגיבים עם פסי האטה טובים יותר.

אני לא חושב שרוב האנשים בתחום הבינה המלאכותית — ואפילו רוב הבונים כלי בטיחות לבינה מלאכותית — הפנימו לחלוטין את משמעות העובדה שהיכולת לתכנן נשק כימי חדשני עולה כיום פחות ממחשב גיימינג. שהידע לא נמצא במסמך מסווג איפשהו; הוא מקודד בייצוגים הנלמדים של מודלים שאומנו על נתוני כימיה זמינים לציבור. שלא ניתן לגרום למודל לשכוח מהי רעילות מבלי לגרום לו לשכוח מהו טיפול, כי אלה אותו הידע, הנצפה מזוויות שונות.

לא ניתן לפתור בעיה גיאומטרית בטלאי לשוני. הסכנה חיה במרחב הסמוי של המודל, ושם גם חייב לחיות הממשל.

עידן העטיפה חייב להסתיים. לא מפני שעטיפות הן מוצרים רעים — רבות מהן בעלות כוונות טובות ושימושיות ליישומים בסיכון נמוך. אלא מפני שבתחומים שבהם בינה מלאכותית נוגעת בעולם הפיזי — תכנון תרופות, סינתזה כימית, הנדסה ביולוגית — בטיחות ברמת פני השטח היא סתירה מיניה וביה. היא יוצרת את מראית העין של שליטה תוך השארת מנוע היצירה ללא כל ממשל.

ב-Veriprajna, בחרנו בנתיב קשה יותר. בחרנו להיכנס לתוך המודל — לתוך הגיאומטריה שלו, הטופולוגיה שלו, המבנה הסמוי שלו — ולבנות בטיחות לתוך המתמטיקה עצמה. לא כמסנן. לא כגדרת בטיחות. כאילוץ על מה שהמודל יכול לדמיין.

כך לדעתי נראה עתיד בטיחות הבינה המלאכותית: לא שומרים חכמים יותר בשער, אלא בניינים שתוכננו כך שהחדרים המסוכנים אינם קיימים. לא ניהול תוכן טוב יותר, אלא מודלים שהגיאומטריה הפנימית שלהם הופכת נזק לבלתי אפשרי מבנית.

לא בנינו זאת מפני שהיה קל או מפני שהשוק ביקש זאת. בנינו זאת כי אותה טבלה — 40,000 מולקולות, שש שעות, שרת צרכני — אמרה לנו שכל פחות מזה הוא רשלנות מחופשת לחדשנות.