ה-AI ששכח כיצד להרוג: מדוע אנו בונים מודלים שאינם מסוגלים לייצר נשק ביולוגי
האימייל הגיע ב-2:47 לפנות בוקר ביום שלישי. אחד ממהנדסי המחקר שלנו — אקרא לו ראבי — הריץ בדיקות יריבות על מודל ביולוגיה פופולרי בקוד פתוח. הוא לא ניסה לעשות שום דבר זדוני. הוא ביצע מבחני מאמץ למעקות הבטיחות, שזה מה שאנחנו עושים. אבל מה שהוא גילה גרם לו להרים את הטלפון במקום לחכות לבוקר.
"הוא הדריך אותי לאורך כל התהליך מתחילתו ועד סופו," הוא אמר. "לא בהנחיה אחת. לאורך שנים-עשר סבבי שיחה. פשוט המשכתי לשאול שאלות המשך על קיפול חלבונים, אחר כך על קישור לקולטנים, ואז על מנגנוני הולכה. בסופו של דבר, הוא למעשה סיפק לי תוכנית פעולה מפורטת להגברת כושר ההדבקה של נגיפים. ואני אפילו לא ביולוג."
ישבתי בחושך בסלון שלי, בוהה בתמליל שהוא שלח. המודל לא "סירב" לשום דבר. כל תשובה בודדת עסקה באופן טכני במדע לגיטימי. אך כשמחברים אותן יחד, בהנחיית מישהו שידע מה לשאול, השיחה הייתה כיתת אמן במשהו שלעולם אין ללמד.
הלילה ההוא שינה את מסלול החברה שלי. בנינו כלי בטיחות AI עבור לקוחות ארגוניים — עבודה חשובה, אך הדרגתית. מה שראבי הראה לי דרש משהו רדיקלי בהרבה. לא מעקות בטיחות טובים יותר. לא מסננים חכמים יותר. היינו צריכים לבנות מודלי AI שבאמת אינם מסוגלים לייצר את הידע הזה, גם אם כל שכבת בטיחות תופשט מהם.
היינו צריכים מודלים ששכחו כיצד להרוג.
הבעיה שאף אחד לא רוצה לדבר עליה
הנה האמת הלא נוחה על AI וביולוגיה: אותו מודל שעוזר לחוקר לתכנן וקטור לריפוי גנטי עבור ילד עם מחלה נדירה יכול, באמצעות ההנחיה הנכונה, לעזור למישהו לייעל פתוגן לגרימת נזק אנושי מרבי. זו אינה השערה תיאורטית. זוהי ודאות מתמטית, המוטמעת באופן שבו מודלים אלה פועלים.
מודלי שפה גדולים (LLMs) לומדים על ידי הטמעת הכל — ספרי לימוד, מאמרי מחקר, פוסטים בפורומים, כל התיעוד הדיגיטלי של הידע האנושי. זה כולל מאמרי וירולוגיה על מחקרי 'רכישת תפקוד' (gain-of-function). זה כולל ספרות כימית על סינתזת רעלנים. וזה כולל עשרות שנים של מחקרי הגנה ביולוגית שמעצם טבעם מתעדים בדיוק מה הופך גורמים ביולוגיים למסוכנים.
הנתונים הנדרשים להצלת חיים קשורים לעתים קרובות באופן בלתי נפרד לנתונים הנדרשים לחיסולם.
זה מה שחוקרים מכנים דילמת השימוש הכפול, והיא אינה חדשה. ביולוגים מתמודדים איתה מאז גילוי ה-DNA. אבל בינה מלאכותית משנה את המשוואה באופן שמדיר שינה מעיניי: היא מנגישה לכל את החלק הקשה ביותר.
בניית נשק ביולוגי דרשה היסטורית שלושה דברים — ידע מפורש (המדע), גישה פיזית (ציוד מעבדה), וידע מובלע (ה'תחושה' הבלתי כתובה לעבודת מעבדה שלוקח שנים לפתח). האינטרנט סיפק את הראשון. מעבדות ענן וסינתזת DNA בהזמנה בדואר מספקות את השני. וכעת, AI גנרטיבי מגשר על הפער השלישי בכך שהוא פועל כפי שחוקר אחד תיאר בקדרות: 'פוסט-דוקטורט בקופסה' — זמין 24/7, סבלני עד אין קץ, וללא כל מצפן מוסרי אלא אם נבנה בו אחד במפורש.
מדוע גישת "פשוט תגיד לא" נכשלת באבטחה ביולוגית של AI?
תשובת תעשיית ה-AI לבעיה זו הייתה, בעיקרה, ללמד מודלים לסרב. באמצעות תהליך הנקרא למידת חיזוק ממשוב אנושי (RLHF), מודלים לומדים שכאשר מישהו שואל על נושאים מסוכנים, התגובה הנכונה היא גרסה כלשהי של "אינני יכול לעזור בזה".
נהגתי לחשוב שזה מספיק. טעיתי.
שיטת RLHF אינה מוחקת ידע. היא מדכאת התנהגות. המודל עדיין יודע כיצד לסנתז רעלן — הוא פשוט אומן לא לומר זאת. חשבו על כך כמו על רופא שנשבע שבועת שתיקה לגבי נושא מסוים. הידע עדיין שם, שלם לחלוטין, שוכן במשקולות הנוירוניות. ה"סירוב" הוא רק שכבה התנהגותית דקה שנמשחה מעל במהלך השלב הסופי של האימון.
ושכבות דקות נסדקות.
הצוות שלי קיטלג את הדרכים שבהן מנגנון זה קורס, והרשימה ארוכה מכפי שהייתי רוצה להודות. ישנה מתקפת הקרשנדו (Crescendo Attack), שבה תוקף מתחיל בשאלות תמימות ומסלים בהדרגה לאורך עשרות סבבי שיחה עד שהמודל שקוע כל כך בהקשר שהוא שוכח לסרב. ישנו העונג המתעתע (Deceptive Delight), שבו הבקשה המזיקה עטופה בהנחיית כתיבה יצירתית. וישנו תכסיס שופט הליקרט הפגום (Bad Likert Judge), שבו מבקשים מהמודל לדרג את מידת הפגיעה של תגובות שונות, והוא מספק ברצון את הפרטים המסוכנים כחלק מה"ניתוח" שלו.
בדקנו את ההתקפות הללו על מספר מודלי חזית. התוצאות היו מפכחות. מתקפה אלגנטית במיוחד — שפורסמה על ידי צוות Unit 42 של Palo Alto Networks — השיגה שיעור הצלחה של 100% בפריצת מגבלות (jailbreak) במודלים מסוימים תוך שימוש בסבלנות שיחתית בלבד.
אבל הסיוט האמיתי אינו פריצת מגבלות גרידא. הסיוט מתרחש כאשר המודל הוא בקוד פתוח.
מה קורה כאשר לא ניתן לקחת את הנשק בחזרה?
ניהלתי ויכוחים סוערים בנושא זה. בעולם התוכנה, "קוד פתוח" הוא ערך מקודש — משמעותו שקיפות, ביקורת קהילתית ואבטחה באמצעות בחינה קולקטיבית. אני מאמין בקוד פתוח עבור תוכנה. אבל ביולוגיה איננה תוכנה.
כאשר מתגלה פגיעות אבטחה בלינוקס, מוציאים לה תיקון (patch). כולם מעדכנים. הפגיעות מנוטרלת. כאשר "פגיעות" ביולוגית — נניח, תכנון של פתוגן למגפה עולמית חדשה — נוצרת על ידי מודל בעל משקולות פתוחות הרץ על שרת פרטי של מאן דהוא, אין שום תיקון. אין עדכון. אין החזרת מוצר (recall).
המשקולות יצאו החוצה. היכולת הפכה לקבועה.
חוקרים הדגימו תופעה הנקראת כוונון עדין זדוני (Malicious Fine-Tuning) שהופכת זאת למוחשי. קחו מודל פתוח ש"יושר לבטיחות" — כזה שאומן בקפידה לסרב לשאילתות מזיקות. בצעו לו כוונון עדין על גבי 10 עד 50 דוגמאות בלבד של צמדי שאלות ותשובות מזיקות. העלות: כמה מאות דולרים של זמן מעבד גרפי (GPU). התוצאה: יישור הבטיחות קורס לחלוטין, וכל הידע של המודל משלב טרום-האימון — כולל כל מה שלמד על פתוגנים, רעלנים ויצירת נשק — מציף בחזרה.
מנגנון בטיחות שניתן להסרה על ידי היריב אינו מנגנון בטיחות. הוא בסך הכל פס האטה.
הצגתי את הטיעון הזה בכנס ואחד הנוכחים בקהל התנגד: "אבל המידע כבר נמצא באינטרנט". הם צודקים בכך שניתן למצוא סינתזת ריצין בוויקיפדיה. אבל זה מחמיץ לחלוטין את הנקודה. הסיכון אינו המתכון עצמו. הסיכון הוא ה-uplift (העצמת היכולות) — יכולתו של המודל להדריך אדם בעל מיומנות חלקית בתהליך המורכב והמועד לשגיאות של ביצוע מעשי של המתכון, פתרון בעיות בזמן אמת והצעת ריאגנטים חלופיים כאשר החומרים המפוקחים אינם זמינים. זהו הפער שבינה מלאכותית סוגרת, וזהו הפער המכריע.
כתבתי על כך בהרחבה ב-גרסה האינטראקטיבית של המחקר שלנו, כולל מודל האיומים המלא עבור מערכות AI סוכנותיות (agentic AI) המסוגלות לתכנן ולהוציא לפועל תהליכי עבודה ביולוגיים רב-שלביים באופן אוטונומי. המעבר הסוכנותי — שבו ה-AI הופך מצ'אטבוט למדען אוטונומי — הוא המקום שבו האיום הופך לקיומי באמת.
הלילה שבו שינינו כיוון
היה רגע ספציפי שבו הגישה שלנו התגבשה. היינו בפגישת צוות, והתווכחנו על הארכיטקטורה. חצי מהצוות רצה לבנות ניטור טוב יותר — ללכוד הנחיות פסולות לפני שהן מגיעות למודל. החצי השני רצה להתמקד בסינון פלטים — ללכוד תשובות פסולות לפני שהן מגיעות למשתמש.
אני זוכר שעמדתי ליד לוח המחיק, ציירתי את אותו תרשים בפעם השלישית, ופתאום הרגשתי כאילו אנחנו מסדרים מחדש את כסאות הנוח על הטיטאניק. שתי הגישות הניחו שהמודל אמור להחזיק בידע מסוכן ושעלינו רק לשלוט בגישה אליו. אבל זהו אותו היגיון של אחסון גז עצבים במשרד תוך הסתמכות על מנעול מצוין במיוחד.
"מה אם המודל פשוט... לא יידע?" אמר מישהו. אני חושב שזה היה חוקר הפירושיוּת שלנו. דממה השתררה בחדר.
במבט לאחור זה נשמע מובן מאליו. אבל בעולם בטיחות ה-AI, זו הייתה כמעט כפירה. ההנחה הרווחת הייתה שחייבים את המודל המלא — כל הידע שלו, כל יכולותיו — ואז מלבישים שכבות בטיחות מלמעלה. הרעיון של הסרה מכוונת וכירורגית של ידע ממודל מאומן הרגיש כמו לובוטומיה. גס. הרסני. ההנחה הייתה שבוודאי תשבור כל דבר אחר בתהליך.
בילינו את החודשים הבאים בהוכחה שההנחה הזו שגויה.
כיצד מלמדים AI לשכוח?
התחום נקרא ביטול למידה חישובי (Machine Unlearning), והוא מתוחכם בהרבה מכפי שהוא נשמע. אי אפשר פשוט למחוק נתוני אימון ולאמן מחדש — זה יקר להחריד מבחינה חישובית ואינו מבטיח שהידע נעלם. במקום זאת, יש להתערב ברמת הייצוגים הפנימיים של המודל — דפוסי ההפעלה הנוירונית שמקודדים מושגים.
הטכניקה העיקרית שלנו נקראת הטעיית ייצוגים לביטול למידה (Representation Misdirection for Unlearning), או RMU. הנה האינטואיציה: כאשר מודל מעבד הנחיה בנושא, נניח, "הגברת כושר ההדבקה של נגיף", דפוסים ספציפיים מופעלים בשכבות הנסתרות שלו. דפוסים אלה הם האופן שבו "ידיעה על הגברת כושר הדבקה ויראלי" נראית מבחינה מתמטית. RMU מזהה דפוסים אלה ומנתב אותם מחדש — לא לסירוב, אלא לרעש. ה"מחשבה" הפנימית של המודל אודות המושג המסוכן מתערבלת לכדי הפעלה חסרת משמעות.
התוצאה היא מודל שאינו מסרב לשאלתך בנוגע לנשק ביולוגי. הוא פשוט אינו מסוגל לחשוב על כך באופן קוהרנטי. בקשו ממנו לשפר פתוגן והוא יגיב כמו אדם שמעולם לא שמע על המושג — מבולבל, חסר עקביות, ונאחז ברעיונות לא קשורים. הוא אינו מעמיד פנים; הידע באמת אינו קיים שם.
אבל הנה החלק הקשה — והחלק שצרך את מרבית המאמץ ההנדסי שלנו: עליך לעשות זאת מבלי להרוס את כל השאר. וירולוגיה ונשק ביולוגי חולקים כמויות עצומות של ידע יסודי. אינך יכול לעקור את "הנדסת הפתוגנים" מבלי לסכן את "תכנון החיסונים". זה כמו לנסות להסיר ממוחו של אדם את המושג "אש ככלי נשק" תוך השארת "אש ככלי לבישול" ללא פגע.
כאן הפכו מקודדים אוטומטיים דלילים (Sparse Autoencoders) לאזמל המנתחים שלנו. רשתות עצביות ידועות לשמצה בהיותן "פוליסמנטיות" — נוירון בודד עשוי לקודד בו-זמנית גם "חתולים" וגם "נגזרים פיננסיים" (ברצינות לגמרי). מקודדים אוטומטיים דלילים מאפשרים לנו להתיר ייצוגים חופפים אלה לתכונות נקיות של מושג בודד. יכולנו לאתר את התכונה הספציפית שמופעלת עבור "מחקרי רכישת תפקוד ויראליים" ולקבע אותה לאפס, תוך השארת התכונה הסמוכה של "תכנון וקטורים ויראליים לריפוי גנטי" ללא שינוי.
לא אעמיד פנים שהתהליך היה חלק. הניסויים הראשונים היו קשים מאוד. המודל הראשון שלנו שעבר ביטול למידה לא הצליח להבדיל בין וירוס לוויטמין. ביצענו תיקון יתר אגרסיבי כל כך, עד שהמודל למעשה שכח ביולוגיה מולקולרית. אני זוכר את ראבי פותח את תוצאות ההערכה, גולל עמוד אחר עמוד של תשובות חסרות פשר לשאלות ביולוגיה בסיסיות, ואומר: "ובכן, הוא בהחלט כבר לא יכול לייצר נשק ביולוגי. הוא גם לא יכול לייצר אספירין".
המשכנו לשפר. הוספנו אילוצי שטף באמצעות טכניקה הנקראת מחיקת זיכרון שפה (Erasure of Language Memory), המבטיחה שהמודל יישאר קוהרנטי גם באזורים ה"מחוקים". יישמנו אקסטרפולציית פרמטרים (Parameter Extrapolation) כדי להתמודד עם בעיית הלמידה מחדש — הסיכון שמישהו יוכל לבצע כוונון עדין למודל שלנו על נתונים קשורים ולשחזר את הידע המסוכן. האקסטרפולציה מזהה מושגים בעלי "מתאם לוגי" ומרחיבה את גרדיאנט ביטול הלמידה כדי לכסות גם אותם, ובכך יוצרת אזור חיץ סביב הידע שנמחק.
לפירוט הטכני המלא של שיטות אלה — RMU, אבלציית תכונות במקודדים אוטומטיים דלילים ואקסטרפולציית פרמטרים UIPE — עיינו ב-מאמר המחקר המפורט שלנו.
כיצד נראית "הסתברות אקראית" בפועל?
אנו מתקפים את המודלים שלנו מול מדד ה-WMDP — מאגר הנתונים התחליפי לנשק להשמדה המונית (Weapons of Mass Destruction Proxy), שפותח על ידי המרכז לבטיחות AI. הוא מכיל למעלה מ-4,000 שאלות רב-ברירה שנוסחו בידי מומחים ובוחנות "ידע מקדים" — המושגים שחובה להבין כדי לבנות נשק ביולוגי או כימי.
מודל קוד פתוח סטנדרטי כמו Llama-3-70B מקבל ציון של כ-75% בחלק של אבטחה ביולוגית. GPT-4, עם כל אימוני הבטיחות של RLHF, משיג כ-72%. המודל שלנו עם פערי הידע מקבל ציון של 26% — תוצאה שאינה ניתנת להבחנה סטטיסטית מניחוש אקראי במבחן אמריקאי עם ארבע אפשרויות.
בינתיים, במדדי מחקר ביו-רפואי כלליים כמו PubMedQA, המודל שלנו שומר על דיוק של כ-77% בהשוואה ל-78% של מודל הבסיס. במדד המדע הרחב MMLU, הציון שלנו יורד מ-82% ל-81% בלבד.
מודל עם פערי ידע הוא תפקודית כמו "תינוק" בכל הנוגע לאיום, בעודו נותר "מומחה" בכל הנוגע למרפא.
אובדן תועלת זה של 1-2% הוא המחיר של בטיחות מבנית. לכל מנהל בכיר בחברת תרופות שהראיתי לו את המספרים הללו הייתה אותה תגובה בדיוק: "זה הכל?" כן. זה הכל. המודל בעל יכולת של 98% למחקר לגיטימי, ובעל יכולת של אפס אחוזים למעשה עבור יצירת נשק.
שיעור ההצלחה של מתקפות פריצת מגבלות (jailbreak) משלים את התמונה. מודלים פתוחים סטנדרטיים: 15-20%. GPT-4 עם RLHF: 1-5%. המודל שלנו: פחות מ-0.1%. והשארית הזו אינה נובעת מכך שהמודל מייצר תוכן מסוכן — זהו פשוט רעש מדידה.
החומות הרגולטוריות הולכות וסוגרות
זה כבר אינו רק טיעון טכנולוגי. זהו טיעון משפטי.
צו נשיאותי 14110 מתמקד במפורש ב"מודלי יסוד בעלי שימוש כפול" ומחייב מפתחים לדווח על תוצאות מבחני צוות אדום עבור סיכוני אב"כ (CBRN — כימי, ביולוגי, רדיולוגי, גרעיני). תקן ISO/IEC 42001, תקן ניהול ה-AI הבינלאומי הראשון, דורש בקרות "הפרופורציונליות לסיכון" — ובהנדסת בטיחות, סילוק של מפגע מדורג תמיד מעל בקרות ניהוליות כגון מדיניות וסירובים. מסגרת ניהול סיכוני ה-AI של NIST מסווגת יכולות CBRN כקטגוריית סיכון ייחודית עבור בינה מלאכותית גנרטיבית.
עבור חברות פארמה, תחשיב האחריות המשפטית ברור וישיר. אם תעניקו לחוקרים שלכם גישה למודל AI שמסוגל לתכנן פתוגן, ומשהו ישתבש — עובד ממורמר, מערכת שנפרצה, או מתקפת הנדסה חברתית מתוחכמת — תישאלו אילו צעדים נקטתם כדי למנוע נזק שניתן היה לחזותו מראש. האמירה "הורינו למודל לומר לא" לא תשכנע חבר מושבעים. לעומת זאת, האמירה "המודל אינו מסוגל מבנית לייצר פלט כזה" היא שיחה שונה לחלוטין.
מבטחי אחריות סייבר כבר מתמחרים זאת. החרגות לנזקים שנוצרו על ידי AI מופיעות בפוליסות הביטוח. הפרמיות עולות עבור חברות המשתמשות במודלים לא מאומתים בתחומים רגישים. השוק מאותת לנו בבירור.
"אבל האם מישהו לא יכול פשוט לאמן אותו מחדש?"
זוהי השאלה שאני נשאל לעתים הקרובות ביותר, וזו השאלה הנכונה לשאול. אם אפשר לבטל למידה של ידע, האם יריב אינו יכול ללמוד אותו מחדש באמצעות כוונון עדין על נתוני נשק ביולוגי?
כן — בתיאוריה. אך תכננו את עלות הלמידה מחדש כך שתהיה בלתי אפשרית בפועל. באמצעות אקסטרפולציית פרמטרים, איננו מוחקים רק את ידע המטרה; אנו מוחקים את הפיגומים המושגיים שסביבו שהיו מאפשרים שחזור. שחזור היכולת המסוכנת מהמודל שלנו דורש יותר נתונים ויותר כוח חישוב מאשר אימון מודל חדש מאפס. בנקודה זו, היריב אינו מרוויח דבר מהתחלה עם המודל שלנו.
אנו בוחנים זאת ללא הרף. מדי שבוע, מתקפות למידה מחדש אוטומטיות מפגיזות את המודלים שלנו במאגרי נתונים של כוונון עדין יריבותי. מודל זוכה בכינוי "Knowledge-Gapped" רק כאשר עלות הלמידה מחדש עולה על עלות האימון מאפס.
אנשים גם שואלים אותי האם גישה זו מתרחבת — האם ניתן ליישם אותה על כל תחום מסוכן, או שמא היא עובדת רק עבור ביולוגיה. התשובה הכנה היא שביולוגיה הייתה המקום שבו התחלנו מכיוון שהסיכונים הם הגבוהים ביותר וגבול השימוש הכפול הוא החד ביותר. אך הטכניקות הבסיסיות — הטעיית ייצוגים, אבלציית תכונות, אקסטרפולציית פרמטרים — אינן תלויות תחום. אנו כבר בוחנים יישומים באבטחה כימית ובאופן מעניין גם בהגנה על קניין רוחני, שבה אותן שיטות של ביטול למידה יכולות להבטיח שמודל לא שינן נתונים קנייניים של מתחרה.
הבחירה שאינה באמת בחירה
ישבתי בחדרים שבהם אנשים מבריקים טוענים שהגבלת יכולות AI נוגדת חדשנות. ש"בטיחות" היא מילת קוד ל"האטה". שהסיכונים מנופחים והיתרונות חשובים מכדי להגבילם.
אני מבין את הדחף הזה. אני יזם. אני בונה דברים למחייתי. מגבלות מרגישות כמו חיכוך.
אבל הנה מה שאני ממשיך לחזור אליו: אנחנו לא מאפשרים לחברות תרופות למכור תרופות מבלי להסיר את תוצרי הלוואי הרעילים. אנחנו לא מאפשרים לחברות תעופה להטיס מטוסים מבלי לתקן את הפגמים המבניים. הציפייה שמוצר לא יכיל את זרעי האסון אינה נוגדת חדשנות. היא הבסיס ההנדסי האלמנטרי.
הוויכוח בין AI "פתוח" ל-"סגור" הוא הסחת דעת בביולוגיה. הבחירה האמיתית היא בין מודלים שהם בטוחים מבנית לבין מודלים שנמצאים במרחק פרצה אחת מאסון. בין מערכות שבהן הבטיחות היא תכונה של הארכיטקטורה לבין מערכות שבהן הבטיחות היא מדיניות שהוצמדה בסוף.
הקדשנו עשרות שנים לבניית תשתית האבטחה הביולוגית העולמית — אמנת הנשק הביולוגי, בקרות הייצוא של קבוצת אוסטרליה, פרוטוקולי הסינון בחברות סינתזת DNA. כל זה מניח שהחלק הקשה ביותר בבניית נשק ביולוגי הוא רכישת הידע והמיומנות. הבינה המלאכותית ממוססת את ההנחה הזו. אם לא נסתגל — אם נמשיך להסתמך על מודלים שיודעים הכל ורק מבטיחים לא לספר — אנו בונים את הביו-כלכלה של העתיד על יסודות שנער נחוש עם מעבד גרפי יכול לרסק.
איננו יכולים לבנות את הביו-כלכלה של העתיד על יסודות של מודלים לא יציבים בעלי שימוש כפול שנמצאים במרחק פריצת מגבלות אחת מאסון.
אינני חושב שהפתרון הוא להפסיק לפתח AI עבור ביולוגיה. הפוטנציאל הטיפולי עצום מדי, והסבל שהוא יכול להקל עליו אמיתי מכדי לוותר עליו. הפתרון הוא לבנות AI שהוא בלתי מסוגל מבנית לגרום לנזק שאנו חוששים מפניו — מודלים עם פערים אמיתיים בידע שלהם, ולא מודלים שעוטים מסכות שכל יריב יכול להסיר.
אנו קוראים לזה אבטחה ביולוגית מבנית. לא בטיחות כתכונה נוספת. בטיחות כארכיטקטורה. לא מנעול על הדלת, אלא היעדרו של הנשק מאחוריה.
