מודל לגילוי תרופות עיצב 40,000 רעלנים בשש שעות. הפתרון לא היה מה שציפיתי לו.
בפעם הראשונה שבאמת הבנתי את הבעיה, קראתי מאמר בן ארבע שנים וחשתי צמרמורת.
בשנת 2022, צוות קטן ב-Collaborations Pharmaceuticals לקח את מודל גילוי התרופות המסחרי שלו — מערכת כימיה גנרטיבית בשם MegaSyn, מהסוג שמדרג מולקולות לפי הפוטנציאל הטיפולי שלהן — והפך מספר אחד. פונקציית התגמול שאמרה למודל "תגמל אותי על מולקולות בטוחות ודמויות-תרופה" הפכה ל"תגמל אותי על מולקולות רעילות". זו לא הייתה פריצה. זו לא הייתה חדירה. זה היה סימן בודד בקובץ תצורה של Python, בדיוק כפי שהייתם משנים תרמוסטט מחימום לקירור.
בפחות משש שעות, על שרת סטנדרטי, המודל ייצר 40,000 מולקולות מועמדות — כולל חומרי עצבים ידועים כמו VX, ואלפי תרכובות חדשות שהוא חזה שיהיו קטלניות אף יותר. אותו מחקר, שפורסם ב-Nature Machine Intelligence, הוא המקום שבו עדיין מתחילה כל שיחה כנה על ביו-ביטחון בבינה מלאכותית. והדבר שהדיר שינה מעיניי לא היה שזה קרה פעם אחת בניסוי מבוקר. אלא שהארכיטקטורה שאפשרה זאת — פונקציית תגמול השוכנת בקובץ תצורה במקום להיות מולחמת לתוך המודל — היא עדיין בייצור ברוב חברות התרופות בגודל בינוני שמריצות צינורות כמו REINVENT 4. המתג שהופך מעולם לא תוקן. פשוט לא הפכו אותו שוב.
זהו הפער שהצוות שלי ב-Veriprajna בילה שנתיים בבנייה לתוכו. המסה הזו היא מה שטעינו בדרך, ומה שאני מאמין כעת שהוא הדבר היחיד שבאמת עובד.
ההבדל בין מצב גילוי-תרופות למצב עיצוב-נשק, ברוב צינורות הכימיה הגנרטיבית, הוא שורת קוד בודדת שאיש אינו שומר עליה.
ההגנות שחברות התרופות סומכות עליהן נבנו עבור איום שכבר אינו קיים
כשהתחלתי לשוחח עם קציני ציות — נציב הציות הראשי, האחראי הרשמי החותם על מסמכי הבטיחות הביולוגית, וראש תחום ה-ML שבאמת מחזיק במודלים — כמעט כולם תיארו את אותן שלוש הגנות. אימון סירוב, כך שהמודל אומר לא כשמבקשים ממנו משהו מסוכן. יישור RLHF, כדי שיתנהג כראוי. ומסנני התרעה מבניים — תוכנה הסורקת את פלט המולקולה ומסמנת תת-מבנים רעילים ידועים.
כל שלושתן תוכננו לעולם שבו התקפה נראתה כמו מישהו שמקליד "עצב לי חומר עצבים." משטח ההתקפה של 2025 לא נראה כך כלל. הוא שקט יותר, אוטומטי יותר, והוא פועל מתחת לרמה שההגנות הללו משגיחות עליה.
קחו את מסנני ההתרעה המבניים, אלה שחברות התרופות נשענות עליהם הכי חזק. פלטפורמות כמו Chemistry42 של Insilico Medicine מגיעות עם יותר מ-460 מסנני כימיה רפואית פנימיים המסננים החוצה טוקסיקופורים ידועים. זו הנדסה טובה. אך הן בוחנות את הפלט — המולקולה המוגמרת — לאיתור דפוסים רעים ידועים. הן אינן עושות דבר למטרה. מודל הממטב לעבר יריעת נשק-כימי ישמח לייצר תרכובות חדשניות מבחינה מבנית שאינן תואמות שום טוקסיקופור ידוע ויחלפו הישר דרך המסנן, מפני ש"חדשני" הוא בדיוק מה שמודל גנרטיבי נועד לו. ראיתי מחרוזת SMILES — הסימון הטקסטואלי שכימאים משתמשים בו לכתיבת מולקולה — נגללת בתוך יומן פלט וידעתי שהיא תעבור כל התרעה שהצוות התקין, דווקא משום שהייתה חדשה.
אז הדבר הראשון שנאלצתי לפרוק מעליי היה הרעיון המנחם שסינון הפלט זהה לממשל של המודל.
הלילה שבו הרעיון הנקי ביותר שלנו התפרק
הנה הכישלון שאני עצמי תמכתי בו, והוא עלה לנו חודשים.
כשהצוות שלי הגדיר לראשונה את היקף העניין, התאהבנו במה שנראה כתשובה האלגנטית: אל תסננו את הידע המסוכן, הסירו אותו. קיים גוף עבודה אקדמי אמיתי ויפהפה על ביטול-למידה במכונה — טכניקות כמו RMU, שאומתו מול מדד WMDP ממאמר ICML משנת 2024 שמודד בדיוק כמה ידע ביולוגי שניתן לחימוש מודל שומר בזיכרונו. ההבטחה מרהיבה. לוקחים מודל שמקבל ציון של כ-75% ב-WMDP-Bio — בעל ידע מסוכן — ומבטלים את למידתו עד שהוא מקבל ציון של 26%, שהוא סיכוי אקראי, שהוא "המודל באמת אינו יודע". מודל עם פער-ידע. אי אפשר לפרוץ ידע שאינו קיים.
בנינו הדגמה. היא עבדה. הציון צנח לרמת אקראי. אני זוכר שהייתי גאה בה — הייתה לי שקופית שאמרה הידע נעלם, וזה הרגיש כמו טיעון מוגמר.
ואז אחד מהמהנדסים שלנו הריץ עליה התקפת למידה-מחדש, מהסוג שתואר בעבודתם של Lucki et al. מ-CMU שהתקבלה ל-ICLR 2025. הוא לא הזין לה נתונים סודיים. הוא כיוונן אותה על מאמרים רפואיים ציבוריים — מהסוג שנמצא בכל ספריית ביולוגיה — והיכולת שכביכול נמחקה החלה לטפס בחזרה. אותו מאמר הראה שהתחבולה עובדת גם על טריוויה: מודל שלמידתו בוטלה ו"שכח" את הארי פוטר ניתן היה לעורר אותו לדקלם קטעים משוננים שוב לאחר שראה את הוויקי. הידע לא נעלם. הוא הוסתר. עמוקות, באופן מרשים — אך ניתן לשחזור על ידי כל מי שמחזיק במשקלים ופנאי של אחר צהריים.
לא מחקנו את הידע המסוכן. הסתרנו אותו טוב מספיק כדי לרמות את עצמנו, וזה סוג הבטיחות המסוכן ביותר שקיים.
זה היה הלילה שבו מת המצג הנקי. והוא היה חייב למות, כי הגרסה הבאה שלו הייתה נמכרת לחברת תרופות אמיתית כ"אי אפשר לעשות שימוש לרעה במודל שלכם" — משפט שאינו נכון, ושאף קצין ציות לעולם לא צריך לחתום עליו בשמו.
סירוב הוא התנהגות, לא יכולת
כישלון הלמידה-מחדש אילץ אותי להפנים משהו שאני אומר כעת בכל פגישה ראשונה. סירוב הוא התנהגות שהמודל מבצע. יכולת היא מה שהמודל מסוגל לעשות. אלה אינם אותו דבר, וכמעט כל שכבת בטיחות בתעשיית התרופות מבלבלת ביניהם.
סירוב RLHF מלמד מודל לומר לא. הוא אינו מלמד אותו לא לדעת. יש מחקר משנת 2025 — עבודת "הסיכון במקרה הגרוע ביותר" של "gpt-oss" — ששם מספר על עד כמה דקה ההבחנה הזו: עם מספר שבין 10 ל-50 דוגמאות כוונון וכמה מאות דולרים של זמן GPU, אפשר לקלף את יישור הבטיחות ממודל בעל משקלים פתוחים ולשחזר את יכולתו הביולוגית הקרובה-לחזית. ימי עבודה. מחיר של ארוחת ערב נחמדה. עבור כל חברת תרופות שמריצה מודלים בעלי משקלים פתוחים באתר — ורבות עושות זאת, מסיבות קניין רוחני מוצדקות לחלוטין — "מיושר-בטיחות" הוא תכונה ששורדת בדיוק עד שאדם מבפנים או קובץ משקלים שהודלף מחליטים שהיא לא צריכה לשרוד.
זו הסיבה שמציאות המשקלים-הפתוחים חשובה כל כך. כאשר Arc Institute שחרר את Evo 2 בפברואר 2025 — מודל יסוד ל-DNA בן 40 מיליארד פרמטרים שאומן על תשעה טריליון נוקלאוטידים — הם ביצעו עבודת בטיחות זהירה באמת, החריגו פתוגנים המדביקים בני אדם מהאימון וביצעו בדיקות תקיפה על התוצאה. ואז מסגרת בשם GeneBreaker, שהוצגה ב-NeurIPS 2025, השיגה עד שיעור הצלחת תקיפה של 60% בפריצת Evo 2-40B על פני שש קטגוריות נגיפיות.
האופן שבו GeneBreaker פועל הוא החלק שכל CISO צריך לשבת איתו. הוא לעולם אינו מבקש פתוגן. הוא משתמש בסוכן בינה מלאכותית לתזמור כלי ביואינפורמטיקה ומבקש, באמצעות חיפוש-אלומה מונחה-הומולוגיה, חלבון "הומולוגי ל" סימוכין שפיר שבמקרה קרוב מבנית לאחד מסוכן. מסנני מילות-מפתח רואים בקשת גנומיקה השוואתית לגיטימית. אימון הסירוב אינו רואה דבר לסרב לו. הסכנה נעשית גלויה רק כשמנתחים את התפקוד של מה שיצא — ואז כבר מאוחר מדי. ברגע שהמשקלים פתוחים, עליכם להניח שהמודל משוחרר בטבע וכל מתחרה וכל שחקן זדוני מחזיק באותו עותק שברשותכם.
מדוע "קו ההגנה האחרון" לא תפס זאת?
בכל פעם שאני פורש זאת, מישהו — בדרך כלל האדם המנוסה ביותר בחדר — אומר גרסה כלשהי של: "בסדר, אבל כל זה לא משנה, כי כדי לייצר משהו אמיתי צריך לסנתז DNA, וספק הסינתזה שלנו סורק כל הזמנה."
גם אני נהגתי להאמין בכך למחצה. ואז הגיע אוקטובר 2025.
Microsoft Research, שעבדה בשקט במשך עשרה חודשים עם Twist Bioscience, IDT, וה-International Gene Synthesis Consortium, הריצה את מה שמכונה כעת פרויקט הפרפרזה (Paraphrase Project), שפורסם ב-Science. הם השתמשו במודל עיצוב חלבונים בקוד פתוח כדי לייצר אלפי וריאנטים סינתטיים של רעלן — תוך שימור הקצה התפקודי המהותי ומוטציה של כל מה שסביבו, המקבילה המולקולרית לניסוח מחדש של משפט כך שתוכנת גילוי-גניבה-ספרותית לא תסמן אותו. אותם וריאנטים שנוסחו מחדש בידי בינה מלאכותית חמקו מתוכנת הסינון מבוססת-ההומולוגיה שכל ספק סינתזת DNA מרכזי משתמש בה. "קו ההגנה האחרון" היה עיוור אליהם.
לזכותם הגדולה ייאמר, הצוות בילה את אותם עשרה חודשים בפיתוח משותף ובהפצה גלובלית של תיקון המוסיף חיזוי תפקודי על גבי התאמת הומולוגיה. הזיהוי השתפר. אך הלקח עבור קונה הוא קבוע: כל צינור פנימי שהתבסס על "ספק ה-DNA שלנו יתפוס זאת" פעל, לאורך כל 2024 ורוב 2025, על בסיס ערובה שלא הייתה קיימת. ישבתי מול קצין ציות שתיאר את אותו קו-הגנה אחורי בביטחון מלא, שבועות לאחר שהמאמר פורסם. אינכם יכולים להתייחס לסינון של הספק כאל קו-ההגנה האחורי שלכם. עליכם לסנן באופן פנימי, לפני שההזמנה בכלל עוזבת את הבניין.
הסיפור המנחם הוא תמיד "משהו במורד הזרם יתפוס זאת". בביו-ביטחון, 2025 הייתה השנה שבה הודגם כיצד לעקוף כל תפיסה במורד הזרם.
רצפת הרגולציה זזה — בשני כיוונים בו-זמנית
אילו הקרקע הטכנית הייתה הדבר היחיד שזז, זה היה קשה דיו. גם הקרקע המשפטית זזה, והיא מתפצלת לכיוונים מנוגדים.
בארצות הברית, המסגרת הביצועית שצוותי הציות בילו את 2023 ו-2024 בתכנון כנגדה פורקה תוך חודשים ספורים. צו בטיחות הבינה המלאכותית של ביידן בוטל בינואר 2025; צו הכלכלה הביולוגית במרץ; צו אבטחת המחקר הביולוגי שהחליף אותו והוצא במאי הגיע עם מועד יישום של 90 יום שחלף מבלי שהופיעה מסגרת. האנשים שתפקידם ציות ביו-ביטחוני פועלים, ממש עכשיו, בחלל ריק.
בינתיים האיחוד האירופי הלך לכיוון ההפוך. חובות ה-AI Act עבור מודלים למטרות כלליות נכנסו לתוקף באוגוסט 2025, כאשר היישום המלא לסיכון-גבוה יחול באוגוסט 2026. הקנסות אינם סמליים: עד 35 מיליון אירו או 7% מהמחזור העולמי עבור פרקטיקות אסורות, 15 מיליון אירו או 3% עבור אי-ציות של מודלים למטרות כלליות. מודלי יסוד המשמשים בביולוגיה נמצאים היטב בתחולה. והנה האסימטריה שמכריעה את כל השאלה עבור רוב לקוחותיי: חברת תרופות בעלת פעילות כלשהי באיחוד האירופי חייבת לציית לתקן האירופי ללא קשר להיכן שארה"ב נוחתת. הרף הנמוך ביותר בעולם אינו רלוונטי אם אתם מוכרים לפרנקפורט.
מתחת לרגולציה הראשית, ISO/IEC 42001 — התקן הבינלאומי הראשון למערכות ניהול בינה מלאכותית — הפך בשקט לדבר שמבטחים ושותפים מצפים שתחזיקו בו. והמבטחים הם האוכף השקט כאן. לאורך סוף 2025, חברות ביטוח אחריות-סייבר החלו להוסיף שאלות לטופסי החיתום שלהן על החרגות נתוני-אימון דו-שימושיים, נהלי ביטול-למידה, ותדירות בדיקות-תקיפה, והחלו להחריג נזק שנוצר בידי בינה מלאכותית או לתמחר אותו מחדש עבור חברות שמריצות מודלים בעלי משקלים פתוחים ללא בקרות מתועדות. ראיתי שאלון בסגנון Munich Re נוחת על שולחנו של לקוח וממסגר מחדש את כל השיחה: זה כבר לא היה דיון אתי, זו הייתה פרמיה.
זה גם המקום שבו מלכודת האחריות נסגרת בטריקה. דמיינו את התביעה. עובד ממורמר מדליף את המשקלים של מודל ביולוגיה פרטי של חברת תרופות. חודשים לאחר מכן הוא צף בדוח מודיעין-איומים על כמעט-תקרית. עורך דינו של התובע שואל שאלה אחת: מהי מסגרת הבקרה שלכם? בשנת 2024 ייתכן שהייתם שורדים אם עניתם "השתמשנו באימון סירוב". לאחר מחקר ה-MFT והלמידה-מחדש, התשובה הזו קרובה יותר להודאה. הגנת חובת-הזהירות ב-2026 היא "נקטנו אמצעי זהירות מתקדמים, מתועדים ושכבתיים" — ויש לכם את תיעוד בדיקות-התקיפה להוכיח זאת, או שאין.
אז מה באמת מחזיק מעמד?
המסקנה הכנה מכל זה היא זו שרציתי בה הכי פחות, כי היא פחות אלגנטית מ"מחקנו את הידע". שום טכניקה בודדת אינה עובדת. סירוב הוא הפיך. ביטול-למידה ניתן לשחזור. מסנני פלט עיוורים לחדשנות. סינון הספק נעקף. לכל הגנה בודדת יש פריצה מוכחת.
מה שמחזיק מעמד הוא שכבות שכושלות באופן בלתי תלוי — כך שהבסה של אחת אינה מביסה את המערכת. זה הדבר שבסופו של דבר בנינו, וזה מה שתחום הביו-ביטחון ובטיחות הבינה המלאכותית של Veriprajna מאורגן סביבו כעת. לא מוצר שמתקינים. הגנה הבנויה לתוך כל מחסנית שחברת התרופות כבר מריצה, כי הם לא הולכים לעקור את Chemistry42 או REINVENT בשבילי, וגם לא צריכים.
זה מתחיל בזמן הגנרציה. אנו מציבים תוכנת-ביניים בטיחותית מול המודל שמיירטת את פלט ה-SMILES, ה-SELFIES, או גרף-המולקולה לפני שהוא מגיע לחוקר — סינון טוקסיקופורים כמו שכולם עושים, אך עם ניקוד קרבה במרחב-החבוי ליריעת נשק-כימי וזיהוי מצוקי-פעילות שנוספים על גביו. התקפת המבנה-החדשני שחולפת על פני מסנן דפוסים נתפסת על ידי היכן שהיא ממוקמת בייצוג של המודל, לא על פי איך שהיא נראית — מפני שאנלוג של נשק-כימי ותרופה שפירה יכולים להיראות לא-קשורים מבחינה מבנית ובכל זאת להתקבץ באותו אזור של המרחב-החבוי הנלמד של המודל, האינווריאנט האחד שגנרטור מחפש-חדשנות אינו יכול לחמוק ממנו. כל יירוט כותב יומן ביקורת, כי היומן הוא מה שמעריך ISO 42001 באמת מבקש לראות.
לביטול-למידה עדיין יש מקום ברמת המשקלים, אך רק עם הענווה שמחקר הלמידה-מחדש כפה עלינו. RMU, ריקון-מאפיינים של אוטו-מקודד דליל, וזיקוק ה-UIPE ממאמר ACL משנת 2025 — ואז מחזור הסמכה-מחדש חודשי עם צוותי-תקיפה של למידה-מחדש רציפים, כי אנו מניחים כעת שפער-הידע עלול להישחק ומעדיפים לתפוס את השחיקה מאשר להעמיד פנים שהיא לא יכולה לקרות. ציון ה-WMDP-Bio חדל להיות תעודה שמסגרנו פעם אחת והפך לסימן חיוני שאנו מנטרים.
שום דבר מזה אינו אמין ללא מישהו שמנסה באופן פעיל לשבור אותו, ולכן צוות-התקיפה פועל רבעונית: התקפות הומולוגיה בסגנון GeneBreaker, פריצות של הנחיית-SMILES, סימולציית כוונון זדוני, שחזור למידה-מחדש. התוצר הוא דוח כתוב הממופה לבקרות NIST AI 600-1 — פרופיל הבינה המלאכותית הגנרטיבית ש, מאז יולי 2024, נקב במפורש ב-CBRN כאחד מתריסר סיכונים ייחודיים. והלולאה נסגרת רק כשאנו מסננים באופן פנימי: רצפים שנוצרו נבדקים מול IGSC, מול פרוטוקול הגיבוב-הקריפטוגרפי של SecureDNA, ומול שכבת חיזוי-תפקודי, לפני שהזמנת סינתזה כלשהי עוזבת את הבניין — בדיוק הפער שפרויקט הפרפרזה חשף.
החלק שרוב הספקים לא יעלו על הכתב
יש חלק בכל התקשרות שאני מתעקש עליו, והוא זה שהופך את השאר לאמין: הדברים שאנו לא יכולים לתקן.
איננו יכולים לפתור פוליטיקה ארגונית. אם מוביל המו"פ חווה את סקירת הביו-ביטחון כמס על מהירות האיטרציה, שום שכבה טכנית לא שורדת מגע עם לוח השנה. איננו יכולים להפוך את ביטול-הלמידה לקבוע באופן מוכח כנגד יריב שמחזיק במשקלים ויש לו גישת כוונון — UIPE וריקון SAE מפחיתים את הסיכון, הם לא מאפסים אותו. WMDP הוא פרוקסי לידע-קודמן ידוע; מודל ברמת אקראי אינו מוסמך כבטוח כנגד יכולות שאיש עדיין לא מנה. והתקפות הרעלת-נתונים במעלה הזרם מתרחשות לפני שהמודל בכלל מגיע לחברת התרופות, מה שאומר שזיהוי שלהן דורש שיתוף פעולה שיועץ במורד הזרם אינו יכול לכפות.
ספק ביו-ביטחון שטוען שהוא סוגר כל פער אומר לכם את הדבר האחד שמוכיח שהוא לא מצא את כולם.
הסתייגויות אלה שייכות לשולחן בשפה פשוטה, במצגת הדירקטוריון, במטריצת הבקרה. לא מפני שכנות היא נחמדה, אלא מפני שהחלופה — שקופית "אי אפשר לעשות שימוש לרעה במודל שלכם" הבטוחה שכמעט שלחתי — היא בדיוק ההצהרה המופרזת שהופכת לעדות בבית משפט.
אנשים שואלים אותי אם משמעות הדבר היא שחברות ביוטק קטנות פשוט חסרות מזל, טובעות תחת יכולת מעבדות-החזית שאין ביכולתן להשתוות אליה. ההפך, למעשה. מעבדות החזית עושות עבודה אמיתית — Anthropic שילחה הגנות ASL-3 על Claude Opus 4 במאי 2025, המודל המסחרי הראשון עם אמצעי פריסה המכוונים במפורש כנגד שדרוג נשק ביולוגי. אך המסווגים הללו מגינים על Claude. הם אינם עושים דבר עבור מופע ה-REINVENT המכוונן שלכם, צינור האחזור שלכם, או המודל בעל המשקלים הפתוחים על ה-GPUים שלכם. שכבת הצינור הייעודית לתעשיית התרופות היא בדיוק המרחב שמעבדות החזית אינן יכולות לחדור אליו ושספקי הפלטפורמה מתייחסים אליו כאל תכונה במקום כאל המוקד. זהו הפער, והוא כזה שניתן לבנות.
השאלה האחרת שאני מקבל היא התפעולית: האם זה לא איטי? זה איטי יותר מלא לשלוח דבר, מהיר יותר מתביעה משפטית, ומהיר בהרבה מהיום שבו רגולטור או מבטח מבקשים ראיות שמעולם לא ייצרתם. מחקר בדיקות-התקיפה של RAND משנת 2024 מצא שהבינה המלאכותית לא העלתה את התקרה של מה שווירולוג מיומן יכול לעשות — היא העלתה את הרצפה של מה שלא-מומחה יכול לנסות. הסיכון מעולם לא היה כוחות-על עבור המעטים. הוא היה תחכום מונגש עבור הרבים. זו רצפה שמגינים עליה בשכבות מתועדות, לא בהנחיית סירוב וכוונות טובות.
נכנסתי לעבודה הזו מתוך ציפייה לבנות דרך חכמה למחוק ידע מסוכן ממודל. יצאתי משוכנע שכל המסגור היה שגוי — שאין מנצחים בביו-ביטחון על ידי יצירת מודל שאי אפשר לעשות בו שימוש לרעה, כי מודל כזה אינו קיים. מנצחים על ידי בניית מערכת שבה כל שכבה מניחה שהאחרות יובסו, ושומרים על התיעוד. אם אתם מריצים היום צינור כימיה או ביולוגיה גנרטיבית והתשובה הכנה ל"מהי מסגרת הבקרה שלכם" היא קובץ תצורה והנחיית סירוב, זו אינה תנוחת בטיחות. זהו סימן בודד הממתין שיהפכו אותו — ואתם יכולים לראות בדיוק כיצד נראית במקום זאת מערכת שכבתית.
