מודל מושלם לא יכול לעצור את המעבדה האוטונומית מלהריץ סינתזה אבודה. בניתי את השער שעושה זאת.
חוקרים שרואים את מה שאנחנו בונים שואלים אותי שוב ושוב את אותה השאלה, ובמשך זמן רב עניתי עליה בדיוק כפי שהם רצו שאענה. "מהו מכפיל יעילות הדגימה שלכם?" כמה פחות ניסויים הלולאה שלכם צריכה בהשוואה לסריקה בכוח גס (brute-force)? זו שאלה הוגנת. זוהי גם, כפי שהגעתי למסקנה, השאלה הלא נכונה לפתוח איתה, ולא הבנתי מדוע עד שישבתי וצפיתי ברובוט מדומה מתחייב בעליזות למתכון שהיה מתחמצן באוויר עוד לפני שהספיק לסיים את הערבוב.
שמי אשוטוש (Ashutosh), ואני מנהל את Veriprajna. אנחנו בונים את המוח, שער הבטיחות ושכבת העקיבות והמקוריות (provenance) עבור מעבדות בנהיגה עצמית, על גבי החומרה שכבר שייכת למעבדה. לא מתקן רובוטי מארח. לא תחליף למכשירים שקבוצת חומרים השקיעה עשור ברכישתם. שכבת התוכנה הדקה ונושאת-העומס שמחליטה מה להריץ הלאה, מסרבת לניסויים שנידונו לכישלון, ושומרת את סוג התיעוד שרגולטור דורש. הדמו הזה, שתוכלו לפתוח ולהתנסות בו בעצמכם בכתובת veriprajna.com/he/demos/autonomous-lab-ai, הוא המקום שבו הוכחתי לעצמי שהשכבה, ולא המודל, היא המוצר.
המספר שכולם שואלים אותי עליו הוא המספר הלא נכון
ביליתי את החודש הראשון של פיתוח זה במרדף אחר המכפיל, כי זה מה שהתחום מתגמל. השיח כרגע סביב מעבדות בנהיגה עצמית הוא מרוץ אחר מודל חליפי (surrogate) טוב יותר ויחס אופטימיזציה בייסיאנית מול סריקה גדול יותר. אני מבין את זה. זהו מספר נקי שקל לצטט. ביעד הנסתר שלנו, הלולאה הסגורה מגיעה לחומר שעומד במפרט תוך 75 ניסויים שבהם סריקה אקראית הייתה זקוקה לכ-1,491, מה שלוח המחוונים מדווח כפי 19.9 פחות. זוהי תוצאה אמיתית על גבי קו בסיס אמיתי שניתן לשחזור, ואני שמח שהיא שם.
אבל הנה הדבר שעצר אותי. מודל חליפי מושלם, כזה שחוזה כל תכונה ללא רבב, עדיין אינו יכול לעצור סינתזה ללא איזון מטענים מלרוץ. הוא אינו יכול לסרב להרכב שיתחמצן במגע עם אוויר לח. הוא אינו יכול להפיק רשומה שרגולטור תרופות יקבל. והוא אינו יכול, בפני עצמו, לסגור את הלולאה. המודל הוא החלק שעליו כולם מתחרים, והוא החלק שמחזיק בערך הפחות בר-קיימא, משום שברגע שהמודל שלכם טוב, הבעיה שלכם אינה עוד חיזוי. היא שליטה, בטיחות והוכחה.
מודל טוב יותר אינו הופך מעבדה אוטונומית לאמינה. הוא הופך אותה למהירה יותר בהרצת ניסויים שעדיין אינכם יכולים להוכיח שהיה עליכם להריץ.
ה-A-Lab של ברקלי (Berkeley's A-Lab), אחד ממיזמי הסינתזה האוטונומית המצוטטים ביותר שיש לנו, דיווח על שיעור הצלחה של 71%, כלומר כ-29% מניסיונותיו לא הניבו את היעד (A-Lab, Nature, 2023). קראו את המספר הזה כפי שמנהל מעבדה קורא אותו. כמעט שליש מזמן הרובוט והריאגנטים הושקע בניסויים שלא הניבו דבר. פונקציית רכישה (acquisition function) טובה יותר אינה פותרת את זה. משהו אחר חייב לעשות זאת.
כמה באמת עולה ניסוי שנידון לכישלון?
את השער בניתי שני, והתברר שזה היה הדבר שהייתי צריך לבנות ראשון. הוא יושב מחוץ לסוכנים, בקוד דטרמיניסטי, וכל מועמד שהאופטימייזר מציע חייב לעבור דרכו לפני שנוגעים בריאגנט בודד. הוא מריץ חמש בדיקות, וכל אחת מהן היא כימיה מפורסמת בספרות, ולא היוריסטיקה שהמצאתי: גורם הסבילות של גולדשמידט (Goldschmidt tolerance factor) מחוץ לחלון כושר ההיווצרות של פרובסקיט, גורם אוקטהדרלי (octahedral factor) מחוץ לחלון האוקטהדרות היציבות, ניטרליות מטענית שהופרה עקב החלפה לא מפוצה באתר B, סיכון חמצון Sn(II) בלחות התהליך, וחישול מעל הטמפרטורה שבה הפרקורסורים האורגניים מתפרקים. אם מועמד מפעיל אחת מהן, השער מחזיר BLOCKED, מציין את הכלל, ומדווח על הכסף ושעות הרובוט שהוא הרגע חסך.
בפעם הראשונה שלחצתי על אחד הכרטיסים החסומים הללו, הרגשתי שהטיעון הוכרע. הביטו במה שהלוח מציג. הרכב עשיר ב-Sn(II), בלחות התהליך, שהתאום הדיגיטלי מסרב לו מכיוון שבדיל במצב חמצון זה מתחמצן באוויר לח. זו אינה תחזית גרועה שהמודל היה צריך לתפוס. זוהי עובדה פיזיקלית שהמודל מעולם לא היה הכלי הנכון לאכוף אותה. השער חסך 105 דולר וקצת יותר משעתיים רובוט על המועמד הבודד הזה, וכתב קבלה על ההחלטה. הכפילו זאת על פני קמפיין שלם וכבר אינכם מדברים על תוספת נחמדה. אתם מדברים על דליפה של 29%, שנסגרה בכוונה תחילה.
אני רוצה לדייק לגבי מה שזה, מכיוון שהמסגור הכן חשוב לי יותר מהמרשים. ה"מעבדה" שמאחורי השער הזה היא סימולטור עם ממשק במבנה SiLA-2, והיעד הוא מבחן ביצועים סינתטי בעל הנעה פיזיקלית, לא DFT אמיתי ולא נתוני מעבדה אמיתיים. אינני טוען שסינתזנו חומר. אני טוען שהמנגנון, הסירוב הדטרמיניסטי לכימיה שנידונה לכישלון, הוא אמיתי, ניתן לבדיקה ואינו תלוי במידת האיכות של מודל כלשהו.
ניסיתי לתת למודל לפקח על עצמו. הוא שיקר לי בלי למצמץ.
לא התחלתי מתוך אמונה שהשער חייב להיות דטרמיניסטי. האינסטינקט הראשון שלי, בכנות, היה האופנתי: לתת לסוכני מודל השפה להסיק מסקנות לגבי היתכנות. היה לי סוכן מנהל מעבדה (Lab Director agent) שתיאר אסטרטגיה וסוכן מבקר (Critic agent) שסימן סטיות, ונראה אלגנטי פשוט לשאול אותם, למעשה, "האם המועמד הזה בטוח והגיוני?" אז במשך אחר צהריים אחד נתתי לשיקול הדעת של המודל להחליף את הבדיקה.
הוא מצא רציונליזציה להרכב ללא איזון מטענים. בביטחון מלא. הוא סיפק לי פסקה רהוטה על הסיבה לכך שההחלפה באתר B כנראה בסדר, והפסקה הייתה שגויה, ושום דבר בנימה שלו לא רמז לי שהיא שגויה. זה היה אחר הצהריים שבו עקרון התכנון חדל להיות סיסמה והפך לכלל שלא אתפשר עליו.
סוכנים מייעצים, קוד מחליט. במעבדה בנהיגה עצמית זו אינה מגבלה. זוהי הדרך היחידה שבה אוטונומיה מרוויחה את הזכות לפעול ללא השגחה.
לכן העברתי את החלטת ההיתכנות והבטיחות לצמיתות אל מחוץ לסוכנים ואל תוך קוד דטרמיניסטי, והפכתי גם את האופטימייזר לבלתי תלוי במודל השפה. הסוכנים מקריינים ומבקרים, ואם תריצו את הדמו ללא מפתח API הם נסוגים לקריינות דטרמיניסטית והכול עדיין עובד, משום שהשער והאופטימייזר לעולם אינם תלויים במודל כלל. האופטימייזר עצמו אינו אקזוטי, ואני מעדיף להיות כן מאשר מרשים לגביו: זהו מודל חליפי של תהליך גאוסיאני (Gaussian-process) עם פונקציית רכישה של ParEGO מכוונת יעד, שנכתב ב-numpy וב-scipy. שיטה בוגרת, באופן מכוון לא מצועצעת. ההחלפה בסביבת ייצור היא BoTorch ו-Ax. הנקודה מעולם לא הייתה אופטימייזר מתוחכם. הנקודה הייתה שהחלק שאתם מפקידים בידיו את הבטיחות אינו יכול להיות החלק שמדבר בפסקאות בטוחות בעצמן.
לוח התוצאות שבאמת אכפת לי ממנו
אני מסתכל על לוח התוצאות הזה אחרת כיום מכפי שהסתכלתי כשהתחלתי. העיניים של כולם נמשכות לנתון של פי 19.9, והוא באמת טוב. אבל המספר שאני מצביע עליו כאשר מנהל מחקר ופיתוח שואל מה אנחנו בעצם משנים נמצא משבצת אחת לידו: 38 מועמדים בלתי ישימים נחסמו לפני סינתזה, בזבוז של 4,419 דולר בריאגנטים ו-90.1 שעות רובוט נמנעו, ואפס ניסויים שנידונו לכישלון הוצאו לפועל. באותו יעד נסתר בדיוק, סריקה אקראית לא רק לקחה יותר זמן. היא הייתה שורפת את כל זה.
המכפיל הופך לפחות מרשים ככל שהמודלים של כולם משתפרים. הבזבוז שהשער מונע, והתיעוד שהוא שומר, רק הופכים לבעלי ערך רב יותר.
שימו לב מה הלולאה לא עשתה. היא לא טענה לשלמות. לאורך מבחן הביצועים מרובה-הגרעינים (multi-seed), הלולאה הסגורה פתרה 9 מתוך 10 הרצות במסגרת התקציב, לא 10 מתוך 10, והלולאה סופגת שיעור של 10 עד 15 אחוזים של כשלי רובוט מוזרקים מכיוון שרובוטים אמיתיים נכשלים והעמדת פנים אחרת הייתה הופכת את הדמו לשקר. אחת הרשומות בנתיב הביקורת (audit trail) היא סינתזה שנכשלה ונלכדה כנתונים שליליים, משום שמעבדה בנהיגה עצמית שמשליכה את הכשלים שלה זורקת בדיוק את המידע שמחדד את הגבול. שמרתי על זה גלוי בכוונה.
ולמכפיל יש היקף שלא אתן לאיש להפשיט ממנו. תוצאת ה-75 לעומת 1,491, ה-פי 19.9, ה-4,419 דולר, כולם אופטימיזציה בייסיאנית מול קווי בסיס ביעד סינתטי נסתר אחד. זוהי ראיה תומכת לכך שהמנוע עובד. זוהי אינה ערובה לעולם פתוח (open-world guarantee), ואם הלולאה הייתה נכשלת בהבסת קווי הבסיס, הייתי מדווח על כך במקום. הערך שאני פותח איתו, מניעת בזבוז ועקיבות מקוריות, תקף בכל רמת איכות של מודל. המכפיל הוא החלק שתלוי במבחן הביצועים, ולכן הוא החלק שאני מקפיד להצמיד אליו את ההסתייגות.
האם רגולטור היה מאמין לרובוט שלכם?
לא ציפיתי ששכבת העקיבות (provenance) תהיה החלק שישכנע אנשים, אבל היא זו שפוגעת הכי חזק אצל כל מי שעובד תחת פיקוח רגולטורי. מסמך "העקרונות המנחים ל-AI בפיתוח תרופות" של ה-FDA וה-EMA לשנת 2026 דורש עקיבות ומקוריות שהן ניתנות לייחוס (attributable) ובו-זמניות (contemporaneous). במילים פשוטות: עבור כל החלטה אוטומטית, מי או מה קיבל אותה, על איזה בסיס, באיזה רגע, והאם אתם יכולים להוכיח שהרשומה לא שונתה מאז. מודל חליפי טוב יותר אינו מקרב אתכם אפילו בסנטימטר לזה. רשומה כן.
מעבדה בנהיגה עצמית שאינה יכולה להוכיח מה עשתה אמש אינה אוטונומית. היא חסרת אחריותיות, ושום מעבדה מפוקחת לא תריץ אותה פעמיים.
לכן כל החלטה שהמערכת מקבלת, הן סינתזה והן חסימה, הופכת לרשומת ALCOA+ מסוג הוספה בלבד (append-only): חותמת זמן, האלגוריתם שבחר, התכונות החזויות ואי-הוודאות שלהן, הרציונל, פסיקת השער והתוצאה שנמדדה. כל רשומה נושאת גיבוב SHA-256 המשורשר לזה שלפניה. לאורך קמפיין seed-411 זה הגיע ל-113 רשומות, 75 סינתזות ו-38 חסימות, ותוכלו לייצא את הכול כ-JSON וכדוח מעוצב.
כאן המקום שבו עליי להיזהר, ובו ראיתי אחרים טוענים טענות מופרזות. זוהי עקיבות ALCOA+ ממופה (mapped), והיא אינה מאומתת ב-IQ/OQ/PQ מול נוהל הפעלה תקני של לקוח. האימות הזה הוא מהות ההתקשרות, הוא אינו תיבת סימון שאני יכול לסמן בדמו. מה שאני יכול להראות לכם הוא שהתכונה הזו אמיתית וניתנת לבדיקה, ולא קישוטית. לכן בניתי מבחן חבלה (Tamper test) שעורך רשומה אחת ומריץ מחדש את בדיקת השרשרת.
בפעם הראשונה שהרצתי את הבדיקה הזו וצפיתי בה מדפיסה "Chain broken at record #2: tamper detected. The filed audit is provably altered," הבנתי מה בעצם בניתי. לא אופטימייזר מהיר יותר. שכבה שמאפשרת למעבדה להוכיח, בדיעבד, שההחלטות האוטונומיות שלה הן בדיוק מה שהתיעוד אומר שהיו. זהו הדבר שאינכם יכולים לקנות באמצעות מודל טוב יותר, וזה הדבר שרגולטור, מבקר או אתם בעצמכם בעתיד תבקשו.
מה שלדעתי חסר במרוץ המעבדות בנהיגה עצמית
לא התכוונתי לטעון נגד יעילות דגימה, ואני רוצה להבהיר שאינני עושה זאת. פחות ניסויים להשגת יעד זהו ערך אמיתי והלולאה שלנו מספקת אותו. מה שהגעתי להאמין בו, לאחר שבניתי את המערכת כולה וראיתי היכן האמון שלי באמת שוכן, הוא שהתחום ננעל על המספר האחד שהופך לפחות בר-קיימא ככל שהטכנולוגיה מבשילה. כאשר לכל קבוצה יש מודל חליפי טוב, המכפיל מפסיק להיות גורם מבדל. השער שמסרב לכימיה שנידונה לכישלון, והרשומה שמוכיחה מה רץ, רק הופכים לבעלי ערך רב יותר, מכיוון שהם החלקים שאוטונומיה זקוקה להם לפני שמישהו יאפשר לה לפעול ללא השגחה.
לכן המהלך המנוגד לקונצנזוס, זה שהייתי מהמר עליו בחיי החברה, הוא לשים את החלטת ההיתכנות והבטיחות בתוך קוד דטרמיניסטי, מחוץ לסוכנים, ולהתייחס לכל החלטה אוטומטית כאל משהו שחייבים להיות מסוגלים להוכיח מאוחר יותר. לא בגלל שמודלים הם רעים. אלא בגלל שהשאלות שמכריעות האם מעבדה בנהיגה עצמית מורשית לפעול במהלך הלילה אינן שאלות חיזוי. הן שאלות בטיחות ושאלות עקיבות מקוריות, ואלו דורשות קוד וגיבובים, לא פסקאות מלאות ביטחון עצמי.
תוכלו לפתוח את הלולאה, לחסום סינתזה שנידונה לכישלון, לשבור את שרשרת הביקורת בעצמכם, ולראות אם אתם מסכימים, בכתובת veriprajna.com/he/demos/autonomous-lab-ai.
ואם אתם מעדיפים לראות זאת במקום לקרוא את התיאור שלי, הנה המערכת כולה פועלת מקצה לקצה.
השאלה שאני ממשיך להרהר בה, וזו שבאמת הייתי רוצה לקבל עליה תשובה מכל מי שמריץ אוטומציה אמיתית: אם המעבדה שלכם הייתה מריצה הלילה אלף ניסויים ללא השגחה, לאיזה משני הדברים הללו הייתם שולחים יד בבוקר, למודל טוב יותר, או לרשומה שתוכלו להוכיח?
