הרכב האוטונומי ראה אותה 5.6 שניות לפני הפגיעה — ועדיין לא הצליח להחליט מה היא

ישבתי בחדר ישיבות בסוף 2023 וצפיתי בסרטון שישנה לנצח את האופן שבו אני חושב על בטיחות AI. הצילום היה מרובוטקסי של Cruise בסן פרנסיסקו. הולכת רגל נפגעה ממכונית שנהג בה אדם, נזרקה אל נתיב הרכב האוטונומי ונלכדה מתחתיו. הרובוטקסי עצר — לרגע קצר — ואז החל לסטות אל צד הדרך, כשהוא גורר את האישה 20 רגל על פני האספלט.

בחדר השתררה דממה. מישהו מהצוות שלי אמר: "המכונית חשבה שהייתה לה תאונת פגיעה צידית." והמשפט הזה — המכונית חשבה — הפך לזרע של כל מה שאנחנו בונים ב-Veriprajna מאז.

כי המכונית לא "חשבה" כלום. היא הריצה תת-שגרת סיווג, קיבלה את התשובה השגויה, וביצעה תמרון מתוכנת מראש שהפך תאונה שאפשר היה לשרוד לדבר גרוע בהרבה. לא הייתה שם שום הסקה. שום מודעות. שום ארכיטקטורת בטיחות שיכולה לתפוס אבחון שגוי קטסטרופלי לפני שהוא הופך לקטסטרופה.

זה הפער שאני מנסה שוב ושוב להסביר למשקיעים, ללקוחות ולעמיתים מהנדסים: המרחק בין AI שמתפקד היטב בהדגמות לבין AI שמתנהג בבטחה כשהעולם מפסיק לשתף פעולה. התחלתי לקרוא לזה הפער שבין תפיסה להיגיון — המרחב בין מה שמערכת אוטונומית רואה לבין מה שהיא באמת מבינה. וכרגע, הפער הזה הורג אנשים.

מה קרה כשהיו ל-AI כמעט שש שניות והוא עדיין נכשל?

תאונת Uber ATG בטמפי, אריזונה, במרץ 2018 היא המקרה שאליו אני חוזר לרוב, כי הוא ההמחשה הצרופה ביותר לאופן שבו מערכת הסתברותית יכולה להחזיק בכל הנתונים שהיא צריכה ועדיין לעשות טעות קטלנית.

חיישני הרכב קלטו לראשונה את איליין הרצברג — הולכת רגל שדחפה אופניים על פני כביש חשוך — כ-5.6 שניות לפני הפגיעה. במהירות של 43 מייל לשעה, זה מרחק של כ-378 רגל. יותר ממספיק לכל מערכת בלימה כשירה כדי לעצור את הרכב.

אבל ה-AI לא הצליח להחליט במה הוא מסתכל. במהלך אותן 5.6 שניות, מערכת התפיסה סיווגה מחדש את הרצברג שוב ושוב: תחילה כ"עצם לא ידוע", אחר כך כ"רכב", ואז כ"אופניים". כל סיווג מחדש לא היה רק שינוי תווית — הוא היה איפוס מלא של המסלול החזוי של העצם. המערכת פיתחה למעשה שכחון בכל פעם שהיא שינתה את דעתה.

אני זוכר את הפעם הראשונה שקראתי את דוח ה-NTSB ואת תחושת הבחילה הפיזית שאחזה בי. לא בגלל התוצאה — אף שהיא הייתה הרסנית — אלא בגלל המנגנון. ה-AI קבע שנדרשת בלימת חירום רק 1.3 שניות לפני הפגיעה. הפיזיקה הפכה את השאר לבלתי נמנע.

AI שמסוגל לראות מכשול במשך כמעט שש שניות ועדיין לא מצליח להחליט מהו — אין לו בעיית חיישנים. יש לו בעיית ארכיטקטורה.

מה שהחמיר את המצב — מה שהכעיס אותי, למען האמת — היה לגלות ש-Uber ניטרלה במכוון את מערכת מניעת ההתנגשויות של ה-Volvo XC90 המותקנת מהמפעל. הרכב הגיע עם בלימת חירום אוטומטית מהיצרן. Uber כיבתה אותה כדי למנוע את מה שהם כינו "התנהגות רכב הפכפכה". הם רצו נסיעה חלקה יותר עבור התוכנה הניסיונית שלהם, אז הם הסירו את שכבת הבטיחות הדטרמיניסטית האחת שאולי הייתה מצילה חיים.

ההחלטה הזו רודפת את התעשייה הזו. זהו החטא הקדמון של התייחסות לבטיחות AI כאל בעיית כיוונון ולא כאל דיסציפלינה הנדסית.

למה אותו כשל חוזר על עצמו שוב ושוב במכוניות שונות?

אחרי תאונת Uber ציפיתי שהתעשייה תלמד. באופן ספציפי, ציפיתי שחברות יבנו ארכיטקטורות שבהן כשל תפיסה לא יוכל להתגלגל לכשל החלטה. שבהן יהיו גבולות בטיחות קשיחים ששום תוכנה ניסיונית לא תוכל לעקוף.

במקום זאת, קיבלנו את Cruise.

האירוע מאוקטובר 2023 בסן פרנסיסקו היה שונה מזה של Uber בפרטיו אך זהה לו בארכיטקטורה שלו. Nissan שנהג בה אדם פגעה בהולכת רגל וזרקה אותה אל נתיב של רובוטקסי של Cruise. רכב ה-Cruise פגע בה ועצר. עד כאן, המערכת עבדה — לא בצורה מושלמת, אבל בתוך הפרמטרים.

ואז נכנס לפעולה ההיגיון שלאחר הפגיעה. זיהוי הפגיעה של המערכת לא היה מפורט מספיק כדי להבחין בין דריסה חזיתית לבין התנגשות בפגיעה צידית. היא סיווגה את האירוע כפגיעה צידית. והתגובה המתוכנתת מראש לפגיעה צידית הייתה: לסטות אל צד הדרך כדי לא לחסום את התנועה.

המכונית סטתה הצידה. עם אדם לכוד מתחתיה. היא גררה אותה 20 רגל במהירות של כ-7 מייל לשעה לפני שזיהתה "החלקת גלגלים מוגזמת" — שאותה פירשה כתקלה מכנית, לא כאדם.

ביליתי שבוע אחרי האירוע ההוא בוויכוח עם הצוות שלי על מה הייתה צריכה להיות ארכיטקטורת התגובה הנכונה. אחד המהנדסים שלנו — בחור מבריק, מאוד מכוון-שיטות-פורמליות — התעקש שוב ושוב שהבעיה פתירה באמצעות מיזוג חיישנים טוב יותר. "אם למערכת היה זיהוי תפוסה מתחת לשלדה," הוא אמר, "היא הייתה יודעת."

הוא צדק. אבל הוא גם פספס את הנקודה. הכשל העמוק יותר היה שלמערכת לא היה שום מושג של אי-ודאות לגבי האבחנה שלה עצמה. היא סיווגה את הפגיעה, ואז פעלה על פי הסיווג הזה בביטחון מלא. לא היה שום מצב ביניים של "אני לא בטוח מה קרה עכשיו, אז אני צריך לא לעשות כלום עד שאהיה בטוח." הארכיטקטורה לא אפשרה ספק.

לזה אני מתכוון כשאני מדבר על הפער שבין תפיסה להיגיון. זה לא רק עניין של לראות טוב יותר. זה עניין של לדעת מתי אתה לא יודע.

גם הטיוח היה חלק מהארכיטקטורה

מה שקרה אחרי אירוע הגרירה של Cruise היה כמעט מגלה טפח כמו האירוע עצמו. חקירות מצאו שההנהלה הבכירה הייתה "מקובעת על תיקון הנרטיב התקשורתי השגוי" במקום להיות שקופה מול הרגולטורים. עובדים הודו שהציגו לרגולטורים סרטון של התאונה בידיעה שתקלות בקישוריות האינטרנט מנעו לעיתים קרובות את הצגת חלק הגרירה.

בסופו של דבר Cruise שילמה קנס פלילי של 500,000 דולר על הגשת דיווחים כוזבים ל-NHTSA. רישיון ההפעלה שלה בקליפורניה נשלל.

אני מעלה את זה לא כדי להתנפל על Cruise, אלא כי זה חושף משהו מבני באופן שבו התעשייה מתייחסת לבטיחות. כשמערכת ה-AI שלך היא קופסה שחורה — כשאפילו המהנדסים שלך עצמך לא יכולים להסביר במלואו מדוע היא קיבלה החלטה מסוימת ברגע מסוים — הפיתוי לשלוט בנרטיב במקום לתקן את הארכיטקטורה נעשה בלתי ניתן לעמוד בפניו.

שקיפות איננה אסטרטגיית יחסי ציבור עבור רכבים אוטונומיים. היא דרישה טכנית. אם אינך יכול לבקר כל החלטה שה-AI שלך קיבל במשבר, אין לך מערכת בטיחות — יש לך חבות.

ב-Veriprajna הפכנו ביקורות בטיחות ניתנות להסבר לחלק מרכזי מעבודת הארכיטקטורה שלנו. כל החלטה שה-AI מקבל, במיוחד לאחר פגיעה, נרשמת בפורמט דטרמיניסטי ובלתי ניתן לשיבוש שרגולטורים יכולים לבקר בזמן אמת. לא כי אנחנו מוסריים יותר מ-Cruise — אלא כי ראינו מה קורה כשהחלופה היא "שהסרטון ידבר בעד עצמו".

כתבתי על המסגרת הטכנית המלאה שמאחורי הגישה הזו — ראו את הנייר הלבן האינטראקטיבי שלנו, כולל מצבי הכשל הספציפיים שתיעדנו מ-Uber, מ-Cruise, מ-Tesla ומ-Waymo.

מה באמת אומר ההימור של Tesla על "ראייה בלבד" לגבי בטיחות?

הגישה של Tesla לנהיגה אוטונומית שונה פילוסופית מזו של Uber או Cruise, וגם הכשלים שונים. אבל הם מתחרזים.

מערכת ה-Full Self-Driving של Tesla נשענת כולה על מצלמות — ללא LiDAR, ללא מכ"ם. אילון מאסק כינה את ה-LiDAR "קב". ההימור הוא שרשתות נוירונים מתקדמות מספיק יכולות לשחזר הבנה תלת-ממדית מלאה של העולם מתמונות דו-ממדיות בלבד, כפי שהראייה האנושית עושה.

זה רעיון אלגנטי. אני אפילו מוצא אותו משכנע מבחינה אינטלקטואלית. אבל ה-NHTSA פתחה למעלה מ-40 חקירות בתאונות הקשורות ל-FSD בין 2024 ל-2025, המכסות 2.9 מיליון כלי רכב, והתבנית מרשיעה.

שמונה עשרה תלונות נפרדות מערבות רכבים שעוברים באור אדום או שאינם מזהים את מצב הרמזור. דיווחים רבים מתארים מכוניות שנכנסות לנתיבי תנועה נגדיים. התנגשות קטלנית ב-2023 התרחשה בעת סנוור שמש על אספלט רטוב — תנאים שבהם יחס האות לרעש האופטי צונח מתחת למה שכל מערכת מצלמות יכולה לפרש באופן אמין.

אני קורא לזה תיאטרון יכולת: המערכת מתפקדת להפליא בתנאים אופטימליים, ויוצרת אשליה של כשירות שמתמוטטת בקצוות. יום שמשי, כביש פנוי, צומת סטנדרטי? ללא רבב. זווית שמש נמוכה, כביש רטוב, חציית הולך רגל חריגה? המערכת לא מתדרדרת בצורה מבוקרת. היא נכשלת בבת אחת.

הבעיה איננה שראייה בלבד לא יכולה לעבוד בתיאוריה. הבעיה היא ש-Tesla פורסת אותה בקנה מידה גדול ללא מה שהייתי מכנה שערי הבטחה — גבולות קשיחים שמונעים מה-AI לקבל החלטות בעלות סיכון גבוה כשרמת הביטחון שלו צונחת מתחת לסף מאומת. אם רוויית הסנוור עולה על אחוז מסוים, המערכת צריכה לסרב לנהוג, לא לנחש חזק יותר.

איך מוכיחים ש-AI לא יהרוג מישהו?

זו השאלה שמדירה שינה מעיניי. לא במובן המטאפורי — פשוטו כמשמעו. הייתה תקופה בשנה שעברה שבה הרצתי ניסויי אימות פורמלי עד 2 לפנות בוקר, בניסיון למצוא את הגבול בין "נבדק מספיק" לבין "הוכח כבטוח".

בדיקות תוכנה מסורתיות הן קופסה שחורה: מריצים את המערכת דרך N תרחישים, ואם היא עוברת את כולם, משחררים אותה. אבל רכבים אוטונומיים אינם נתקלים ב-N תרחישים. הם נתקלים בעולם הפיזי כולו, על כל הכאוס שבו, מקרי הקצה ובני האדם שעושים דברים בלתי מוסברים. שום כמות של בדיקות תרחישים לא יכולה לכסות את המרחב הזה.

אימות פורמלי נוקט גישה שונה. במקום לשאול "האם המערכת עברה את הבדיקות האלה?", הוא שואל "האם קיים איזשהו קלט שעלול לייצר פלט לא בטוח?" כלים כמו Marabou ו-α,β-CROWN יכולים לייצג רשת נוירונים כאוסף של אילוצים מתמטיים ואז לחפש — באופן ממצה — הפרות.

תכונת בטיחות עשויה להיראות כך: עבור כל קלט אפשרי בתוך טווח של "ראות נמוכה", פקודת הבלימה לעולם לא תרד מתחת לסף מינימלי. אם הפותר מוצא דוגמה נגדית — קלט ספציפי שמפר את התכונה — זיהית פגיעוּת לפני שהיא הורגת מישהו.

לילה אחד הרצנו אימות על מודל תפיסה והפותר החזיר דוגמה נגדית שאיש מאיתנו לא צפה. שילוב מאוד ספציפי של זווית תאורה ומרחק עצם שגרם לביטחון הבלימה לצנוח כמעט לאפס. זה לא היה תרחיש שאיש מאיתנו היה חושב לבדוק. הפותר מצא אותו כי הוא לא ניחש — הוא הוכיח.

הרגע הזה גיבש אצלי משהו. בדיקות שואלות "האם זה עובד?" אימות שואל "האם זה יכול להיכשל?" אלה שאלות שונות מהיסוד, ו-AI קריטי לבטיחות דורש את השנייה.

בדיקות אומרות לך מה ה-AI שלך עושה. אימות אומר לך מה הוא לעולם לא יכול לעשות. עבור מערכות קריטיות לבטיחות, רק השאלה השנייה חשובה.

המלכוד הוא שרשתות נוירונים נוכחיות הן עצומות — מיליוני פרמטרים — ואימות ממצה של רשתות גדולות אינו בר-ביצוע מבחינה חישובית. אנחנו מתמודדים עם זה באמצעות גיזום נוירונים: הסרה שיטתית של נוירונים מיותרים שאינם תורמים לדיוק אך הופכים את הרשת למורכבת מכדי לאמת אותה. התוצאה היא מודל רזה יותר שהוא גם ביצועי וגם ניתן להוכחה מתמטית.

לפירוט הטכני המלא של צינור האימות שלנו — כולל מתודולוגיית פותר ה-SMT וגישת הגיזום — ראו את מאמר המחקר המפורט שלנו.

כשהבעיה איננה ה-AI — אלא העולם

Waymo צברה למעלה מ-56 מיליון מייל ויש לה שיעורי פציעות נמוכים משמעותית מאלה של נהגים אנושיים. לפי רוב המדדים, היא המובילה בתעשייה. ועם זאת, Waymo חשפה מצב כשל שאיש בתעשיית הרכב האוטונומי לא היה מוכן אליו: העולם עצמו מסרב לשתף פעולה.

במהלך הפסקת חשמל ב-2025 בלוס אנג'לס, עשרות רובוטקסי של Waymo נתקעו בצמתים חשוכים. הרכבים תוכנתו להתייחס לרמזורים מתים כאל צמתי עצור לארבעה כיוונים — התגובה החוקית הנכונה. אבל כשעשרות רכבים אוטונומיים מגיעים כולם לאותו צומת מת, כל אחד ממתין בנימוס לתורו וכל אחד מבקש סיוע אנושי מרחוק בו-זמנית, מקבלים משהו שהתחלתי לקרוא לו מלכודת העצמאות: כל רכב מתנהג נכון בבידוד, בעוד שיחד הם יוצרים פקק שאף רכב בודד אינו יכול לפתור.

מרכז הסיוע מרחוק הוצף. רובוטקסי חסמו רובוטקסי אחרים. המערכת שעבדה בצורה מושלמת עם מכונית אחת בצומת אחד קרסה כשהורחבה לצי שלם בשעת חירום עירונית.

ואז יש את הבעיה שאיש לא רוצה לדבר עליה בפומבי. במהלך אי-שקט אזרחי בלוס אנג'לס בתחילת 2025, המונים תקפו רכבי Waymo — חתכו צמיגים, שברו חלונות, הציתו מכוניות. הרכבים, שתוכנתו ל"בטיחות פסיבית", פשוט עצרו כשהוקפו באנשים. וזו בדיוק התגובה השגויה כשהאנשים שמקיפים אותך מנסים להשמיד את הרכב על נוסעיו.

זה הוביל לדיונים רציניים על מה שחוקרים מסוימים מכנים "מצב מילוט מסכנה" — היכולת של רכב אוטונומי לבצע עבירות תנועה קלות (עלייה על מדרכה, נסיעה באור אדום) כדי להגן על נוסעיו מפני אלימות. זה מחייב חשיבה מחדש מהיסוד על ההיררכיה האתית של ה-AI, וזו בעיה ששום חיישנים טובים יותר או מעבדים מהירים יותר לא יכולים לפתור.

העליתי את זה בפגישה עם לקוח פוטנציאלי, ומישהו אמר: "אי אפשר פשוט להשתמש ב-GPT כדי לטפל במקרי קצה כאלה?" אני חושב שההבעה שלי אמרה יותר מהמילים שלי. זו בעיה של ארכיטקטורת החלטה שדורשת הסקה אתית פורמלית, לא צ'אטבוט.

למה אי אפשר פשוט להגיע לבטיחות באמצעות בדיקות?

אנשים שואלים אותי את זה כל הזמן. "אם ל-Waymo יש 56 מיליון מייל של נתונים, זה לא מספיק בדיקות?"

לא. והסיבה היא מתמטית, לא פילוסופית.

מרחב תרחישי הנהיגה האפשריים הוא אינסופי למעשה. אפשר לנסוע 56 מיליון מייל ולעולם לא להיתקל בשילוב הספציפי של סנוור שמש, אספלט רטוב והולך רגל לבוש באופן חריג שגורם למערכת התפיסה שלך להיכשל. מקרי קצה אינם גרסאות נדירות של תרחישים נפוצים — הם תרחישים שקיימים בפערים שבין כל מה שכבר ראית.

זו הסיבה שהנוף הרגולטורי עובר מ"הראו לנו את תוצאות הבדיקות שלכם" ל"הראו לנו את הוכחות הבטיחות שלכם". תקן ISO 21448, המוכר בשם SOTIF — Safety of the Intended Functionality — תוכנן במיוחד כדי לטפל בסיכונים המתרחשים כאשר ה-AI עובד בדיוק כפי שתוכנת אך נתקל בסביבה שאינו יכול להתמודד איתה. זה לא עניין של כשל חומרה. זה עניין של המגבלות המובנות של ה-AI שפוגשות את העולם האמיתי.

ותקן ISO/PAS 8800, שהפך לתקן העיקרי ל-AI ברכבי כביש בסוף 2024, הולך רחוק יותר: הוא דורש ניהול של מחזור החיים המלא של ה-AI, מרכישת נתונים ועד ניטור לאחר הפריסה. עידן ה"שחררו וראו מה קורה" מגיע לסופו, לפחות עבור חברות שרוצות לפעול באופן חוקי באיחוד האירופי, בארה"ב ובשווקים האסייתיים המרכזיים.

ב-Veriprajna אנחנו בונים את העבודה שלנו סביב העברת לקוחות אל מה ש-SOTIF מכנה הרביע "ידוע/בטוח" — זיהוי שיטתי של תנאים מפעילים, מיפוי מצבים סביבתיים שגורמים לשגיאות תפיסה, ושימוש בסימולציה בנאמנות גבוהה כדי להזריק מקרי קצה שיהיה מסוכן מדי לבדוק בכבישים אמיתיים.

ההבדל האמיתי בין עטיפה לבין פתרון

ביליתי את השנים האחרונות בצפייה בתעשיית ה-AI מתפצלת לשני מחנות, והפיצול רק הולך ומתרחב.

מצד אחד יש את כלכלת העטיפות — חברות שבונות ממשקי שיחה על גבי מודלי שפה גדולים, ומייעלות למהירות פריסה ולחוויית משתמש. חלק מהעבודה הזו באמת שימושי. רובה לא רלוונטי ליישומים קריטיים לבטיחות.

מצד שני יש את מה שאני מכנה הנדסת AI עמוקה: השילוב של אימות פורמלי, חוסן במיזוג חיישנים וארכיטקטורות בטיחות דטרמיניסטיות. זה איטי יותר. זה קשה יותר. זה פחות מרשים בהדגמות. וזו הגישה היחידה ששורדת מגע עם העולם הפיזי.

הליבה הטכנית של השינוי הזה היא תפיסת Bird's-Eye-View עם רשתות תפוסה. במקום לעבד פידים נפרדים ממצלמות ולנסות לתפור אותם יחד — תהליך שמאבד נתונים בכל תפר — תפיסת BEV הופכת נתוני מצלמה מרובת-מבטים ו-LiDAR לסריג תלת-ממדי מאוחד הנצפה מלמעלה. ובמקום לשאול "מהו העצם הזה?", רשתות תפוסה שואלות "האם המרחב הזה תפוס?"

ההבחנה הזו חשובה עד מאוד. אילו מערכת Uber ATG הייתה עוקבת אחר מרחב תפוס במקום לנסות לסווג עצמים, לא היה משנה אם המערכת חשבה שהרצברג היא הולכת רגל, אופניים או עצם לא ידוע. המרחב היה תפוס. המרחב היה בנתיב הרכב. לבלום.

באופן דומה, אילו רכב ה-Cruise היה מריץ זיהוי תפוסה מתחת לשלדה שלו, הוא היה יודע שמשהו נמצא מתחת למכונית ללא קשר לאופן שבו סיווג את הפגיעה. המרחב התפוס היה גובר על תמרון הסטייה לצד הדרך.

השאלה איננה "מהו העצם הזה?" — אלא "האם המרחב הזה תפוס?" מסגור מחדש אחד בלבד יכול היה למנוע את שתי הקטסטרופות הידועות לשמצה ביותר של רכבים אוטונומיים בעשור האחרון.

אנחנו משתמשים בארכיטקטורות Transformer — אותה טכנולוגיה בסיסית שמאחורי GPT — אבל לא לשיחה. אנחנו משתמשים בהן כמנועי הסקה מרחבית שממזגים נתוני חיישנים הטרוגניים למה שאנחנו מכנים קנבס משותף. תשומת לב עצמית טמפורלית מאפשרת למערכת לזכור היכן היה עצם גם במהלך הסתרות זמניות — הולכת רגל שהולכת מאחורי משאית חונה לא נעלמת מהמודעות של המודל רק בגלל שהמצלמות לא רואות אותה במשך שתי שניות.

לקח ה-8.5 מיליון דולר

הפשרה של Uber ATG הייתה 8.5 מיליון דולר. הקנס הפלילי של Cruise היה 500,000 דולר — מספר שאפילו לא מתחיל לתת דין וחשבון על השבתת הפעילות, על הנזק התדמיתי או על הסבל האנושי. חקירת ה-NHTSA בעניין Tesla מכסה 2.9 מיליון כלי רכב. העלות הממוצעת העולמית של דליפת נתונים בודדת עומדת כיום על 4.44 מיליון דולר.

כשאני מחבר את המספרים האלה, המסקנה לא נוחה למחנה ה"לזוז מהר ולשבור דברים": עטיפת ה-AI הזולה היא הטעות היקרה ביותר שארגון יכול לעשות. לא כי היא לא עובדת — היא עובדת בסדר גמור בסביבות מבוקרות. אבל ברגע שהיא נתקלת בעולם הבלתי מבוקר — הכביש החשוך, הבלבול שאחרי הפגיעה, סנוור השמש על אספלט רטוב, ההמון הזועם — היעדרה של ארכיטקטורת בטיחות דטרמיניסטית הופך מגבלה תוכנתית לקטסטרופה אנושית.

לפעמים אנשים מתנגדים לגישה שלנו ואומרים שאימות פורמלי איטי מדי, יקר מדי, אקדמי מדי ללוחות זמנים של פריסה בעולם האמיתי. אני מבין את ההתנגדות. אימות יקר מבחינה חישובית. גיזום רשתות לצורך יכולת אימות לוקח זמן. בניית ארכיטקטורות בטיחות עם שערי הבטחה קשיחים היא עבודה רבה יותר מעטיפת API.

אבל הייתי מבקש מהאנשים האלה לצפות בסרטון הגרירה של Cruise. לקרוא את דוח ה-NTSB על מותה של איליין הרצברג. להסתכל על 18 התלונות על מעבר באור אדום בחקירת ה-FSD של Tesla. ואז לומר לי ש"איטי מדי" היא ביקורת תקפה על גישה שנועדה למנוע בדיוק את התוצאות האלה.

עידן בניית המערכות האוטונומיות על תקווה הסתברותית מגיע לסופו. לא כי הרגולטורים כופים זאת — אף שהם עושים זאת — אלא כי הפיזיקה של העולם האמיתי דורשת זאת. מערכת AI שחוצה אלף צמתים בשלמות ואז עוברת באור אדום בצומת האלף ואחד איננה בטוחה ב-99.9%. היא לא בטוחה, נקודה. בטיחות אינה אחוז. היא תכונה — כזו שמתקיימת בכל התנאים המאומתים או שאינה מתקיימת כלל.

זה השינוי שסביבו אני בונה את Veriprajna. לא עטיפות טובות יותר. לא הדגמות מהירות יותר. הבטחה דטרמיניסטית למערכות שבהן כישלון אינו דוח באג — הוא ספירת גופות.