ממודלים סטוכסטיים להבטחה דטרמיניסטית: מסגרת אסטרטגית לבינה מלאכותית קריטית לבטיחות

הנוף העכשווי של הבינה המלאכותית מפוצל כיום על ידי אי-הבנה יסודית של עומק טכני. בצד אחד של קו החלוקה הזה נמצאת ההתרבות המהירה של שכבות ממשק גנרטיביות—המאופיינות לעיתים קרובות כ"עוטפי" מודל שפה גדול (LLM)—המעדיפות פריסה מהירה ושוטפות שיחה. בצד הנגדי נמצאת הדיסציפלינה הקפדנית של הנדסת Deep AI, תחום המוגדר על ידי שילוב של אימות פורמלי, חוסן מיזוג חיישנים וארכיטקטורות בטיחות דטרמיניסטיות. עבור מנהיגים ארגוניים המנווטים במעבר זה, ההבחנה אינה עוד אקדמית בלבד. ככל שמערכות אוטונומיות עוברות מסביבות דיגיטליות לפריסות פיזיות בסיכון גבוה, מגבלות הגישות ההסתברותיות "מבוססות-עוטף" נחשפו בסדרת כשלים בולטים.

התקריות שבהן היו מעורבים Uber Advanced Technologies Group (ATG), GM Cruise, Tesla ו-Waymo משמשות כנתונים אמפיריים קריטיים לניתוח זה. אירועים אלה מייצגים יותר מתאונות מבודדות; הם אינדיקטורים מערכתיים לשבריריות ארכיטקטונית. ההסדר בסך $8.5 million שבו היה מעורב Uber ATG לאחר התאונה הקטלנית ב-Tempe ב-2018, שלילת רישיון ההפעלה של GM Cruise בקליפורניה ב-2023, והחקירות המתמשכות של המינהל הלאומי לבטיחות בתעבורה בדרכים (NHTSA) במערכת Full Self-Driving (FSD) של Tesla הם כולם תסמינים של "פער תפיסה-לוגיקה".1 דוח זה מנתח את הכשלים הללו כדי לבסס פרדיגמה חדשה לבינה מלאכותית קריטית לבטיחות—כזו שממקמת את Veriprajna לא כמקלה של ממשקים סטוכסטיים, אלא כספקית של אוטונומיה עמוקה וניתנת לאימות.

השבריריות הארכיטקטונית של תפיסה סטוכסטית: לקחים מ-Uber ATG

ההתנגשות במרץ 2018 ב-Tempe, אריזונה, שבה היה מעורב רכב ניסוי של Uber ATG, נותרת מקרי הבוחן היסודי בשבירות סיווג. בעוד שהנרטיב באותה עת התמקד בכבדות בהסחת דעתו של מפעיל הבטיחות האנושי, ממצאי המועצה הלאומית לבטיחות בתחבורה (NTSB) חשפו כשל עמוק בהרבה ביכולת התוכנה לשמור ייצוג יציב של העולם הפיזי.3

תנודת סיווג וכשל קביעות האובייקט

מערכת Uber ATG זיהתה לראשונה את הולכת הרגל, Elaine Herzberg, כ-5.6 שניות לפני הפגיעה.5 במהירות של 43 mph, הרכב היה כמעט 378 feet משם, וסיפק חלון מספיק למערכת בלימת חירום אוטומטית (AEB) סטנדרטית להתערב.7 אולם לוגיקת התפיסה של המערכת התאפיינה ב"תנודת סיווג". בשניות שקדמו לתאונה, התוכנה סיווגה מחדש שוב ושוב את הולכת הרגל—תחילה כ"אובייקט לא ידוע", אחר כך כ"רכב", ולבסוף כ"אופניים".6

כל סיווג מחדש לא היה רק שינוי תווית; הוא היה איפוס של מסלול האובייקט החזוי. במערכות הסתברותיות החסרות עקביות זמנית, הבינה המלאכותית מתייחסת לכל פריים או אשכול פריימים כאל אירוע כמעט-עצמאי. מכיוון שהמערכת לא יכלה להתייצב על זהות מתמשכת לאובייקט, היא לא יכלה לחשב חיזוי מסלול אמין עד שהיה מאוחר מדי. המערכת קבעה שבלימת חירום נדרשת רק 1.3 שניות לפני הפגיעה—נקודה שבה חוקי הפיזיקה הפכו התנגשות לבלתי נמנעת.3

חוב טכני והסרת יתירות בטיחות

רכיב קריטי בכשל Uber ATG היה השבתה מכוונת של מערכות הבטיחות המקוריות של הרכב. כדי למנוע "התנהגות רכב בלתי יציבה" ולספק נסיעה חלקה יותר למערכת האוטונומית, Uber השביתה את מאפייני מניעת ההתנגשות ו-AEB המותקנים במפעל ב-Volvo XC90.4 צוות ההנדסה בחר להסתמך לחלוטין על מערכת קניינית בפיתוח שטרם אומתה להתערבות בביטחון גבוה.

רכיב כשל מנגנון טכני השלכה אסטרטגית
צינור תפיסה תנודת סיווג (Unknown -> Vehicle -> Bike) אובדן קביעות האובייקט משבית חיזוי מסלול.6
דיכוי לוגיקה השבתה ידנית של AEB המפעלי של Volvo הסרת שכבות בטיחות מקודדות-קשיח לטובת קוד ניסיוני.4
ממשק HMI הסתמכות-יתר על משגיח אנושי מוסח כשל בהתחשבות ב"שאננות אוטומציה".3
מנוע חיזוי הנחת מסלול סטטית לשחקנים דינמיים חוסר יכולת למדל חציות הולכי רגל לא-סטנדרטיות.5

תהליך קבלת ההחלטות הזה ממחיש מגמה מסוכנת בפיתוח בינה מלאכותית: הקרבת שכבות בטיחות דטרמיניסטיות למען ביצועים "חלקים" במודל סטוכסטי. ההסדר בסך $8.5 million על תאונת 2018 משקף לא רק חבות משפטית, אלא כשל בניהול "המגבלות התפקודיות" של מערכת הנהיגה האוטומטית.4 הנדסת Deep AI, כפי ש-Veriprajna מקדמת, מתנגדת להיררכיה זו, ותומכת בארכיטקטורת "בטיחות תחילה" שבה שכבת התפיסה כפופה לאילוצים פורמליים שלא ניתן לדרוס במדיניות ניסיונית.

אבחון שגוי וכשל לוגיקת שלאחר-פגיעה: משבר Cruise 2023

באוקטובר 2023, רובוטקסי של GM Cruise בסן פרנסיסקו פגע וגרר הולכת רגל לאורך 20 feet, מה שהוביל להשעיה מלאה של פעילות החברה ללא נהג בקליפורניה.9 תקרית זו חרגה מבעיית מניעת ההתנגשות הראשונית אל תחום "הנמקה שלאחר-פגיעה"—תחום שבו עוטפי LLM טיפוסיים וממשקי API פשוטים של תפיסה נכשלים לחלוטין.

הכשל הלוגי של דריסה-קדמית מול פגיעת-צד

תקרית Cruise החלה על ידי צד שלישי: ניסאן בנהיגה אנושית פגע בהולכת רגל והשליך אותה לנתיב רכב ה-Cruise.9 רכב ה-Cruise פגע בהולכת הרגל ועצר תחילה. אולם, מכיוון שלוגיקת "זיהוי הפגיעה" של המערכת לא הייתה מפורטת דיה, היא אבחנה באופן שגוי את ההתנגשות. למרות שהולכת הרגל הייתה כלואה תחת הרכב, חיישני המערכת לא הצליחו לזהות דריסה חזיתית וסיווגו במקום זאת את האירוע כהתנגשות צד.1

אבחון שגוי זה הפעיל תמרון "מצב סיכון מינימלי" (MRC) מתוכנת מראש. המערכת תוכננה לסור לצד הדרך לאחר פגיעת צד כדי להימנע מחסימת תנועה.11 מכיוון ששכבת התפיסה "שכחה" את הולכת הרגל לאחר הפגיעה, הרכב החל לסור הצידה, וגרר את הקורבן 20 feet במהירות של כ-7 mph.9 הגרירה פסקה רק כאשר הרכב זיהה "החלקת גלגל מופרזת", שאותה פירש כתקלה מכנית ולא כחסימה אנושית.11

שקיפות כדרישה טכנית

כשל Cruise היה כשל ארגוני לא פחות מטכני. חקירות חשפו שההנהלה הבכירה הייתה "מקובעת על תיקון הנרטיב התקשורתי הלא מדויק" ונכשלה בשקיפות מול הרגולטורים בנוגע לגרירה.9 עובדי Cruise הודו ש"נתנו לסרטון לדבר בעד עצמו" בפגישות עם ה-DMV, ביודעם שבעיות קישוריות לאינטרנט מונעות לעיתים קרובות את קטע ה"גרירה" בסרטון מלהתנגן.9

זה מדגיש לקח קריטי לייעוץ Deep AI: בטיחותה של מערכת אוטונומית קשורה באופן בלתי נפרד לשקיפותה. גישת Veriprajna מדגישה פיתוח של "ביקורות בטיחות ניתנות להסבר", שבהן כל החלטה שהבינה המלאכותית מקבלת, במיוחד לאחר פגיעה, נרשמת בפורמט דטרמיניסטי חסין-שיבוש שניתן לביקורת על ידי רגולטורים בזמן אמת. הקנס הפלילי בסך $500,000 על הגשת דוחות כוזבים ל-NHTSA מדגיש את המחיר הגבוה של התייחסות לבטיחות בינה מלאכותית כבעיית שיווק ולא כבעיית הנדסה.1

דילמת ה"ראייה בלבד" ומגבלות החישה ההסתברותית: Tesla FSD

מערכת Full Self-Driving (FSD) של Tesla הפכה למוקד חקירה רגולטורית מסיבית, כאשר ה-NHTSA פתח יותר מ-40 בירורים על תאונות בין 2024 ל-2025.2 חקירות אלה, במיוחד אלה שזוהו כ-PE24-031 ו-PE25-012, מתמקדות בכשל המערכת ב"תיאטרון יכולות"—ביצועים מיטביים בתנאים ברורים שקורסים מול "מקרי קצה" סביבתיים.13

רגישות סביבתית ואי-ציות לאותות

חקירות ה-NHTSA זיהו דפוסים ספציפיים שבהם מערכת הראייה-בלבד של Tesla אינה מצייתת לחוקי בטיחות תנועה בסיסיים:

  1. כשל ברמזור: ב-18 תלונות נפרדות, כלי רכב עם FSD נכשלו בהישארות בעצירה באור אדום או נכשלו בזיהוי מצב האות לחלוטין.12
  2. תמרונים נגד כיוון התנועה: המערכת נצפתה נכנסת לנתיבים מנוגדים או מבצעת פניות מנתיבי נסיעה ישר בלבד, תוך התעלמות מסימוני דרך ושילוט ברורים.2
  3. רוויה בראות נמוכה: התנגשות קטלנית משמעותית ב-2023 התרחשה במצב של "סנוור שמש על אספלט רטוב", שבו המערכת נכשלה בזיהוי הולך רגל.14

הסתמכות Tesla על ארכיטקטורת "ראייה בלבד"—תוך ויתור על LiDAR ומכ"ם—יוצרת פגיעות יסודית ל"רוויית חיישנים". בתנאי ערפל, אבק או פסולת באוויר, יחס אות-לרעש האופטי יורד מתחת לסף הנדרש לניווט בטוח.13 אף ש-Tesla משתמשת ב"רשתות תפוסה" כדי לחזות את הגאומטריה התלת-ממדית של העולם מתמונות דו-ממדיות, דוחות ה-NHTSA מרמזים שהחיזויים הללו עדיין הסתברותיים מדי לשימוש כשכבת בטיחות ראשית.15

פורמליזציה של סביבת הנהיגה

כדי להתקדם מעבר למודל הכשל של Tesla, הנדסת Deep AI משתמשת ב"מעטפות מונחות-מפגע". במקום "מאפיינים" מעורפלים, המערכת חייבת להגדיר תחומי תכנון תפעולי (ODD) מפורשים. אם "אחוז רוויית הסנוור" או "מדד פיזור-חזרה של ערפל" חורג מסף מאומת, המערכת חייבת ליזום מעבר לכשל-בטוח.14

מצב כשל שנחקר תדירות/השפעה סיבה טכנית
אי-ציות לרמזור אדום 18+ תלונות כשל בזיהוי מצב אות בערמת הראייה.12
הפרת סימון נתיב 4+ דוחות SGO אי-יכולת להבחין בין נתיבי פנייה-בלבד לנתיבי נסיעה ישר.12
תאונה בראות נמוכה הרוגים (2023-2024) רוויית חיישן אופטי (סנוור/ערפל/אבק).13
כניסה לנתיב מנוגד 2 דוחות SGO כשל בשחזור תלת-ממדי של גאומטריית הנתיב.12

פילוסופיית Veriprajna היא שלא ניתן לבנות אוטונומיה על תוכנת "מאמץ מיטבי". 2.9 million כלי הרכב שנפגעו מחקירת NHTSA ב-2025 מייצגים סיכון ברמת צי שניתן למתן רק באמצעות יישום "שערי הבטחה"—מנעולי תוכנה המונעים מהבינה המלאכותית לקבל החלטות בסיכון גבוה כאשר רמת הביטחון של מערכת התפיסה שלה יורדת מתחת לנקודה דטרמיניסטית.2

קיפאון רב-סוכנים וחוסן סוציו-טכני: ניסיון Waymo

Waymo נחשבת לעיתים קרובות לאמת המידה לבטיחות, לאחר שצברה יותר מ-56 million miles עם שיעורי פציעה נמוכים משמעותית מנהגים אנושיים.17 אולם, ככל שהמערכת מתרחבת, היא נתקלה במחלקת כשל חדשה: "חיכוך סוציו-טכני". זה כרוך לא רק באופן שבו הבינה המלאכותית נוהגת, אלא באופן שבו היא מתקשרת עם הסביבה החברתית האנושית המורכבת, ולעיתים עוינת.

חסימות צמתים וכשלי תקשורת

במהלך הפסקת חשמל ב-2025 בלוס אנג'לס, עשרות רובוטקסי של Waymo נתקעו בסדרת צמתים חשוכים. ה-"Waymo Driver", שתוכנת להתייחס לאותות חשוכים כעצירות ארבע-כיווניות, הוצף על ידי זינוק מרוכז בבקשות ל"סיוע מרחוק".18 מכיוון שהרכבים לא הצליחו לתקשר זה עם זה ביעילות, הם נכנסו למצב של "קיפאון רב-סוכנים", שבו רובוטקסי חסמו רובוטקסי אחרים, ויצרו עומס שמרכז הפיקוד לא יכול היה לפתור.18

כשל זה מדגיש את "מלכודת העצמאות"—ההנחה שרכב אוטונומי יכול לפעול בבטחה כסוכן בודד ללא מערכת רחבה ומתואמת.18 הנדסת Deep AI חייבת להתחשב באובדן תקשורת אלחוטית ובנחיצות פרוטוקולי "V2V" (רכב-לרכב) ו-"V2I" (רכב-לתשתית) המאפשרים לצי לפתור קיפאונות באופן אוטונומי.20

הצורך ב"מצב מילוט מסכנה"

אולי האיום המתעורר המשמעותי ביותר לפעולות אוטונומיות הוא תוקפנות ציבורית. בתחילת 2025, מספר רכבי Waymo הותקפו על ידי קהל במהלך מהומות אזרחיות בלוס אנג'לס, כאשר מפגינים חתכו צמיגים והציתו רכבים.21 הרכבים, שתוכנתו ל"בטיחות פסיבית", פשוט עצרו כשהוקפו באנשים.

הדבר הוביל לפיתוח המוצע של "מצב מילוט מסכנה". מערכת כזו תשתמש בחבילת החיישנים ב-360 מעלות כדי לזהות "תוקפנות אנושית זדונית" ולהעביר את הנחיית הרכב מ"ציות פסיבי" ל"מילוט פעיל".21 אף שהרכב לעולם לא חייב להיות מתוכנת לגרום נזק, ספקי Deep AI טוענים שעליו להיות מסוגל לבצע עבירות תנועה קלות (כגון נסיעה על מדרכה או דרך רמזור אדום) כדי להגן על נוסעיו ולהימלט ממצב נפיץ.21 הדבר דורש חשיבה מחדש רדיקלית של "מנוע האתיקה" של הבינה המלאכותית—משימה החורגת בהרבה מיכולות עוטף LLM.

הפתרון הטכני: מבט-מלמעלה (BEV) ורשתות תפוסה

כדי לטפל בכשלי המעקב שנראו במקרי Uber ו-Cruise, התעשייה עוברת לתפיסת מבט-מלמעלה (BEV). מערכות סטנדרטיות לכל-מצלמה מעבדות תמונות בודדות, מה שמוביל לאובדן נתונים במהלך "תפירה". לעומת זאת, תפיסת BEV ממירה נתוני מצלמה רב-מבט ו-LiDAR לרשת תלת-ממדית מאוחדת מלמעלה.22

רשתות תפוסה מול מיזוג חיישנים סטנדרטי

מיזוג חיישנים מסורתי מנסה "להתאים" פיקסלים דו-ממדיים לנקודות תלת-ממדיות, תהליך שהוא יקר חישובית ונוטה לשגיאות הטלה. Veriprajna תומכת ב"רשתות תפוסה"—ארכיטקטורה החוזה את "הסתברות התפוסה" של כל ווקסל בנפח תלת-ממדי.16

  1. קביעות אובייקט: מכיוון שרשתות תפוסה עוקבות אחר נפח ולא רק אחר "תוויות", המערכת יודעת שמרחב תפוס גם אם אינה יכולה להחליט אם האובייקט הוא הולך רגל או אופניים. זה היה מונע את היפוך הסיווג של Uber ATG.16
  2. נאמנות גאומטרית: רשתות תפוסה לוכדות מבנים אנכיים ופסולת כביש שלעיתים קרובות מתעלמים מהם במפות BEV דו-ממדיות. זה היה מאפשר לרכב Cruise "לראות" את הולכת הרגל מתחת לשלדה במהלך התמרון שלאחר הפגיעה.16
  3. עקביות מרחבית-זמנית: באמצעות ארכיטקטורות "BEVFormer", המערכת יכולה להשתמש ב"תשומת-לב עצמית זמנית" כדי לזכור היכן היה אובייקט גם במהלך הסתרות זמניות (למשל, הולך רגל ההולך מאחורי משאית חונה).24

XBEV=ftransformer(I1,I2,...,In,Lcloud)X_{BEV} = f_{transformer}(I_1, I_2, ..., I_n, L_{cloud})

במודל זה, ארכיטקטורת Transformer משמשת לא ככלי שיחה, אלא כמנוע הנמקה מרחבית הממזג נתונים הטרוגניים ל"בד משותף" יחיד.23 זוהי הנדסת Deep AI: השימוש בארכיטקטורות חזית לפתרון בעיות פיזיקה יסודיות בניווט.

אימות פורמלי: תקן Veriprajna לבינה מלאכותית בהבטחה גבוהה

המבדיל המשמעותי ביותר בין "עוטף" ל"פתרון" הוא יישום שיטות פורמליות. בדיקות תוכנה מסורתיות מסתמכות על תרחישי "קופסה שחורה"; אם המערכת עוברת N בדיקות, מניחים שהיא בטוחה. במערכות קריטיות לבטיחות, לעומת זאת, אנו דורשים הוכחה מתמטית של נכונות.

פותרי SMT והנמקה ברמת רשת

כלים כמו Marabou ו-α,β-CROWN מאפשרים למהנדסים לאמת את תכונות הרשתות העצביות העמוקות. על ידי ייצוג הרשת כקבוצת אילוצים ליניאריים-למקטעים, אנו יכולים לקבוע אם קיים קלט כלשהו שעלול להוביל לפלט לא בטוח.25

"תכונת בטיחות" עשויה להיות מוגדרת כך:

לכל הקלטים x בטווח של "ראות נמוכה", הפלט y (פקודת בלימה) לעולם לא יהיה קטן מ-k.

xXfogf(x)Brakingmin\forall x \in X_{fog} \Rightarrow f(x) \geq Braking_{min}

אם פותר SMT כמו Marabou מחזיר "דוגמה נגדית", הוא זיהה הפרעה ספציפית, לעיתים בלתי מורגשת, שתגרום לבינה המלאכותית להיכשל. זה מאפשר ל-Veriprajna "לחשל" את המודל בשלב האימון, תהליך הידוע כ"אימון מודע-אימות".28

גיזום לאימות

אתגר מרכזי באימות פורמלי הוא "קללת הממדיות". רשתות גדולות מורכבות מדי לפותרים הנוכחיים לניתוח ממצה. Veriprajna מטפלת בכך באמצעות "גיזום נוירונים". על ידי הסרת נוירונים מיותרים ואי-ליניאריות שאינם תורמים לדיוק המודל, אנו מייצרים "מודל מגוזם" שקל יותר מתמטית לאמת מבלי להקריב ביצועים.29

טכניקת אימות מתודולוגיה תועלת
הידוק חסמים ניתוח סימבולי של טווחי הפעלת נוירונים מצמצם את מרחב החיפוש לפותרי SMT.25
ניתוח נגישות חישוב קבוצת כל הפלטים הנגישים לקבוצת קלט מבטיח שהבינה המלאכותית תישאר בתוך "פוליטופ בטוח".28
קירוב ליניארי-למקטעים החלפת הפעלות מורכבות במקטעים מבוססי-ReLU מאפשר הוכחות אימות נאותות ושלמות.27
מסנן בטיחות פורמלי ניטור בזמן ריצה של פקודות בינה מלאכותית מול קו בסיס מאומת מספק "התאוששות בטוחה" אם הבינה המלאכותית הראשית מתנהגת באופן לא רציונלי.31

האופק הרגולטורי: SOTIF ו-ISO/PAS 8800

עבור ארגונים, ציות לתקנים בינלאומיים מתגבשים אינו עוד אופציונלי. הנוף עבר מ"הערכה עצמית וולונטרית" להיצמדות חובה למסגרת בטיחות מדורגת.5

ISO 26262 מול ISO 21448 (SOTIF)

בעוד ISO 26262 מטפל ב"בטיחות תפקודית" (למשל, חיישן שנכשל או שבב עם קצר חשמלי), הוא אינו יכול להתחשב במגבלות המובנות של בינה מלאכותית.34 פער זה ממולא על ידי ISO 21448, התקן ל"בטיחות הפונקציונליות המיועדת" (SOTIF). SOTIF מתוכנן ספציפית לטפל במפגעים המתרחשים כאשר המערכת פועלת בדיוק כפי שתוכנתה אך נתקלת בסביבה "לא-ידועה/לא-בטוחה".34

מטרת התקשרות Veriprajna היא למקסם את הרביע "ידוע/בטוח" של מערכת הבינה המלאכותית של הלקוח. הדבר כולל:

  1. ניתוח מפגעים וסיכונים (HARA): זיהוי סיכונים שאינם כשל, כגון פרשנות שגויה של חיישן בגשם כבד.36
  2. זיהוי תנאי מפעיל: מיפוי שיטתי של מצבים סביבתיים המובילים לשגיאות תפיסה.36
  3. V&V (אימות ותיקוף): שימוש בסימולציות נאמנות-גבוהה כדי "להזריק" מקרי קצה שיהיו מסוכנים מדי לבדיקה בכבישים ציבוריים.36

ISO/PAS 8800: עתיד שילוב הבינה המלאכותית

נכון לסוף 2024, ISO/PAS 8800 הפך לתקן העיקרי ל"בטיחות תפקודית לבינה מלאכותית בכלי רכב בדרכים".37 הוא מספק את ההנחיות הגלובליות הראשונות לניהול מחזור החיים של הבינה המלאכותית, מ"רכישת נתונים" ועד "ניטור לאחר-פריסה".33 Veriprajna מבטיחה שארכיטקטורות לקוחותינו אינן רק תואמות, אלא "מוכנות לעתיד" מול הקפדנות הגוברת של תקני ממשל בינה מלאכותית גלובליים כמו חוק הבינה המלאכותית של האיחוד האירופי (EU AI Act) ומסגרת ניהול סיכוני הבינה המלאכותית של NIST.33

הדרך האסטרטגית קדימה: מנדט ה-Deep AI של Veriprajna

המעבר מתרבות "עוטף" לתרבות "Deep AI" הוא מסע מתקווה הסתברותית להבטחה דטרמיניסטית. ההסדר בסך $8.5 million של Uber, השעיית Cruise, ו-40+ חקירות Tesla אינם סיבות לנטוש בינה מלאכותית; הם סיבות להנדס אותה נכון.

מודל הייעוץ של Veriprajna בנוי על שלושה נדבכים המטפלים במצבי הכשל הספציפיים שזוהו בדוח זה:

  1. חוסן תפיסה: העברת לקוחות מתפיסה דו-ממדית לכל-מצלמה לרשתות תפוסה BEV מבוססות-Transformer כדי להבטיח קביעות אובייקט ויציבות מעקב.16
  2. קבלת החלטות מאומתת: יישום אימות פורמלי מבוסס-SMT כדי להוכיח שארכיטקטורות בקרה מונעות-בינה-מלאכותית לעולם לא יפרו תכונות בטיחות ליבה.25
  3. חיזוק סוציו-טכני: פיתוח "מצבי מילוט" מתוחכמים ומסגרות תקשורת V2X כדי לנהל את המציאות של מהומות אזרחיות וקיפאון רב-סוכנים.18

ככל שהעלות הגלובלית של דליפת נתונים בודדת מגיעה ל-$4.44 million ועלות תאונה קטלנית אוטונומית נכנסת לעשרות המיליונים בנזקים משפטיים ותפעוליים, ה"עוטף הזול" הופך לטעות היקרה ביותר שארגון יכול לעשות.14 Veriprajna מספקת את מומחיות ההנדסה העמוקה הנדרשת לבנות בינה מלאכותית שלא רק עובדת במעבדה—היא מחזיקה מעמד בעולם.

הבחירה לארגון המודרני ברורה: להמשיך לעטוף קופסאות שחורות הסתברותיות ולנהל את הנשורת הבלתי נמנעת, או לשתף פעולה עם Veriprajna כדי לבנות ארכיטקטורה של עתיד של אוטונומיה ניתנת לאימות ובהבטחה גבוהה. עידן הבינה המלאכותית הסטוכסטית מסתיים; עידן הנדסת Deep AI החל.

מקורות שצוטטו

  1. Cruise Admits To Submitting A False Report To Influence A Federal Investigation And Agrees To Pay $500000 - Department of Justice, אוחזר ב-9 בפברואר 2026, https://www.justice.gov/usao-ndca/pr/cruise-admits-submitting-false-report-influence-federal-investigation-and-agrees-pay
  2. NHTSA Opens Probe into 2.9M Teslas Over FSD Violations - Autobody News, אוחזר ב-9 בפברואר 2026, https://www.autobodynews.com/news/nhtsa-opens-probe-into-2-9m-teslas-over-fsd-violations
  3. HWY18MH010.aspx - NTSB, אוחזר ב-9 בפברואר 2026, https://www.ntsb.gov/investigations/Pages/HWY18MH010.aspx
  4. NTSB Shares Investigation Findings and Recommendations Regarding March 2018 Uber ATG Fatality | Eckert Seamans, אוחזר ב-9 בפברואר 2026, https://www.eckertseamans.com/legal-updates/ntsb-shares-investigation-findings-and-recommendations-regarding-march-2018-uber-atg-fatality
  5. H-19-047 - Accident Data - NTSB, אוחזר ב-9 בפברואר 2026, https://data.ntsb.gov/carol-main-public/sr-details/H-19-047
  6. NTSB releases preliminary report on fatal Uber self-driving car crash - Metro Magazine, אוחזר ב-9 בפברואר 2026, https://www.metro-magazine.com/news/ntsb-releases-preliminary-report-on-fatal-uber-self-driving-car-crash
  7. Death of Elaine Herzberg - Wikipedia, אוחזר ב-9 בפברואר 2026, https://en.wikipedia.org/wiki/Death_of_Elaine_Herzberg
  8. New Details Emerge Regarding Uber Self-Driving Vehicle Accident in Tempe, Arizona, אוחזר ב-9 בפברואר 2026, https://schwedlawfirm.com/blog/new-details-emerge-regarding-uber-self-driving-vehicle-accident/
  9. A Root Cause Analysis of a Self-Driving Car Dragging a Pedestrian, אוחזר ב-9 בפברואר 2026, https://www.computer.org/csdl/magazine/co/2024/11/10720344/215PD0vqgTe
  10. Notes on Cruise's pedestrian accident - Dan Luu, אוחזר ב-9 בפברואר 2026, https://danluu.com/cruise-report/
  11. Lessons from the Cruise Robotaxi Pedestrian Dragging Mishap, אוחזר ב-9 בפברואר 2026, http://users.ece.cmu.edu/~koopman/pubs/Koopman2024_CruiseMishap_IEEEReliabilityMagazine.pdf
  12. Office of Defects Investigation (ODI) Resume - nhtsa, אוחזר ב-9 בפברואר 2026, https://static.nhtsa.gov/odi/inv/2025/INOA-PE25012-19171.pdf
  13. US regulators launch investigation into self-driving Teslas after series of crashes, אוחזר ב-9 בפברואר 2026, https://www.theguardian.com/technology/2025/oct/09/tesla-cars-self-driving-us-regulators-investigation
  14. Tesla FSD Safety Issues: NHTSA Probes & AI Driving Future (Part 6) - PRIZ Guru, אוחזר ב-9 בפברואר 2026, https://www.priz.guru/tesla-fsd-safety-issues-nhtsa-probes-ai-driving-future-part-6/
  15. AI & Robotics | Tesla, אוחזר ב-9 בפברואר 2026, https://www.tesla.com/AI
  16. A Survey on Occupancy Perception for Autonomous Driving: The Information Fusion Perspective - arXiv, אוחזר ב-9 בפברואר 2026, https://arxiv.org/html/2405.05173v2
  17. New Study: Waymo is reducing serious crashes and making streets safer for those most at risk, אוחזר ב-9 בפברואר 2026, https://waymo.com/blog/2025/05/waymo-making-streets-safer-for-vru
  18. On Waymo's Traffic Jams - Stanford Center for Internet and Society, אוחזר ב-9 בפברואר 2026, https://cyberlaw.stanford.edu/blog/2025/12/on-waymos-traffic-jams/
  19. Self-driving cars may create more traffic congestion than they solve, expert says - KJZZ, אוחזר ב-9 בפברואר 2026, https://www.kjzz.org/the-show/2026-01-07/self-driving-cars-may-create-more-traffic-congestion-than-they-solve-expert-says
  20. A Systematic Literature Review on Vehicular Collaborative Perception – A Computer Vision Perspective - arXiv, אוחזר ב-9 בפברואר 2026, https://arxiv.org/html/2504.04631v2
  21. When Robotaxis Get Attacked: Do Waymo Cars Need a 'Danger Escape Mode'?, אוחזר ב-9 בפברואר 2026, https://aragonresearch.com/robotaxis-attack-waymo-cars-danger-escape-mode/
  22. MIC-BEV: Multi-Infrastructure Camera Bird's-Eye-View Transformer with Relation-Aware Fusion for 3D Object Detection - arXiv, אוחזר ב-9 בפברואר 2026, https://arxiv.org/html/2510.24688v1
  23. [AV Vol.3] BEVFusion: Unifying Vision in Autonomous Driving Systems - Medium, אוחזר ב-9 בפברואר 2026, https://medium.com/demistify/av-vol-3-bevfusion-unifying-vision-in-autonomous-driving-systems-b2190f877c9b
  24. A Transformer-based Temporal Feature Fusion Approach for Autonomous Driving BEV Perception | Request PDF - ResearchGate, אוחזר ב-9 בפברואר 2026, https://www.researchgate.net/publication/395804054_A_Transformer-based_Temporal_Feature_Fusion_Approach_for_Autonomous_Driving_BEV_Perception
  25. The Marabou Framework for Verification and Analysis of Deep Neural Networks - Stanford Center for AI Safety, אוחזר ב-9 בפברואר 2026, https://aisafety.stanford.edu/marabou/MarabouCAV2019.pdf
  26. Marabou 2.0: A Versatile Formal Analyzer of Neural Networks - arXiv, אוחזר ב-9 בפברואר 2026, https://arxiv.org/html/2401.14461v1
  27. Marabou 2.0: A Versatile Formal Analyzer of Neural Networks - Stanford CS Theory, אוחזר ב-9 בפברואר 2026, https://theory.stanford.edu/~barrett/pubs/WIZ+24.pdf
  28. Creating a Formally Verified Neural Network for Autonomous Navigation: An Experience Report - CSE CGI Server, אוחזר ב-9 בפברואר 2026, https://cgi.cse.unsw.edu.au/~eptcs/paper.cgi?FMAS2024.12.pdf
  29. Verification of Neural Networks for Safety and Security-critical Domains - CEUR-WS.org, אוחזר ב-9 בפברואר 2026, https://ceur-ws.org/Vol-3345/paper10_RiCeRCa3.pdf
  30. Formal Verification of Neural Networks for Safety-Critical Tasks in Deep Reinforcement Learning, אוחזר ב-9 בפברואר 2026, https://proceedings.mlr.press/v161/corsi21a/corsi21a.pdf
  31. Formal Methods for Trustworthy AI-based Autonomous Systems - NII Shonan Meeting, אוחזר ב-9 בפברואר 2026, https://shonan.nii.ac.jp/docs/No.178.pdf
  32. Formal Verification of Neural Networks-Based Control Architecture for Safety-Critical Autonomous Systems - Frontiers, אוחזר ב-9 בפברואר 2026, https://www.frontiersin.org/research-topics/74336/formal-verification-of-neural-networks-based-control-architecture-for-safety-critical-autonomous-systems
  33. Implementing Responsible AI for Automotive Vehicle Safety - LHP Engineering Solutions, אוחזר ב-9 בפברואר 2026, https://www.lhpes.com/blog/implementing-responsible-ai-for-automotive-vehicle-safety
  34. Functional Safety vs. SOTIF: What Is the Difference and Where Do They Overlap? - MES, אוחזר ב-9 בפברואר 2026, https://model-engineers.com/en/blog/functional-safety-vs-sotif-differences-overlaps/
  35. The Necessity of a Holistic Safety Evaluation Framework for AI-Based Automation Features, אוחזר ב-9 בפברואר 2026, https://arxiv.org/html/2602.05157v1
  36. What is SOTIF? (ISO 21448) - Visure Solutions, אוחזר ב-9 בפברואר 2026, https://visuresolutions.com/automotive/iso-21448/
  37. Safety-Related Systems in Road Vehicles with Artificial Intelligence Are Addressed in ISO/PAS 8800:2024 | UL Solutions, אוחזר ב-9 בפברואר 2026, https://www.ul.com/sis/blog/safety-related-systems-road-vehicles-artificial-intelligence-are-addressed-isopas-88002024
  38. ISO 26262, SOTIF and simulation | Applied Intuition, אוחזר ב-9 בפברואר 2026, https://www.appliedintuition.com/blog/iso26262-sotif-simulation
  39. Introducing ISO/PAS 8800 – Functional Safety for AI in Road Vehicles | SGS Georgia, אוחזר ב-9 בפברואר 2026, https://www.sgs.com/en-ge/news/2025/04/safeguards-04625-introducing-iso-pas-8800-functional-safety-for-ai-in-road-vehicles
  40. NIST vs ISO - Compare AI Frameworks - ModelOp, אוחזר ב-9 בפברואר 2026, https://www.modelop.com/ai-governance/ai-regulations-standards/nist-vs-iso
  41. AI Safety vs AI Security in LLM Applications: What Teams Must Know - Promptfoo, אוחזר ב-9 בפברואר 2026, https://www.promptfoo.dev/blog/ai-safety-vs-security/

מעדיפים חוויה חזותית ואינטראקטיבית?

חקרו את הממצאים המרכזיים, הנתונים הסטטיסטיים והארכיטקטורה של מסמך זה בפורמט אינטראקטיבי עם מקטעים ניתנים לניווט והדמיות נתונים.

צפייה בגרסה האינטראקטיבית
שאלות נפוצות

שאלות נפוצות

מה גרם לתאונה הקטלנית ברכב האוטונומי של Uber ATG מנקודת מבט טכנית?

מערכת Uber ATG זיהתה לראשונה את הולכת הרגל 5.6 שניות ו-378 feet לפני הפגיעה אך סבלה מתנודת סיווג, וסיווגה מחדש שוב ושוב את הולכת הרגל כאובייקט לא ידוע, רכב ואופניים. כל סיווג מחדש איפס את המסלול החזוי, והמערכת לא קבעה שבלימת חירום נדרשת עד 1.3 שניות לפני הפגיעה. בנוסף, Uber השביתה את מערכות מניעת ההתנגשות ו-AEB המפעליות של Volvo XC90.

כיצד פותרי SMT מאמתים באופן פורמלי תכונות בטיחות של רשתות עצביות?

פותרי SMT כמו Marabou מייצגים רשתות עצביות כאילוצים ליניאריים-למקטעים וקובעים האם קיים קלט כלשהו שעלול לייצר פלט לא בטוח. לדוגמה, תכונת בטיחות עשויה לדרוש שלכל הקלטים בטווח ראות נמוכה, פקודת הבלימה חייבת להיות גבוהה מסף מינימלי. אם הפותר מוצא דוגמה נגדית, מהנדסים יכולים לחשל את המודל באמצעות אימון מודע-אימות וגיזום נוירונים.

מהן רשתות תפוסה BEV וכיצד הן מונעות כשלי רכב אוטונומי?

רשתות תפוסה במבט-מלמעלה חוזות את הסתברות התפוסה של כל ווקסל בנפח תלת-ממדי במקום לעקוב אחר אובייקטים מתויגים. הדבר מבטיח קביעות אובייקט גם כאשר המערכת אינה יכולה לסווג את האובייקט, ומונע את היפוך הסיווג של Uber ATG. הן לוכדות מבנים אנכיים שמוחמצים במפות דו-ממדיות, וארכיטקטורות BEVFormer משתמשות בתשומת-לב עצמית זמנית לעקביות מרחבית-זמנית במהלך הסתרות.

בנו את ה-AI שלכם בביטחון.

שותפו עם צוות בעל ניסיון עמוק בבניית הדור הבא של AI ארגוני. אנו נסייע לכם לתכנן, לבנות ולהטמיע אסטרטגיית AI שתוכלו לסמוך עליה.

Veriprajna ייעוץ דיפ-טק מתמחה בבניית מערכות AI קריטיות לבטיחות עבור תחומי הבריאות, הפיננסים והרגולציה. הארכיטקטורות שלנו מאומתות מול פרוטוקולים מבוססים ומלוות בתיעוד ציות מקיף.