מסגרת אסטרטגית לבינה מלאכותית קריטית לבטיחות
הסדר הפשרה בסך 8.5 מיליון דולר של אובר, השעיית הפעילות של GM Cruise ומעל 40 חקירות נגד טסלה אינם סיבות לנטוש את הבינה המלאכותית. הם הסיבות להנדס אותה נכון. נייר עמדה זה מנתח את הכשלים הארכיטקטוניים ומציג את הדרך לאוטונומיה ודאית ובת-אימות.
בצד אחד: מעטפות LLM מהירות המעדפות שטף שיחתי. בצד השני: הנדסת Deep AI קפדנית עם אימות פורמלי ובטיחות דטרמיניסטית. ככל שמערכות אוטונומיות נכנסות לעולם הפיזי, הבחנה זו הופכת לעניין של חיים ומוות.
ארבעה אירועים בעלי פרופיל גבוה החושפים את השבריריות המערכתית של בינה מלאכותית סטוכסטית ביישומים קריטיים לבטיחות.
טמפה, אריזונה • מרץ 2018 • תאונה קטלנית
מערכת Uber ATG זיהתה לראשונה את אליין הרצברג 5.6 שניות לפני הפגיעה במרחק של 378 רגל. זה היה די והותר זמן לבלימת חירום סטנדרטית. אך לוגיקת התפיסה של המערכת סבלה מ- תנודתיות בסיווג (Classification Oscillation) — סיווג מחדש חוזר ונשנה של הולכת הרגל כ«אובייקט לא ידוע», לאחר מכן «רכב», ולאחר מכן «אופניים».
כל סיווג מחדש איפס את המסלול החזוי של האובייקט. המערכת לא הצליחה לקבע זהות מתמשכת, לא חישבה נתיב אמין, וקבעה כי נדרשת בלימת חירום רק 1.3 שניות לפני הפגיעה — כאשר חוקי הפיזיקה הפכו את ההתנגשות לבלתי נמנעת.
אובר השביתה את מערכת ה-AEB המקורית ומניעת התנגשויות של וולוו XC90 כדי למנוע «התנהגות רכב לא יציבה». הם החליפו שכבות בטיחות דטרמיניסטיות ומאומתות בקוד סטוכסטי ניסיוני ולא מאומת.
| רכיב הכשל | מנגנון טכני |
|---|---|
| צינור תפיסה | תנודתיות סיווג (לא ידוע → רכב → אופניים) |
| דיכוי לוגיקה | השבתה ידנית של AEB מהמפעל |
| ממשק HMI | הסתמכות יתר על מנטר אנושי מוסח דעת |
| מנוע חיזוי | הנחת מסלול סטטי עבור גורמים דינמיים |
כל סיווג מחדש הרס את חיזוי המסלול של האובייקט ומנע התערבות בזמן.
סן פרנסיסקו • אוקטובר 2023 • שלילת רישיון
רכב נהוג בידי אדם פגע בהולכת רגל והעיף אותה למסלול של רובוטקסי של Cruise. רכב ה-Cruise פגע בהולכת הרגל ונעצר בתחילה. אך לוגיקת זיהוי הפגיעה של המערכת הייתה חסרת דיוק מספק — היא אבחנה שגיאה דריסה חזיתית כהתנגשות צדדית.
אבחון שגוי זה הפעיל תמרון «תנאי סיכון מינימלי» (MRC): עצירה בצד הדרך. מכיוון ששכבת התפיסה «שכחה» את הולכת הרגל לאחר הפגיעה, הרכב גרר את הקורבן למרחק של 20 רגל במהירות 7 מייל לשעה. הוא עצר רק כאשר זיהה «החלקת גלגלים מוגזמת» — אותה פירש כתקלה מכנית ולא כחסימה אנושית.
החקירה שלאחר מכן גילתה שההנהלה הייתה «מקובעת על תיקון הנרטיב התקשורתי הלא מדויק» ולא פעלה בשקיפות מול הרגולטורים. הקנס הפלילי בסך 500,000 דולר בגין הגשת דוחות כוזבים מדגיש שלא ניתן להתייחס לבטיחות AI כאל בעיית שיווק.
«עובדים הודו כי 'נתנו לסרטון לדבר בעד עצמו' במהלך פגישות עם ה-DMV, בידיעה שבעיות קישוריות מנעו לעתים קרובות את הצגת קטע הגרירה.»
בפריסה ארצית • 2024-2025 • מעל 40 חקירות NHTSA
מערכת ה-Full Self-Driving (FSD) של טסלה מפגינה «תיאטרון יכולות» (Capability Theater) — ביצועים אופטימליים בתנאים בהירים הקורסים מול מקרי קצה סביבתיים. ה-NHTSA פתחה ביותר מ-40 חקירות המתמקדות בדפוסי כשל ספציפיים וחוזרים.
ההסתמכות של טסלה על ארכיטקטורת ראייה בלבד — ללא LiDAR ומכ"ם — יוצרת פגיעות יסודית ל- רוויית חיישנים. בערפל, אבק או סנוור שמש על אספלט רטוב, יחס האות לרעש האופטי יורד מתחת לספי הניווט הבטוח. תאונה קטלנית בשנת 2023 התרחשה בדיוק בתנאים אלה.
| דפוס כשל | סיבה טכנית |
|---|---|
| אי-ציות לרמזור אדום | כשל בזיהוי מצב הרמזור במערך הראייה |
| הפרת סימוני נתיב | חוסר יכולת להבחין בין נתיבי פנייה בלבד לנתיבים ישרים |
| תאונה בראות לקויה | רוויית חיישנים אופטיים (סנוור/ערפל/אבק) |
| כניסה לנתיב נגדי | כשל בשחזור גיאומטריית נתיב תלת-ממדית |
הנדסת Deep AI מחייבת גיוון חיישנים. לא ניתן לתקן מגבלת חומרה באמצעות טלאי תוכנה.
לוס אנג'לס / סן פרנסיסקו • 2025 • אתגרים מתעוררים
Waymo צברה למעלה מ- 56 מיליון מיילים עם שיעורי פציעות נמוכים משמעותית מנהגים אנושיים. אך ככל שהמערכת גדלה, היא נתקלת בקטגוריית כשל חדשה: חיכוך סוציו-טכני (Socio-Technical Friction) — לא רק איך ה-AI נוהגת, אלא איך היא מקיימת אינטראקציה עם סביבות חברתיות אנושיות מורכבות ולעתים עוינות.
במהלך הפסקת חשמל, עשרות רובוטקסי של Waymo נתקעו בצמתים חשוכים. מתוכנתים להתייחס לרמזורים כבויים כעצור מכל הכיוונים, הם הוצפו בבקשות סיוע מרחוק מרוכזות. רובוטקסי חוסמים רובוטקסי אחרים — «מבוי סתום מרובה סוכנים» — שמרכז השליטה המרכזי לא הצליח לפתור.
בתחילת 2025, רכבי Waymo הותקפו על ידי המונים במהלך מהומות ב-LA — צמיגים נחתכו, רכבים הוצתו. מתוכנתים ל«בטיחות פסיבית», הם פשוט עצרו כשכותרתו. הדבר חשף את הצורך ב- «מצב מילוט מסכנה» (Danger Escape Mode) שיכול לעבור מציות פסיבי לבריחה פעילה מבלי להיות מתוכנת לעולם לגרום נזק.
אירועים אלה מדגישים את «מלכודת העצמאות» — ההנחה שרכב אוטונומי יכול לפעול בבטחה כסוכן בודד. Deep AI חייב להטמיע פרוטוקולי V2V (רכב לרכב) ו-V2I (רכב לתשתית) המאפשרים פתרון תקיעות ברמת הצי.
כל כשל לעיל נובע מאותו שורש: הפער בין מה שה-AI תופס לבין מה שעליו להסיק לוגית. התאם את סף הוודאות כדי לראות כיצד שערים דטרמיניסטיים מונעים החלטות קטסטרופליות.
ודאות התפיסה מתחת לסף הבטיחות הדטרמיניסטי. מערכת סטוכסטית הייתה ממשיכה; שער ההבטחה של Veriprajna מפעיל מעבר בטוח מכשל.
שער ההבטחה (Assurance Gate) של Veriprajna: אם קלט בטיחות כלשהו יורד מתחת לסף המאומת, המערכת עוברת לתנאי סיכון מינימלי — לא על בסיס הסתברות, אלא על בסיס הוכחה מתמטית שלא ניתן להבטיח את בטיחות הפלט.
המענה הארכיטקטוני לתנודתיות סיווג, עיוורון שלאחר פגיעה ורוויית חיישנים.
רשתות תפוסה עוקבות אחר נפח ומרחב, לא תוויות. המערכת יודעת שחלל תפוס גם אם אינה יכולה להחליט אם האובייקט הוא הולך רגל או אופניים. זה מבטל את היפוך הסיווג של Uber ATG.
רשתות תפוסה לוכדות מבנים אנכיים ואובייקטים מתחת למרכב שמפות 2D BEV מתעלמות מהם. זה היה מאפשר לרכב ה-Cruise «לראות» את הולכת הרגל מתחתיו במהלך התמרון שלאחר הפגיעה.
באמצעות ארכיטקטורות BEVFormer עם תשומת לב עצמית זמנית (Temporal Self-Attention), המערכת זוכרת היכן היה אובייקט גם במהלך חסימות ראייה זמניות — הולך רגל ההולך מאחורי משאית חונה ממשיך להיות במעקב.
ארכיטקטורת היתוך BEV מאוחדת
ארכיטקטורת ה-Transformer משמשת לא ככלי שיחתי, אלא כ- מנוע הסקה מרחבי המתיך נתוני חיישנים הטרוגניים לקנבס משותף אחיד לניווט.
בדיקה מסורתית שואלת: «האם זה עובר N בדיקות?» אימות פורמלי שואל: «האם קיים קלט כלשהו המוביל לפלט לא בטוח?» ההבדל הוא הפער שבין תקווה להוכחה.
אם פותר SMT מחזיר דוגמה נגדית (Counter-Example), הוא זיהה הפרעה ספציפית שתגרום ל-AI להיכשל — מה שמאפשר «לחשל» את המודל במהלך האימון.
רשתות ענק מורכבות מדי לניתוח ממצה בפותרים. Veriprajna מטפלת בכך באמצעות גיזום נוירונים (Neuron Pruning) — הסרת נוירונים מיותרים ואי-לינאריות שאינם תורמים לדיוק, ויצירת מודל שקל יותר לאימות מתמטי מבלי להקריב ביצועים.
| טכניקה | מתודולוגיה | תועלת |
|---|---|---|
| הידוק גבולות (Bound Tightening) | ניתוח סמלי של טווחי הפעלת נוירונים | מצמצם דרמטית את מרחב החיפוש של פותר SMT |
| ניתוח השגה (Reachability Analysis) | חישוב כל הפלטים הניתנים להשגה עבור קבוצת קלטים | מבטיח שה-AI נשאר בתוך «הפוליטופ הבטוח» |
| קירוב ליניארי למקוטעין | החלפת פונקציות הפעלה מורכבות במקטעי ReLU | הוכחות מתמטיות שלמות ותקינות |
| מסנן בטיחות פורמלי | ניטור בזמן ריצה מול קו בסיס מאומת | «התאוששות בטוחה» אם ה-AI פועל באופן אי-רציונלי |
תקן ISO 21448 (SOTIF) ממלא את הפער ש-ISO 26262 אינו יכול לכסות: סכנות המתרחשות כאשר המערכת פועלת בדיוק כפי שתוכנתה אך נתקלת בסביבה «לא ידועה/לא בטוחה».
מטרת Veriprajna: למקסם את רביע הידוע/בטוח תוך צמצום שיטתי של תרחישים לא ידועים/לא בטוחים.
ODD מאומת. נבדק והוכח כבטוח בתנאים מתועדים.
מקרי קצה מזוהים עם מעברים בטוחים מכשל.
תרחישים שטרם נבדקו אך בעלי סיכון נמוך מטבעם.
סכנות בלתי מזוהות — המקור לכל תאונות הרכב האוטונומי הגדולות.
מטפל בכשלי רכיבי חומרה/תוכנה (תקלת חיישן, קצר בשבב). הכרחי אך בלתי מספיק לסיכונים ייחודיים של בינה מלאכותית.
בטיחות הפונקציונליות המיועדת. מטפל בסכנות כאשר ה-AI פועל כמתוכנת אך נתקל בסביבות חדשות ומורכבות.
התקן הגלובלי הראשון לניהול מחזור חיי ה-AI המלא בענף הרכב — מאיסוף נתונים ועד ניטור לאחר הפריסה.
שלושה עמודי תווך הנדסיים הנותנים מענה ישיר לכל דפוס כשל מערכתי שזוהה בניתוח זה.
העברת לקוחות מתפיסת 2D לפי מצלמה לרשתות תפוסה BEV מבוססות Transformer — הבטחת קביעות אובייקט ויציבות מעקב גם דרך חסימות, תנודתיות סיווג ורוויית חיישנים.
הטמעת אימות פורמלי מבוסס SMT כדי להוכיח מתמטית שארכיטקטורות בקרה מונעות AI לעולם לא יפרו תכונות בטיחות מרכזיות — לא רק בדיקות, אלא מתן הוכחת נכונות.
פיתוח «מצבי מילוט» מתוחכמים ומסגרות תקשורת V2X לניהול מציאות של הפרות סדר, מבוי סתום מרובה סוכנים וכשל בתשתית — שבה ציות פסיבי הופך למסוכן.
«עידן הבינה המלאכותית הסטוכסטית מגיע לסיומו. המעטפת 'הזולה' הופכת לטעות היקרה ביותר שארגון יכול לעשות כאשר העלות של תאונה אוטונומית בודדת מגיעה לעשרות מיליונים. עידן הנדסת ה-Deep AI החל.»
— המסגרת האסטרטגית של Veriprajna
מערכת Uber ATG זיהתה את אליין הרצברג 5.6 שניות לפני הפגיעה במרחק של 378 רגל — די והותר זמן לבלימת חירום. עם זאת, תנודתיות בסיווג סיווגה מחדש שוב ושוב את הולכת הרגל כ«אובייקט לא ידוע», לאחר מכן «רכב», ולאחר מכן «אופניים», כאשר כל סיווג מאפס את חיזוי המסלול. בלימת חירום נקבעה כנדרשת רק 1.3 שניות לפני הפגיעה — כאשר הפיזיקה הפכה את ההתנגשות לבלתי נמנעת. אובר גם השביתה את ה-AEB המקורי של וולוו. רשתות תפוסה BEV פותרות זאת על ידי מעקב אחר נפח ולא אחר תוויות — המערכת יודעת שהחלל תפוס ללא קשר לסיווג.
בדיקות מסורתיות שואלות: «האם המערכת עוברת N בדיקות?» אימות פורמלי שואל: «האם קיים קלט כלשהו המוביל לפלט לא בטוח?». באמצעות פותרי SMT כמו Marabou ו-alpha-beta-CROWN, המערכת מוכיחה מתמטית תכונות בטיחות — למשל, שעבור כל הקלטים ב«ראות לקויה», תגובת הבלימה של ה-AI תמיד תחרוג מסף המינימום. אם קיימת דוגמה נגדית, הפותר מזהה את ההפרעה המדויקת, מה שמאפשר לחשל את המודל במהלך האימון.
תקן ISO 26262 מטפל בכשלי חומרה/תוכנה (תקלת חיישן, קצר), אך אינו מספק לסיכוני AI. תקן ISO 21448 (SOTIF) מטפל בסכנות כאשר ה-AI פועל בדיוק כמתוכנן אך נתקל בסביבות חדשות — תרחישי ה«לא ידוע/לא בטוח» שגרמו לכל כשל אוטונומי מרכזי. התקן דורש ניתוח סיכונים לשגיאות תפיסה, זיהוי תנאים מפעילים וסימולציה בנאמנות גבוהה. מטרת Veriprajna היא למקסם את רביע הידוע/בטוח תוך צמצום שיטתי של תרחישים לא ידועים/לא בטוחים.
Veriprajna מספקת את המומחיות ההנדסית העמוקה לבניית בינה מלאכותית שלא רק פועלת במעבדה — אלא מחזיקה מעמד ומנצחת בעולם האמיתי.
שתפו איתנו פעולה כדי לתכנן אוטונומיה בת-אימות ובעלת רמת ביטחון גבוהה עבור המערכות הקריטיות שלכם.
ניתוח אסטרטגי מקיף: דפוסי הכשל של Uber ATG, GM Cruise, Tesla FSD ו-Waymo. ארכיטקטורת BEV, אימות פורמלי, מסגרת עמידה ב-ISO והדרך לוודאות דטרמיניסטית.