הבינה המלאכותית עקבה אחר ראש קירח לאורך כל המשחק. עוד נתוני אימון לא יתקנו את זה.

באוקטובר 2020, מצלמה אוטומטית במשחק כדורגל סקוטי בילתה את כל המשחק במעקב אחר ראשו הקירח של שופט קו במקום אחר הכדור. הקליפ הפך לוויראלי. רוב האנשים צחקו עליו כתקלה חמודה. אני צפיתי בו בלולאה מסיבה אחרת: המערכת לא הייתה מקולקלת. היא עשתה בדיוק את מה שבנינו אותה לעשות.

הקליפ הזה הוא ההמחשה הברורה ביותר לכך מדוע ראייה ממוחשבת מוגבלת-פיזיקה היא הדבר היחיד שהופך מערכות ראייה לאמינות בסביבת ייצור — ומדוע הצפת הבעיה בעוד נתוני אימון, מה שניסיתי תחילה, אינה פותרת אותה.

תחת זרקורי האצטדיון, ראש קירח מייצר הבהקים ספקולריים — השתקפויות בהירות, עגולות, לבנות — עם מפלי פיקסלים שסטטיסטית אינם ניתנים להבחנה מכדורגל. הגלאי, CNN סטנדרטי ממשפחת YOLO, עיבד כל פריים בנפרד והקצה ביטחון של 98% ל"כדור" על הראש. הכדור האמיתי, מיטשטש בין הצללים במהירות, קיבל 80%. המערכת עקבה אחר המספר הגבוה יותר. זה לא באג. זה המודל שמאמין לעיניו שלו.

גלאי מוצא דפוסים. אין לו מושג ש"כדור" היושב בגובה קבוע של 1.7 מטר מעל הקרקע, מחובר לגליל אנכי, צועד לאורך קו הצד, הוא בלתי אפשרי פיזיקלית.

הפתרון אינו מערך נתונים טוב יותר. הפתרון הוא פיזיקה.

בעיית הראש הקירח נמצאת בכל מקום — היא פשוט לא תמיד הופכת לוויראלית

ביליתי שנים בהטמעת צינורות ראייה בשני עולמות שאינם דומים כלל: תרני אצטדיון העוקבים אחר כדור, וקווי ייצור שבבים הבוחנים סיליקון. הם חולקים מחלה אחת. המודל רואה צורה שהוא מזהה ומדווח עליה, ללא מנגנון לשאול האם מה שהוא מדווח יכול להתקיים בעולם הפיזי.

בבדיקת מוליכים למחצה, הסימפטום אינו ראש קירח — הוא פגם המטרד. KLA מחזיקה בכ-63% משוק בקרת התהליך, וכלי הרוחב-פס שלה מסדרת 2900 מסוגלים להפריד מאפיינים קטנים עד 10 ננומטרים. רגישות הזיהוי אינה צוואר הבקבוק. צוואר הבקבוק הוא שסריקת רוחב-פס אחת מסמנת אלפי חריגות לכל פרוסה, ורובן הן אבק, ארטיפקטים משטחיים, או רעש דפוס שלעולם לא ייגע בתפוקה. כל אחת מהן עדיין חייבת להיות מסווגת על ידי מודל למידה עמוקה שאומן על ספרייה של פגמים היסטוריים.

הנה מה שאין למודל הזה: כל הבנה של האופן שבו האור מקיים אינטראקציה פיזיקלית עם גומה לעומת כתם לעומת שארית תהליך. לכן כאשר מפעל ייצור עובר לצומת תהליך חדש — למשל, gate-all-around ב-2 ננומטר — ספריית האימון מתיישנת בן לילה ושיעור המטרד מזנק. ועלות הטעות אינה מופשטת. אובדן תפוקה של 1% בצמתים מתקדמים מגיע למיליונים, מכיוון שפרוסה בודדת יכולה לעלות עשרות אלפי דולרים.

רצפת הייצור סובלת מאותה מחלה בהופעה שקטה ומרושעת יותר. בקו ייצור המריץ בקרת איכות מבוססת בינה מלאכותית, כמעט לעולם אינך יודע בזמן אמת מתי המודל טועה, מכיוון שאין תוויות אמת-קרקע היושבות ליד המצלמה. זווית תאורה זזה לאחר תחזוקה. עדשה מתערפלת במהלך כמה שבועות. תפסנית נשחקת. דחיות שווא מטפסות ואתה מקבל לולאות עיבוד חוזר, או קבלות שווא מתגנבות ואתה מקבל בריחות — ואתה מגלה איזו מהן רק כאשר בריחת איכות מכריחה בלימה, הסגר, בדיקה חוזרת מלאה.

המודל לא נכשל ברעש. הוא סחף בשקט, ואות האזעקה הראשון היה החזרה של לקוח.

השקט הזה יקר. עלות האיכות הירודה נעה סביב 20% מסך המכירות עבור היצרן הממוצע. פגם שנתפס בשלב התכנון עולה כ-100 דולר; אותו פגם שנתפס בייצור עולה 10,000 דולר. אינטל דיווחה על חיסכון של כ-2 מיליון דולר בשנה רק בזכות הימנעות מגרוטאות באמצעות בדיקה מבוססת בינה מלאכותית. היתרון אמיתי — וזו בדיוק הסיבה שמצב הכשל של הסחף השקט כה מכרסם. הוא אוכל את היתרון מבלי לומר לך.

והתיקון-היתר יקר בדיוק כמו הסחף. ראיתי מתקן בדיקה אופטית אוטומטית בשווי מיליוני דולרים מכובה בשקט מכיוון שהכוונון שלו היה כה אגרסיבי שהוא דחה חלקים טובים מהר יותר משתפס גרועים — הוא לא הצליח לעבור מבחן Knapp, התקן ששואל האם הבדיקה שלך אכן מבחינה בין פגמים לבין שונות מקובלת. מערכת המגינה על התפוקה על הנייר ומשמידה אותה בפועל גרועה יותר מאין מערכת, מכיוון שמישהו שילם עליה ומישהו כעת אינו בוטח בכל החלטה אוטומטית שהיא נוגעת בה.

מדוע יותר נתוני אימון אינם פותרים את זה?

כשהצוות שלי נתקל בקיר הזה לראשונה, הייתי בטוח בתשובה, וטעיתי.

האורתודוקסיה בראייה ממוחשבת היא שמקרי קצה הם בעיית נתונים. המודל שלך נכשל בדברים המוזרים מכיוון שהוא לא ראה מספיק דברים מוזרים, אז אתה הולך לאסוף עוד מהם. האמנתי בזה. תמכתי בזה. בנינו מערך נתונים גדול הרבה יותר, מגוון הרבה יותר — תאורה שונה, זוויות שונות, עוד מהמקרים המבלבלים — ואימנו מחדש. המספרים של המודל על סט האימות היו יפהפיים. אני זוכר שהרגשתי כאילו סגרנו את הפער.

ואז הצבנו אותו על קו אמיתי, וצוות תחזוקה כוונן גוף תאורה, ופח הדחיות התחיל להתמלא בחלקים טובים.

שום דבר במערך הנתונים המרהיב שלנו לא כיסה את גיאומטריית התאורה החדשה המדויקת הזו, מכיוון שהגיאומטריה הזו לא הייתה קיימת כשאספנו את הנתונים. יכולנו ללכת ולאסוף אותה גם — ואז לרדוף אחר ההיסט הבא, וערפול העדשה הבא, לנצח. זה הרגע שבו המשפט שנקר בי סוף סוף נחת: מקרי קצה אינם 5% מהבעיה. הם 80% מזמן ההנדסה, 90% מעלות התמיכה, ו-100% מהאחריות. אינך יכול למנות את דרכך החוצה ממערכה אינסופית.

אחד המהנדסים שלי רצה להמשיך להדק — להעלות את סף הביטחון עד שהתוצאות החיוביות-השגויות ייעלמו. זה עובד על שקופית. בפועל, דחיפה לעבר אפס תוצאות חיוביות-שגויות פשוט מחליפה אותן בתוצאות שליליות-שגויות: כעת אתה מפספס את הפגמים האמיתיים, את האיומים האמיתיים, את הדברים שלמענם באמת פרסת את המערכת כדי לתפוס. אחרי מספיק ויכוחים כאלה נאלצתי לומר זאת בקול: כל כפתור שידענו לסובב היה דרך להזיז את הכשל ממקום למקום, לא להסיר אותו.

זו אינה חוויה שולית. בערך 95% מפרויקטי הראייה הממוחשבת לעולם אינם מגיעים לייצור, והסיבה כמעט לעולם אינה האלגוריתם — היא בדיוק סוג כזה של קריסת יישום, הפער בין מודל שעובד במעבדה לבין כזה ששורד את הרצפה. מחקר של MIT מצא ש-95% מפיילוטי הבינה המלאכותית הארגוניים נכשלו בהשגת החזר השקעה מדיד תוך שישה חודשים. עמדנו להפוך לשורה בסטטיסטיקה הזו.

מה מגבלות פיזיקה עושות באמת

נקודת המפנה הייתה קטנה וכמעט מביכה במבט לאחור.

במקום לבקש מהגלאי להיות בטוח יותר, הצבנו שער לפני הפלט שלו ששאל שאלה פיזיקלית: האם הדבר הזה יכול היה לנוע בדרך שאתה טוען שהוא נע? מסלול שמפר את הקינמטיקה של עצם בעל מסה ותנע — זיהוי שקופץ מרחק שאף כדור לא יכול לכסות בין שני פריימים — נדחה עוד לפני שמאמינים לו. לא נגענו בגלאי. שיעור התוצאות החיוביות-השגויות ירד בכל זאת.

זה כל הרעיון, והוא מתכלל. עצם במעקב אינו יכול לשגר את עצמו בין פריימים. לפגם אמיתי יש פרלקסה — הוא נע ביחס לרקע כשנקודת המבט משתנה, בדרך שצל לעולם לא ינוע. לצל אין עומק. אלה מגבלות שהעולם הפיזי מציית להן בחינם, והן אינן זזות כשהתאורה שלך זזה. התכונות הפיזיקליות של חלק שיוצר כראוי אינן משתנות כאשר תפסנית נשחקת או תאורה מוזזת קלות. זה הופך את הפיזיקה לעוגן היציב היחיד במערכת שבה כל דבר מונע-נתונים סוחף.

העלאת סף ביטחון מבקשת מהמודל לבלף חזק יותר. מגבלת פיזיקה פשוט מסרבת להאמין לבלתי אפשרי.

אז השאלה שאנחנו שואלים כעת אינה "האם זה נראה כמו חלק טוב בהשוואה לתמונות האימון?" אלא "האם התמונה הזו עקבית עם הגיאומטריה הידועה וההתנהגות החומרית של העצם האמיתי?" אלה שאלות שונות באופן עמוק, ורק השנייה שורדת מעבר צומת-תהליך או חלון תחזוקה של יום שלישי אחר הצהריים.

קיימת ערכת כלים בשלה לכך, והאמת הכנה היא שרובה חי במאמרים מחקריים ולא במוצרים בפועל. ניתן לצרוב פיזיקה למערכת ראייה בשלוש דרכים: לתוך ארכיטקטורת הרשת עצמה, לתוך פונקציית ההפסד כקנס מבוסס-פיזיקה במהלך האימון, או לתוך ייצור נתונים סינתטיים באמצעות רינדור מדויק-פיזיקלית. המלכוד — זה ששומר את זה מחוץ לייצור — הוא שהפיזיקה בדרך כלל נעצרת בזמן האימון. המודל הפרוס הוא עדיין קופסה שחורה מונעת-נתונים טהורה ברגע ההיסק, כשזה באמת חשוב.

העבודה שאנו נשענים עליה סוגרת את הפער הזה בזמן ההיסק. מעקב מודרני משלב מסנן קלמן קלאסי — שיטה בת עשרות שנים להערכת המיקום הבא של עצם נע, בהינתן חוקי התנועה — עם למידה עמוקה, במקום לבחור באחד מהם. גישות כמו KalmanNet מסייעות למסנן באמצעות רשת עצבית לדינמיקות שאינן ידועות במלואן. מערכת מ-2026 בשם Phys-3D אוכפת תנועה תלת-ממדית סבירה פיזיקלית באמצעות גיאומטריית מצלמת-חור-סיכה ומדווחת על שגיאת ספירה של 2.97% אפילו דרך הסתרה צפופה ורעידת מצלמה. PhyOT מרחיקה לכת ומתייחסת לרשת העצבית עצמה כאל חיישן המזין מערך קלמן הנשלט על ידי חוקי ניוטון. החוט המשותף: הרשת מציעה, והפיזיקה מכריעה. מערכות הראייה מוגבלות-הפיזיקה שאנו בונים מכניסות בדיוק סוג כזה של שכבת מגבלה לתוך נתיב ההיסק — סינון קלמן, שערי זרימה אופטית, וארכיטקטורה מיודעת-פיזיקה — כך שדחיית הבלתי אפשרי מתרחשת בזמן אמת, לא במחברת אימון.

מדוע הספקים הגדולים פשוט לא עושים את זה?

אנשים שואלים אותי את זה כל הזמן, בדרך כלל בנימה של חשד — אם מגבלות פיזיקה כל כך ברורות ונכונות, מדוע Hawk-Eye או KLA אינן מספקות אותן כברירת מחדל? התשובה היא שלמובילים יש מעט פיזיקה, אבל כמעט תמיד במקום הלא נכון, והפערים מלמדים.

Pixellot, לאחר עידן הראש הקירח, הוסיפה מעקב רב-השערות שחיסל במידה רבה את המחלקה הספציפית הזו של שגיאה — אבל הפיזיקה שלהם היא החלקת מסלול בדיעבד, לא שכבת מגבלה, כך שמצבי כשל חדשים (OCR של חולצה תחת טשטוש תנועה, היטל נבדל על מגרש לא-שטוח) ממשיכים להופיע. וזה אינו אנקדוטלי: ב-SoccerNet, מדד המעקב הספורטיבי הציבורי הגדול ביותר, מעקב רב-עצמים עדיין נמדד כרחוק מלהיפתר בתנועה מהירה והסתרה כבדה, ועדיין לא שולב בו שום גשש מודע-פיזיקה. החלל הריק הזה הוא כל ההזדמנות. Hawk-Eye, בבעלות Sony, בעלת מגבלות גיאומטריות חזקות באמת — היא משלשת מנקודות ראות של שש עד שמונה מצלמות 4K ו-8K מכוילות, עוקבת אחר 29 נקודות שלד לכל שחקן, ומדויקת מספיק כדי שה-NFL משתמשת בה למדידות first-down. אבל הקפדנות הזו עולה מעל מיליון דולר לכל אתר ודורשת תשתית ייעודית. זו אינה שכבה שאתה מוסיף לצינור הקיים שלך; זו התאמה מחדש של אצטדיון.

בצד התעשייתי הדפוס חוזר על עצמו. מודלי פיזיקת-הפגמים של KLA אמיתיים אך מקובעים לצמתי-תהליך ספציפיים, וזו הסיבה מדוע מעברי צמתים מקפיצים את שיעור המטרד — וההשקעה של KLA עצמה בסך 2.3 מיליארד דולר בבדיקה מהדור הבא היא סימן שהם יודעים שהפער קיים. כלי הלמידה העמוקה ViDi של Cognex מצוינים ומסוגלים להתאמן מ-5–10 תמונות בלבד, וחותכים את זמן ההקמה ב-90% — אבל אין פיזיקה בהיסק, כך שהם חשופים לסחף שקט כמו כל אחד אחר. והמערכת האקולוגית Metropolis ו-Omniverse של NVIDIA מדמה פיזיקה מרהיבה — לצורך ייצור נתוני אימון סינתטיים. הפיזיקה נעצרת באימון; המודל הפרוס עדיין מונע-נתונים.

לרוחב כל התחום, עמודת "שילוב הפיזיקה" היא ריקה או מכוונת לאימון. המודל הפרוס, זה שמקבל את ההחלטה בזמן אמת, עדיין מנחש מתוך פיקסלים.

זה הפער שאנחנו בונים לתוכו. לא פלטפורמה, לא התאמה מחדש של אצטדיון — שכבת מגבלת-פיזיקה שיושבת בצינור הקיים שלך ודוחה את הבלתי אפשרי לפני שהוא הופך ליקר. בין אם אתה מפעיל מצלמות אוטומטיות מעל מגרש, בוחן פרוסות ב-10 ננומטר, או מסווג פגמים בקו, המגבלה מחזיקה כשהתאורה זזה, מכיוון שהתאורה היא בדיוק מה שהפיזיקה אינה תלויה בו.

החלק שאיש אינו רוצה לשמוע על "אפס תוצאות חיוביות-שגויות"

כל קונה מבקש ממני בסופו של דבר אפס תוצאות חיוביות-שגויות. אני מבין את האינסטינקט, ואני אומר להם את אותו הדבר בכל פעם: זה בר-השגה טכנית וזה כנראה יזיק לך.

דחיפת מערכת לעבר אפס תוצאות חיוביות-שגויות מעלה בהכרח את התוצאות השליליות-השגויות — הפגם האמיתי שהוחמץ, האיום שחומק. המטרה לעולם אינה אפס מסוג אחד של שגיאה; היא האיזון הנכון לסיכונים הספציפיים של היישום שלך. מה שמגבלות פיזיקה נותנות לך הוא גבול טוב יותר לאזן עליו. הפחתה קונבנציונלית של תוצאות חיוביות-שגויות — כוונון סף, כיול, מקודדים-אוטומטיים שמחקרים מראים שיכולים לחתוך תוצאות חיוביות-שגויות בכל מקום בין 22% ל-87% — כולם פועלים על הביטחון של המודל. הפיזיקה פועלת על המציאות. היא דוחה את הזיהוי הבלתי אפשרי פיזיקלית מבלי להפוך את המודל לביישן יותר לגבי העמום באמת. אתה מקבל פחות התראות שווא וגם אינך משלם על כך בפגמים שהוחמצו, מכיוון שהסרת קטגוריה של שגיאה במקום להחליף אותה.

יש כאן גם רוח גבית רגולטורית, והיא אינה זו שאנשים מצפים לה. ההוראות המרכזיות של חוק הבינה המלאכותית של האיחוד האירופי נכנסות לתוקף ב-2 באוגוסט 2026, ובעוד שרוב הבדיקה התעשייתית אינה מסווגת כמעקב ביומטרי בסיכון גבוה, דרישות התיעוד והשקיפות של החוק דוחפות באופן רחב לעבר מערכות שאת החלטותיהן אתה יכול להסביר. קופסה שחורה מונעת-נתונים שאומרת "כדור, 98%" אינה יכולה לומר לך מדוע. מערכת שדחתה זיהוי מכיוון שהפר פרלקסה — כן יכולה. הפריכות אינה עוד רק הנדסה טובה; היא הופכת לעמדת ציות.

במה אני מאמין כעת

נכנסתי לזה משוכנע שראייה ממוחשבת היא בעיית נתונים ושהצוות עם מערך הנתונים הגדול והנקי ביותר ינצח. הטמעתי מודל שהוכיח שטעיתי על רצפת מפעל, מול אנשים שהתפוקה שלהם הייתה תלויה בו.

מה שאני מאמין בו כעת צר יותר ועמיד יותר. מודל ראייה שיודע רק כיצד דברים נראים נמצא לצמיתות במרחק שינוי תאורה אחד, צומת תהליך אחד, שופט קו קירח אחד מלומר לך בביטחון משהו בלתי אפשרי. המערכות ששורדות ייצור הן אלה שיודעות גם מה שהעולם הפיזי מתיר — ובודקות כל זיהוי מולו לפני שהן פועלות.

השוק עומד ללמוד זאת בדרך הקשה בקנה מידה רחב. ראייה ממוחשבת היא שוק של 33 מיליארד דולר ב-2026 הגדל בכמעט 20% בשנה, מערכות ראייה אג'נטיות מתחילות להפעיל פעולות בעולם האמיתי בסמכותן שלהן, וככל שהן הופכות אוטונומיות יותר, כך תשובה בלתי אפשרית בטוחה נעשית פחות נסבלת. אתה יכול להמשיך לאסוף צילומי מקרי-קצה ולרדוף אחר שינוי התאורה הבא, מעבר הצומת הבא, לנצח. או שאתה יכול ללמד את המודל את מערך הכללים האחד שלעולם אינו סוחף. אם אתה רוצה לראות כיצד אנחנו בונים את המגבלה הזו לתוך צינור ייצור, זה המקום שבו הייתי מתחיל.

כדור אינו יכול לשגר את עצמו. בנה את המערכת שיודעת זאת.