ראייה ממוחשבת מוגבלת-פיזיקה

הפיזיקה גוברת על הפיקסלים.

תחת זרקורים, ראש קירח ומבריק יכול לזכות בציון של "כדור" ברמת ביטחון של 98%, ומצלמה שעוקבת אחר רמת הביטחון הגבוהה ביותר סוטה אל מחוץ למגרש. Plumbline היא שכבת שערי פיזיקה דטרמיניסטית המוצבת לאחר הגלאי שלכם ודוחה את הזיהוי שהפיזיקה אוסרת עליו, תוך שמירה על נעילה רציפה על הכדור האמיתי.

זוהי שכבת האימות שבין הגלאי שלכם לבין מערכת הפעולה. הריצו אותה, ולאחר מכן קראו את הנימוק הפיזיקלי שהיא תיעדה עבור כל החלטה.

סיור מודרך בליווי הסבר קולי בלוח המחוונים הפעיל של Plumbline ‏(3:58).

97.7%

זמן על המטרה, שער פיזיקלי

בנצ'מרק סינתטי, seed 7

82.3σ

המתחזה הגרוע ביותר, נדחה מעבר לקו ה-5σ

ביקורת bald_linesman,‏ 44 פריימים

68.3%

זמן על המטרה, קטע שידור אמיתי

YOLO11x אמיתי, 240 פריימים, מרחב התמונה

שני היקפי הבנצ'מרק נשמרים בנפרד לכל אורך עמוד זה. הנתון הסינתטי הוא מקסימום מבוקר מול ground truth ידוע; הנתון מצילום הווידאו האמיתי נמוך יותר, בכנות, בווידאו אמיתי ומאתגר.

לגלאי אין זיכרון לגבי המקום שבו אובייקט אמיתי יכול להימצא בשלב הבא

הכשל הוא כשל פיזיקלי, לא כשל בזיהוי.

גלאי אובייקטים הוא בלתי תלוי בפריימים. הוא מעניק ציון לכל תמונה על בסיס מרקם וצורה, ללא שום מושג היכן אובייקט אמיתי יכול להימצא פיזית בפריים הבא. תחת זרקורי אצטדיון, ראש קירח בוהק כמו כדור, ולכן הגלאי מנפיק זיהוי "כדור" ברמת ביטחון של 98% על הראש בעוד שהכדור האמיתי מקבל ציון נמוך יותר, ומצלמה שעוקבת אחר רמת הביטחון הגבוהה ביותר עוקבת אחר הראש במקום אחר המשחק.

זהו מקרה מתועד, לא היפותטי. באוקטובר 2020 במועדון אינוורנס קלדוניאן ת'יסל (Inverness Caledonian Thistle), מצלמה אוטומטית של Pixellot עקבה אחר ראשו הקירח של קוון במקום אחר הכדור במשך משחק שלם (עמוד הפתרון Veriprajna WP43,‏ 2026). זהו גם אינו כשל חד-פעמי שמודלים מתקדמים יותר פותרים מעצמם: בנצ'מרק המעקב של SoccerNet עצמו מסכם כי מעקב מרובה-אובייקטים בכדורגל "רחוק מלהיות פתור", כאשר שום מעקב מודע-פיזיקה עדיין אינו משולב בשיטות הבנצ'מרק, פער מובהק (מחקר Veriprajna WP43,‏ 2026).

הסיבה שבעיה זו אינה נעלמת ככל שהגלאים משתפרים היא שזיהוי בלתי אפשרי פיזיקלית הוא שגוי בכל רמת דיוק של הגלאי. "כדור" שנמצא בגובה קבוע של 1.7 מ' ונע במהירות של 3 מייל/שעה אינו כדור, לא משנה עד כמה המודל בטוח בעצמו. עבור צוות הנושא באחריות משפטית להחלטה חזותית אוטומטית, מקרי קצה הם המקום שבו טמונות העלויות: הערכה מהתעשייה מעמידה אותם על "80% מזמן ההנדסה, 90% מעלויות התמיכה, 100% מהחשיפה לאחריות משפטית" (מחקר Veriprajna WP43,‏ 2026).

שלושה שערים דטרמיניסטיים שהמודל אינו יכול לעקוף

Plumbline פועלת במורד הזרם של הגלאי. היא בוחנת כל זיהוי מועמד ושואלת האם הפיזיקה מתירה אותו, ולאחר מכן מנתבת את הפריים לקבלה (accept), לבדיקה (review) או לשיוט (coast), ומתעדת את הנימוק בכתב.

שער 1: קינמטי

מסנן קלמן/UKF (מודל תהליך קליע יחד עם מודל מדידת חריר לא-ליניארי) חוזה היכן כדור אמיתי יכול להימצא. החידוש (innovation) של כל מועמד מומר למדד Mahalanobis של מרחק. ערכי הסף מסופקים כהגדרת תצורה: קבלה מתחת ל-3σ, דחייה מעל 5σ, סימון 3 עד 5σ כ-REVIEW. בפריים הגרוע ביותר של סצנת הקוון הקירח, המתחזה קיבל ציון של 82.3σ.

שער 2: זרימה אופטית

השער משווה בין מהירות הפיקסלים שחוזה המסלול לבין הזרימה האופטית המקומית של המועמד, ודוחה בעת אי-התאמה בכיוון או בגודל (טווח מוגדר: יחס זרימה בתוך [0.35, 3.0], קוסינוס 0.3 לפחות). "כדור" העומד כמעט ללא תנועה בעיצומו של המשחק נכשל בו.

שער 3: גיאומטרי

מודל החריר (pinhole) מספק את גודל הפיקסלים שבו כדור בקוטר 22 ס"מ יכול להשתרע בעומק המשתמע של המועמד, והשער דוחה גדלים בלתי אפשריים (טולרנס יחס גודל של 1.8x במסלול הסינתטי, 1.5x במסלול מרחב התמונה של צילום אמיתי). ראש בגודל של כ-50 פיקסלים אינו יכול להיות כדור של 22 ס"מ במרחק של כ-12 מ', שמשתרע על פני כ-22 פיקסלים.

שער מדיניות דטרמיניסטי מכריע לאחר מכן, תוך שימוש באותו קובץ gates.py ללא שינוי בשני נתיבי הקלט. הוא מאשר רק כאשר כל השערים עוברים בהצלחה. הוא מסמן מועמד גבולי (3 עד 5σ ללא כשל חמור) כ-REVIEW, והמעקב משייט על גבי התחזית (coasts), תוך הסלמה מבוקרת במקום העמדת פנים. הוא נכנס למצב COAST (חיזוי בלבד) כאשר כל מועמד נדחה, למשל בעת הסתרה קצרה, ורוכש מחדש את הכדור כאשר הוא מופיע שוב. ערכי הסף הם הגדרת תצורה, ואינם נקבעים על ידי מודל כלשהו.

כל החלטה נרשמת ברשומת ביקורת ייעודית לכל החלטה. הכותרת נושאת את ה-seed, התרחיש, מזהה הגלאי וספי השערים. כל פריים מפרט כל מועמד עם הסיווג שלו ורמת הביטחון, פסק הדין המספרי של כל שער והנימוק הברור שלו, הפעולה הסופית והמסלול הנעול. קריין ביקורת אופציונלי הופך את הטלמטריה הזו לסיכום אירוע ברור לצורך ייצוא, אך הוא מייעץ בלבד, אינו נמצא לעולם בנתיב הקבלה או הדחייה, והוא נסוג לסיכום תבניתי דטרמיניסטי כאשר אין מפתח מודל או גשר זמינים, כך שההדגמה פועלת לחלוטין ללא חיבור רשת.

אותה מדיניות של שלושה שערים פועלת על שני סוגי קלט, וזהו כל העניין. בסצנות הסינתטיות היא משתמשת במסנן קלמן בלתי מבושם (Unscented Kalman Filter) במרחב העולם. בקטע השידור האמיתי היא פועלת במישור התמונה עם מסנן קלמן דו-ממדי (kf2d), מכיוון שקטע בודד שאינו מכויל אינו מספק עומק מטרי, וזיוף של מסנן תלת-ממדי היה בגדר חוסר כנות. השערים מנוצלים מחדש ללא שינוי; רק המסנן משתנה ביושר. זה מה שהופך את השכבה לאגנוסטית לגלאי: הערך טמון בשערים, לא בגלאי.

מה השערים עושים, פריים אחר פריים

צילומי המסך שלהלן הם מלוח המחוונים הפעיל בפועל של Plumbline. המתחזה בעל הראש הקירח הוא שחזור שהוזרק על ידי המחברים של התקרית המתועדת משנת 2020, כפי שמצוין במפורש באפליקציה.

מסך מפוצל של Plumbline: משמאל תיבת המעקב הנאיבית יושבת על ראשו הקירח של הקוון, מימין המעקב מבוסס שערי הפיזיקה נשאר על הכדור האמיתי בעוד הזנת השערים החיה מציגה את מועמד הראש נדחה ב-82.3 סיגמא.

דחיית הקוון הקירח (סינתטי)

לאורך סצנה בת 44 פריימים, הגלאי המדומה מפיק 18 זיהויי "כדור" שגויים ברמת ביטחון גבוהה על ראשו של הקוון, ברמת ביטחון של עד 98%. שלושת השערים דוחים את כל 18 הזיהויים. המתחזה הבודד הגרוע ביותר מקבל ציון של 82.3σ בשער הקינמטי, הרחק מעבר לקו הדחייה של 5σ, בעוד שהכדור האמיתי, ברמת ביטחון של כ-87% וב-0.4σ, עובר את שלושתם ונשאר נעול. בתרחיש בודד זה החזיקה שכבת הפיזיקה ב-97.7% זמן על המטרה עם החלפת מזהה (ID switch) אחת בלבד, לעומת 59.1% למעקב אחר הביטחון הגבוה ביותר ו-20.5% לסף מוגבה (הסיכום הסינתטי של שלושת התרחישים מופיע בטבלת ההשוואה בהמשך).

Plumbline בתרחיש הסתרה: שחקן חוצה לפני הכדור, הגשש הנאיבי קופץ אל השחקן, וגשש הפיזיקה שומר על מיקום חזוי המסומן כ-COAST עד שהכדור מופיע מחדש.

שיוט (Coasting) במהלך הסתרה (סינתטי)

כאשר שחקן חוצה לזמן קצר את מסלול הכדור, הגשש הנאיבי מאבד אותו או נתפס לשחקן. גשש הפיזיקה נכנס למצב COAST ומתקדם על גבי התחזית לאורך הפער, ולאחר מכן רוכש מחדש את הכדור כשהוא מופיע שוב. הוא לעולם אינו ממציא זיהוי כדי למלא את החלל; הוא חוזה, מסמן את המצב וממתין.

Plumbline פועלת על קטע שידור אמיתי עם זיהויי YOLO11x אמיתיים במרחב התמונה, ומציגה את לוח התוצאות עם 68.3% זמן על המטרה לפיזיקה לעומת 43.8% ו-30.0% עבור שני קווי הבסיס.

אותם השערים על צילום אמיתי

בקטע שידור אמיתי בן 240 פריימים, זיהויי YOLO11x אמיתיים מזינים את אותם שלושה שערים הפועלים במרחב התמונה. השערים החזיקו את הכדור ב-68.3% מהפריימים לעומת 43.8% של הגשש הנאיבי ו-30.0% של הגשש עם סף מוגבה, עם 4 החלפות מזהה (ID switches) לעומת 7 ושגיאה ממוצעת של 26.2 פיקסלים לעומת 193.0 פיקסלים. נתון זה נמוך בכנות מהתקרה הסינתטית כיוון שצילום אמיתי הוא קשה יותר. הכיוון הכללי — הפיזיקה מנצחת את שני קווי הבסיס — נשמר גם בזיהויים אמיתיים, ולא רק בסימולציות.

יומן ההחלטות המיוצא של Plumbline פתוח בדפדפן, ומציג את הכותרת עם ה-seed וספי השערים ושורות לפי פריים המפרטות כל מועמד, פסקי דין של השערים ואת הנימוק הפיזיקלי הברור לכל החלטה.

נימוק פיזיקלי מתועד עבור כל החלטה

יומן ההחלטות המיוצא חושף את מלוא נתיב הביקורת: seed, תרחיש, מזהה הגלאי וערכי הסף בחלק העליון, ולאחר מכן תיעוד לכל פריים של סיווג כל מועמד ורמת הביטחון שלו, פסק הדין המספרי של כל שער עם הנימוק הברור שלו, הפעולה הסופית והמעקב הנעול, כשהוא נחתם בלוח התוצאות. עבור צוות הנושא באחריות משפטית להחלטה חזותית אוטומטית, זהו תיעוד מוסמך ובר-הגשה של הסיבות שבגינן ניתן אמון בכל זיהוי או שנדחה.

ההשוואה המדודה, עם ההיקף המדויק שלה

אלו הם מדדי איכות מעקב, בלתי תלויים באיכות הגלאי. הם אינם מהווים בשום אופן שיעור שגיאות מודל ולעולם אינם מהווים ערובה בעולם פתוח (open-world). שתי הקבוצות להלן מוגדרות בהיקפים שונים ואינן מעורבבות.

מצרף סינתטי (seed 7, על פני bald_linesman, הסתרה וסצנה נקייה)

גשש	זמן על המטרה	החלפות מזהה	שגיאה ממוצעת (px)	החמצה בערכה נקייה
פיזיקה של Veriprajna	97.7%	3	2.7	2.3%
B1: מעקב אחר הביטחון הגבוה ביותר	80.3%	4	63.0	0.0%
B2: סף ביטחון מוגבה	40.2%	29	115.0	43.2%

צילום שידור אמיתי (YOLO11x אמיתי, 240 פריימים, שערי מרחב התמונה)

גשש	זמן על המטרה	החלפות מזהה	שגיאה ממוצעת (px)
פיזיקה של Veriprajna	68.3%	4	26.2
B1: מעקב אחר הביטחון הגבוה ביותר	43.8%	7	193.0
B2: סף ביטחון מוגבה	30.0%	1	245.1

הנתון שמבסס את התזה הוא תוצאת האורתוגונליות. בערכה הסינתטית הנקייה, העלאת סף הביטחון (B2) משמיטה 43.2% מהכדורים האמיתיים בעלי רמת ביטחון נמוכה, בעוד שהפיזיקה מגבילה את ההחמצה בערכה הנקייה ל-2.3% בלבד, שהיא השהיית רכישה של פריים אחד ולא תוצאה שלילית שגויה (false negative). סיבוב כפתור הביטחון מחליף שגיאה אחת באחרת. הפיזיקה פועלת בצורה אורתוגונלית אליו. (החלפת המזהה הבודדת של B2 בצילום האמיתי היא תופעת לוואי של העובדה שהוא כמעט ולא עקב אחר דבר עם 30% בלבד על המטרה, ולא ניצחון).

מה שהדגמה זו אינה עושה

זוהי הדגמה ניתנת להרצה המוכיחה את מנגנון השערים, ולא תשתית מבצעית פרוסה (pipeline).
המתחזה בעל הראש הקירח הוא שחזור שהוזרק על ידי המחברים של תקרית 2020, ולא רעש גלאי אורגני שנלכד בשידור חי.
נתיב הצילום האמיתי מוגדר ביושר במרחב התמונה (מסנן קלמן דו-ממדי), ולא כמסנן מכויל תלת-ממדי במרחב העולם, מכיוון שקטע וידאו בודד שאינו מכויל אינו כולל עומק מטרי.
קווי הבסיס מייצגים את מחלקת מצבי הכשל הנאיביים לפיזיקה (B1 ו-B2), ולא ספק ספציפי בעל שם. איננו טוענים לביצועי מעקב עדיפים על Pixellot,‏ Veo,‏ Spiideo או כל מוצר מסחרי קיים, והקושחה המאוחרת יותר של Pixellot כבר תיקנה את המקרה המילולי של הראש הקירח.
YOLO11x משמש כגלאי הניתן להחלפה בקטע האמיתי, במצב לא מקוון (offline). איננו בונים או משפרים את הגלאי.
שער הפרלקסה למוליכים למחצה ושער ההחזרה לייצור תעשייתי הם נתיב הרחבה בממשק מודולרי (pluggable), שנדחו ואינם מודגמים כאן.
אין לייחס מכך לקוחות, הטמעות, ליגות או גופי שידור כלשהם. תקרית אינוורנס משנת 2020 ו-SoccerNet הם מקורות ציבוריים מצוטטים, ולא לקוחות שלנו.
קריין הביקורת הוא מייעץ בלבד. הוא מסביר החלטות; הוא לעולם אינו מקבל אותן.

שאלות שצוותי הנדסה ומוצר שואלים

האם זה לא פשוט גלאי טוב יותר, או מעטפת (wrapper) סביב YOLO?

לא. Plumbline מוצבת במורד הזרם של כל גלאי שבו אתם כבר משתמשים ומחליטה לאילו מזיהויי המועמדים שלו לתת אמון. בהדגמה, אותו קוד שערים פועל על גלאי 'קופסה שחורה' מדומה עבור הסצנות הסינתטיות ועל זיהויי YOLO11x אמיתיים עבור קטע השידור. איננו נוגעים באיכות הפלט של הגלאי. המוצר הוא שכבת השערים הדטרמיניסטית סביבו, כך שהערך נשמר גם ככל שהגלאי הבסיסי משתפר.

מדוע לא פשוט להעלות את סף הביטחון כדי להשמיט את הכדור השגוי?

מכיוון שזהו הכפתור הלא נכון. בערכה הסינתטית הנקייה, העלאת סף הביטחון משמיטה 43.2% מהכדורים האמיתיים בעלי רמת ביטחון נמוכה, בעוד שהיא עדיין לוכדת את המתחזה בעל הביטחון הגבוה. שערי הפיזיקה פועלים בצורה אורתוגונלית לרמת הביטחון: הם הגבילו את ההחמצה בערכה הנקייה ל-2.3%, שהיא השהיית רכישה של פריים אחד ולא כדור שהושמט. אינכם יכולים להפריד בין כדור אמיתי למתחזה על פי הציון בלבד כאשר המתחזה מקבל ציון גבוה יותר.

האם זה באמת עובד על צילום אמיתי, או רק בסימולציה?

שניהם, ואנו מקפידים להפריד בין השניים בבירור. בהרצה סינתטית מבוקרת עם ground truth ידוע (seed 7), שכבת הפיזיקה שמרה על 97.7% זמן על המטרה לעומת 80.3% למעקב אחר הביטחון הגבוה ביותר ו-40.2% לסף מוגבה. בקטע שידור אמיתי בן 240 פריימים עם זיהויי YOLO11x אמיתיים, אותם שערים החזיקו את הכדור ב-68.3% מהפריימים לעומת 43.8% ו-30.0%. הנתון מצילום אמיתי נמוך יותר בכנות כיוון שווידאו אמיתי מורכב יותר. לעולם איננו מצטטים את הנתון הסינתטי כתוצאה של העולם האמיתי.

כיצד אני יודע שהשערים הם שהכריעו, ולא מודל שפה?

שלושת השערים הם קוד numpy ו-scipy פשוט מחוץ למודל כלשהו: שער קינמטי של קלמן/UKF (קבלה מתחת ל-3 סיגמא, דחייה מעל 5 סיגמא), שער עקביות זרימה אופטית ושער פרספקטיבה גיאומטרית. האמון אינו תלוי בדיווח עצמי של מודל. קיים קריין ביקורת אופציונלי שהופך את טלמטריית השערים לסיכום בשפה ברורה, אך הוא בעל תפקיד מייעץ בלבד ולעולם אינו נמצא בנתיב הקבלה או הדחייה, והוא נסוג לסיכום תבניתי דטרמיניסטי כאשר אין מפתח זמין.

האם אני יכול לראות מדוע זיהוי ספציפי התקבל או נדחה?

כן. כל החלטה נושאת נימוק פיזיקלי מתועד. יומן ההחלטות המיוצא מתעד את ה-seed, התרחיש, מזהה הגלאי וספי השערים בכותרת, ולאחר מכן מפרט לכל פריים כל מועמד עם הסיווג שלו ורמת הביטחון, פסק הדין המספרי של כל שער והנימוק הברור שלו (לדוגמה, Mahalanobis בערך 82 סיגמא מעל קו ה-5 סיגמא, בלתי אפשרי קינמטית), הפעולה הסופית והמעקב הנעול. ניתן לייצא אותו כ-JSON או כ-HTML.

האם זה מוכן לפריסה מבצעית, והאם זה מנצח את Pixellot או את Veo?

לא בשני המקרים. זוהי הדגמה ניתנת להרצה המוכיחה את מנגנון השערים, ולא תשתית מבצעית פרוסה. קווי הבסיס שאנו מנצחים הם מחלקת מצבי הכשל הנאיביים לפיזיקה (מעקב אחר הביטחון הגבוה ביותר, והעלאת הסף), ולא ספק ספציפי בעל שם. איננו טוענים לביצועי מעקב עדיפים על מוצר מסחרי קיים, ויצרניות המצלמות המוכרות כבר תיקנו את המקרה הספציפי של הקוון הקירח מ-2020 בקושחה מאוחרת יותר. המתחזה בעל הראש הקירח בהדגמה הוא שחזור שהוזרק על ידי המחברים של אותה תקרית מתועדת, ולא רעש גלאי אורגני שנלכד בשידור חי.

מחקר טכני

המחקר שמאחורי הדגמה זו — הארכיטקטורה, תכנון האימות והמתווה הארגוני.

פתרון מלא

גלו את הפתרון של ראייה ממוחשבת מוגבלת-פיזיקה →

הציבו שער פיזיקלי בין הגלאי שלכם לבין מערכת הפעולה

אם החלטה חזותית אוטומטית כרוכה באחריות משפטית בעולמכם, מצב הכשל הוא בפיזיקה, לא ברמת הביטחון.

בנינו את Plumbline כדי להראות ששכבת שערים דטרמיניסטית יכולה לדחות זיהוי בלתי אפשרי פיזיקלית ולהותיר נימוק בר-הגשה לכך. אותה תשתית מתאימה לסט חוקי פיזיקה שונה: שער פרלקסה למפעל שבבים (fab), שער החזרה לקו ייצור. ספרו לנו מהו האילוץ שהגלאי שלכם מפר שוב ושוב, ואנו נבחן יחד האם שכבת שערים מתאימה.

סקירת מצבי כשל בראייה ממוחשבת

✓ מיפוי המקומות שבהם רמת הביטחון של הגלאי והפיזיקה אינם מסכימים
✓ זיהוי האיתורים הבלתי אפשריים פיזיקלית שלפיהם אתם פועלים כיום
✓ הגדרת האילוצים הקינמטיים, אילוצי הזרימה והאילוצים הגיאומטריים החלים
✓ אפיון נתיב הביקורת הנדרש להחלטה החשופה לאחריות משפטית

בניית שכבת שערי פיזיקה

✓ שערים דטרמיניסטיים כקוד שניתן לבדיקה עצמאית מחוץ למודל כלשהו
✓ אגנוסטי לגלאי: השאירו את הגלאי שבו אתם כבר משתמשים
✓ יומן ביקורת לכל החלטה עם נימוק פיזיקלי מתועד
✓ מדדי איכות מעקב שנשמרים ככל שהגלאי משתפר

צרו קשר באמצעות WhatsApp שלחו דוא"ל לצוות שלנו