ה-AI של המיחזור שלכם מאחר ב-1.5 מטר — והפיזיקה לא תחכה
צפיתי בבקבוק PET מרוסק חולף על פני פולט פנאומטי במהירות של ארבעה מטרים לשנייה, ללא מגע, וידעתי שמשהו שבור מיסודו.
עמדנו במתקן להשבת חומרים — MRF, בקיצור התעשייתי — במקום רועש וחם כלשהו, וצפינו בהדגמה של מערכת מיון AI המחוברת לענן. המצגת הייתה מבריקה. לוח המחוונים היה יפהפה. הרשת העצבית יכלה לזהות שבעה-עשר סוגי חומרים בדיוק מרשים על שולחן בדיקה. אבל על המסוע החי, עם אשפה אמיתית שנעה במהירות אמיתית, המערכת המשיכה לפספס. לא מפני שהמודל טעה. אלא מפני שהתשובה הגיעה מאוחר מדי.
הרגע הזה גיבש משהו שסבבתי סביבו במשך חודשים. לתעשיית המיחזור אין בעיה של דיוק AI. יש לה בעיית פיזיקה. ושום כמות של כוונון-עדין של מודלים או אופטימיזציה של API לא תתקן זאת, כי האילוץ אינו נמצא באלגוריתם — הוא בארכיטקטורה.
חזרתי למשרד שלנו וביצעתי את החישוב שכעת עומד במרכז המחקר שלנו על FPGA edge AI להשבת חומרים. המספר ששינה הכול: 1.5 מטר. זה המרחק שפיסת חומר בר-מיחזור עוברת על מסוע סטנדרטי במהלך הזמן שלוקח למערכת AI בענן לחשוב.
מה קורה ב-500 מילישניות?
חצי שנייה נשמע כמו כלום. אתה ממצמץ בערך ב-300 מילישניות. אבל על מסוע שרץ במהירות 3 מטרים לשנייה — מהירות צנועה עבור קווי מיון מודרניים — 500 מילישניות פירושן שהעצם נע מטר וחצי. במהירות 6 מטרים לשנייה, שאותה מתקנים בעלי תפוקה גבוהה כמו אלו המשתמשים בטכנולוגיית SPEEDAIR של TOMRA משיגים באופן שגרתי, המספר הזה מוכפל ל-3 מטרים.
סבב היסק AI טיפוסי בענן — לכידת מצלמה, קידוד, שידור, המתנה בתור, קיבוץ ב-GPU, היסק, והחזרה — לוקח בערך 500 מילישניות. זה לא מקרה הגרוע ביותר. זה סיכום ריאלי של כל שלב בשרשרת.
במהירויות מסוע תעשייתיות, עיכוב היסק בענן של 500ms יוצר תזוזה עיוורת של 1.5 עד 3.0 מטרים — הרבה מעבר לדיוק הנדרש לפליטה פנאומטית.
מנגנון הפליטה במכונות אלו הוא שורה של שסתומים פנאומטיים זעירים, במרווח של 12.5 עד 31 מילימטרים זה מזה, היורים פרצים מדויקים של אוויר דחוס. הם צריכים לפגוע במרכז המסה של בקבוק, פחית או שבר פלסטיק ספציפיים מבלי להפריע לחומר שלצידם. סבילות המרחב נמדדת במילימטרים. הענן מספק תשובות הנמדדות במטרים.
אני זוכר שהסברתי זאת למשקיע ששאל שוב ושוב מדוע איננו יכולים "פשוט להשתמש ב-API מהיר יותר." שלפתי מפית וציירתי את המסוע, את המצלמה, את הענן, את הפולט. כתבתי את המשוואה — תזוזה שווה מהירות כפול זמן — וצפיתי בפניו משתנות. זו המשוואה הפשוטה ביותר בפיזיקה, והיא הורסת את כל התזה של AI-בענן-למיון.
מדוע אי אפשר פשוט "להסתכל קדימה"?
זו ההתנגדות הראשונה שכולם מעלים, והיא הגיונית. אם הענן לוקח 500 מילישניות להגיב, פשוט התקן את המצלמה 1.5 מטר במעלה הזרם ותן למערכת "להסתכל קדימה", נכון?
ניסינו לחשוב על זה לעומק. הצוות שלי בילה שבועיים במידול של זה, והתשובה היא: זה עובד על לוח מחיק ומתפרק על רצפת מפעל.
הבעיה היא שמסועים אינם מכשירי דיוק. הם רוטטים. המנועים מזמזמים בתדרים שגורמים לפלסטיק קל לסחוף הצידה. במהירויות מעל 4 מטרים לשנייה, סרטים דקים ונייר מתנהגים כמו כנפונים זעירים — המפעילים קוראים לזה אפקט "השטיח המעופף" — מתרוממים מעל פני המסוע ומרפרפים באופן בלתי צפוי. בקבוקי זכוכית כבדים מתגלגלים לתוך מגשי פלסטיק, ומפילים את שניהם ממסלולם.
לאורך מרחק נסיעה של 1.5 מטרים, כוחות סטוכסטיים אלו מצטברים. מיכל קל שהיה ממורכז בצורה מושלמת מתחת למצלמה עשוי להיות שני סנטימטרים שמאלה עד שיגיע לפולט. אלגוריתמי מעקב ליניאריים יכולים לפצות על מהירות מסוע קבועה, אך אינם יכולים לחזות התנגשויות בין צנצנת זכוכית לכוס יוגורט שעדיין לא קרו.
יש גם את האילוץ הפיזי הגס. בהתקנות brownfield — שהן רוב תעשיית המיחזור — אי אפשר פשוט להאריך קו מסוע בשני מטרים. תצטרך להנדס מחדש את פריסת המפעל, להזיז גשרונים, לשנות זוויות הזנה. ה-CapEx עצום, ואתה מוציא אותו כדי להכיל מערכת AI איטית במקום לתקן את האיטיות.
ואז יש את האפשרות שאיש אינו רוצה לדבר עליה: להאט את המסוע. אם אינך יכול למיין בדיוק במהירות 4 מטרים לשנייה, רד ל-1 מטר לשנייה. הבעיה נפתרה — אלא שזה עתה קיצצת ב-75% מכושר העיבוד של המתקן שלך. בתעשייה הפועלת על שולי רווח דקים לטון, זו אינה פשרה. זהו גזר דין מוות למקרה העסקי.
האויב שאינך יכול לראות: ג'יטר
השהיה ממוצעת גרועה מספיק. אבל הרוצח האמיתי הוא ג'יטר — השונות באותה השהיה מהיסק אחד למשנהו.
מערכת ענן עשויה לתת ממוצע של 500 מילישניות, אך בקשות בודדות משתנות. אחת חוזרת ב-480ms, הבאה ב-520ms, ומדי פעם אחת לוקחת 600ms כי מאגר נתב התמלא איפשהו באוהיו. שונות ±50ms זו יוצרת חלון אי-ודאות של ירי בן 100 מילישניות. במהירות 3 מטרים לשנייה, 100ms הם 300 מילימטרים של נסיעה.
כדי להבטיח פגיעה בתוך חלון זה, המערכת תצטרך לירות פרץ של אוויר דחוס המכסה אזור של 30 סנטימטרים. זה מבזבז כמויות עצומות של אוויר דחוס ופולט כל דבר באזור הזה — את חומר המטרה ואת החומר הטוב היושב לצידו. הטוהר קורס.
ניהלתי ויכוח סוער עם עמית בנושא. הוא התעקש ש-5G edge cloud יפתור את בעיית הג'יטר. הראיתי לו את המספרים: אפילו 5G edge מכניס 20 עד 50 מילישניות של השהיה עם פרופיל ג'יטר משלו. במהירות 6 מטרים לשנייה, 20ms הם עדיין 120 מילימטרים של תזוזה. טוב יותר מהענן, אך עדיין בלתי מדויק בסדר גודל שלם עבור שסתומים במרווח של 12.5mm.
במיון במהירות גבוהה, השהיית זנב — עיכוב האחוזון ה-99 — חשובה יותר מהשהיה ממוצעת. אם 1% מהחבילות מגיעות באיחור, 1% מהחומר הממוין שלך שגוי.
עבור מתקן המעבד 50 טונות לשעה, ירידת טוהר של 1% פירושה 500 קילוגרם של מזהמים בשעה שמתגנבים לתוך מה שאמור להיות מקבצים נקיים. זה מספיק כדי להוריד מקבץ מדרגה A לדרגה B, או לעורר דחייה מוחלטת מצד קונה. הכלכלה מתפרקת במהירות.
מדוע בחרנו בסיליקון הניתן לתכנות
ברגע שהבנתי שהבעיה היא ארכיטקטונית — לא אלגוריתמית — מרחב הפתרונות הצטמצם באופן דרמטי. היינו זקוקים להשהיית היסק מתחת ל-2 מילישניות, והיינו זקוקים שהמספר הזה יהיה דטרמיניסטי. לא "בדרך כלל מתחת ל-2ms." תמיד מתחת ל-2ms. בכל פעם ופעם.
דרישה זו פוסלת GPU-ים, אפילו GPU-ים של edge. GPU מקומי יכול להגיע ל-15 עד 50 מילישניות, שזה הרבה יותר טוב מהענן, אבל זה משתנה. GPU-ים רצים על מערכות הפעלה. מערכות הפעלה מבצעות החלפת הקשר, מטפלות בפסיקות, מנהלות יומן של מערכות קבצים, ומדי פעם מחליטות שזה זמן מצוין להריץ עדכון רקע. אפילו Real-Time Linux (PREEMPT_RT) הוא ביסודו מערכת שיתוף-זמן. הוא אינו יכול להבטיח שהיסק ה-AI לא ייקטע על ידי מנהל התקן רשת או דמון SSH.
אז פנינו ל-FPGA — Field-Programmable Gate Arrays. וכאן אני צריך להסביר משהו שלקח לי זמן להפנים לחלוטין, אפילו עם רקע טכני.
FPGA אינו מעבד. הוא אינו מבצע הוראות. אתה אינך כותב עבורו תוכנה במובן המסורתי. במקום זאת, אתה מגדיר את מרקם הסיליקון שלו כדי להפוך למעגל שמממש את האלגוריתם שלך. הרשת העצבית אינה תוכנה הרצה על חומרה — היא זו החומרה.
הבחנה זו נשמעת אקדמית עד שאתה רואה מה משמעותה עבור ההשהיה. CPU שולף הוראה, מפענח אותה, שולף נתונים, מבצע, מאחסן את התוצאה, וחוזר על כך מיליארדי פעמים. ל-FPGA אין שליפת הוראות. אין מונה תוכנית. הנתונים זורמים דרך צינור פיזי של שערים לוגיים כמו מים דרך צינור. ברגע שהפיקסל הראשון מגיע מחיישן המצלמה, העיבוד מתחיל. המערכת אינה ממתינה לחציצת פריים שלם.
התוצאה: היסק דטרמיניסטי מתחת ל-2 מילישניות. במהירות 3 מטרים לשנייה, זה 6 מילימטרים של תזוזת עצם. במהירות 6 מטרים לשנייה, 12 מילימטרים. שניהם היטב בתוך מעטפת הדיוק של זרבוביות הפליטה הפנאומטית.
מערכת ראייה מבוססת-FPGA יכולה להחזיק את תוצאת ההיסק עבור החלק העליון של תמונה מוכנה עוד לפני שהמצלמה סיימה לשדר את החלק התחתון של התמונה.
כיצד מכניסים רשת עצבית על שבב?
היה לילה — מאוחר, יותר מדי קפה, המשרד ריק — שבו בהיתי במפרטי הזיכרון של ה-FPGA שבחרנו וביצעתי את החשבון על מספר המשקלים של המודל שלנו. המספרים לא הסתדרו. הרשת העצבית שלנו הייתה גדולה מדי עבור הזיכרון שעל-השבב. ל-FPGA יש מגה-בייטים של אחסון פנימי מהיר, לא הגיגה-בייטים של VRAM שאתה מקבל על GPU.
זו הביקורת ההיסטורית על FPGA-ים ל-AI: הם מהירים אך קטנים. ולמשך זמן מה, חשבתי שנתקלנו בקיר.
פריצת הדרך הייתה קוונטיזציה — ובמיוחד, קוונטיזציה אגרסיבית בשילוב עם טכניקת אימון בשם Quantization-Aware Training, או QAT.
הנה הרעיון המרכזי. רשתות עצביות מאומנות בדרך כלל באמצעות מספרים בנקודה צפה של 32 סיביות (FP32) כי החשבון במהלך האימון צריך להיות מדויק. אבל ברגע שמודל מאומן, אותם משקלים של 32 סיביות נושאים הרבה יותר דיוק ממה שהמשימה למעשה דורשת. להבחין בין בקבוק PET לקנקן חלב HDPE היא הבחנה חזותית מקרוסקופית — צורה, אטימות, מרקם התווית. אינך צריך 32 סיביות של דיוק מספרי כדי ללכוד זאת.
אנו דוחסים את המודלים שלנו ל-INT8 (מספרים שלמים של 8 סיביות), מה שמקטין את טביעת הרגל של הזיכרון פי 4. אז אנו דוחפים הלאה ל-INT4 (מספרים שלמים של 4 סיביות) עבור שכבות עתירות-משקלים, מה שמקטין אותה פי 8. מדדי הביצועים הפנימיים שלנו מראים ש-INT4 מספק שיפור ביצועים של עד 77% על פני INT8 בחומרת FPGA תואמת, תוך שמירה על דיוק מעל 99% מהמודל FP32 המקורי.
המפתח הוא QAT. בניגוד לקוונטיזציה גסה שלאחר-האימון שפשוט קוטעת משקלים ומקווה לטוב, QAT מדמה רעש קוונטיזציה במהלך האימון. הרשת לומדת להיות עמידה בפני דיוק נמוך יותר. זה ההבדל בין לבקש ממישהו לצייר במברשת עבה אחרי שהוא שלט במכחול עדין, לבין ללמד אותו לצייר יפהפה במברשת עבה מלכתחילה.
עם מודלים מקוונטזים, כל הרשת העצבית נכנסת ל-Block RAM שעל-השבב של ה-FPGA. אין גישה לזיכרון חיצוני. אין צוואר בקבוק של DRAM. הנתונים נעים בטרה-בייטים לשנייה בתוך השבב. אנו משתמשים במסגרות כמו FINN ו-hls4ml כדי למפות שכבות רשת ספציפיות למשאבי FPGA ספציפיים, ומכווננים את המקביליות של כל שכבה כדי להתאים לתפוקת חיישן המצלמה כך שהצינור לעולם אינו נעצר.
מה משמעות "אפס מערכת הפעלה" בפועל?
אנו מריצים את נתיב ההיסק הקריטי שלנו על bare metal. ללא Linux. ללא Windows. ללא מערכת הפעלה כלל על החלק של השבב שעושה את החשיבה והפעולה.
אנשים תמיד שואלים אותי אם זה קיצוני. זה כן. זה גם הכרחי.
שבבי ה-FPGA שאנו משתמשים בהם — AMD Xilinx Zynq UltraScale+ — הם מערכות הטרוגניות על פיסת סיליקון אחת. הם מכילים גם מרקם לוגי הניתן לתכנות וגם ליבות מעבד ARM קשיחות. אנו מפצלים את עומס העבודה על פני שלושה תחומים:
מרקם ה-FPGA מטפל בצינור הראייה, בהיסק הרשת העצבית, ובאותות בקרת השסתומים. לוגיקת חומרה טהורה. אפס ג'יטר. יחידת העיבוד בזמן אמת — ARM Cortex-R5 המריץ C++ על bare-metal — מנהלת תצורה, מכונות מצבים, ונעילות בטיחות עם השהיית פסיקה חסומה בהחלט. ויחידת עיבוד יישומים נפרדת המריצה Linux מטפלת בדברים הלא-קריטיים: רישום נתונים, הגשת ממשק המשתמש הרשתי, וניהול עדכונים מרחוק.
נתיבי החשיבה והפעולה מבודדים לחלוטין מנתיב הדיווח. אם מחיצת ה-Linux קורסת — ו-Linux אכן קורס — ה-FPGA ממשיך למיין חומר במהירות מלאה ללא הפרעה. ראיתי את זה קורה במהלך בדיקות. לוח המחוונים כבה, זרם הלוג נעצר, וקו המיון לא פספס פעימה. אז ידעתי שהארכיטקטורה נכונה.
לפירוט הטכני המלא של ארכיטקטורה זו — צינור זרימת הנתונים, סכמות הקוונטיזציה, מנוע הסנכרון bare-metal — ראו את מאמר המחקר המפורט שלנו.
מדוע זה חשוב לכלכלה המעגלית?
הבה אתרגם את המילישניות לכסף.
MRF טיפוסי המעבד פלסטיק PET עם AI מוגבל-ענן מגביל את מהירות המסוע שלו לכ-2 מטרים לשנייה כדי להכיל השהיה ושגיאות מעקב. תפוקה: בערך 5 טונות לשעה לכל מטר רוחב מסוע. עם היסק FPGA edge בהשהיה של 2ms, מהירות המסוע הזו יכולה להשתלש ל-6 מטרים לשנייה. תפוקה: 15 טונות לשעה. אותו מסוע. אותו בניין. אותה טביעת רגל.
זו עלייה של 300% בכושר העיבוד. עבור מתקן המפעיל שתי משמרות — 16 שעות — אלו 160 טונות נוספות המעובדות מדי יום. עם PET ממוחזר הנסחר בין $400 ל-$800 לטון, המשמעויות להכנסות נמדדות במיליונים בשנה.
אבל תפוקה היא רק חצי מהסיפור. דיוק חשוב באותה מידה. פליטה מדויקת פירושה פחות מזהמים שמתגנבים לתוך מקבצים נקיים (טוהר גבוה יותר, תמחור פרימיום) ופחות חומרי מטרה שמפוספסים בטעות ונשלחים למטמנה (תשואה גבוהה יותר, פחות בזבוז). אפילו שיפור של 1-2% בשיעור ההשבה מפחית משמעותית הכנסות אבודות ומוריד את דמי ההטמנה במטמנות, שעולים ברחבי העולם.
ואז יש את העלות התפעולית. אין דמי יציאה מהענן. אין חיובי API להיסק. אין עלויות רוחב פס לזרימת וידאו ברזולוציה גבוהה למרכז נתונים. ו-FPGA-ים צורכים 10 עד 20 ואט עבור עומס עבודת ההיסק, לעומת 100 עד 200 ואט עבור מערך GPU דומה — יתרון יעילות פי 10 שמצטבר על פני עשרות תחנות מיון הפועלות 24/7.
המעבר מענן ל-FPGA edge אינו העדפה טכנית. זהו ההבדל בין מתקן מיחזור שעובד על הנייר לבין אחד שעובד במהירות.
החפיר שחשוב
אני מקבל גרסה של שאלה זו באופן קבוע: "אתם לא מודאגים מקומודיטיזציה? מה קורה כאשר NVIDIA משיקה GPU edge מהיר יותר?"
הנה למה הגעתי להאמין. בעידן שבו קריאה ל-API כדי לסווג בקבוק ב-JPEG סטטי היא פרויקט של סוף שבוע, החפיר אינו המודל. הוא הפיזיקה. הוא היכולת לזהות ולפלוט את הבקבוק הזה הנע במהירות 6 מטרים לשנייה, בתוך זרם כאוטי של פחיות מרוסקות וקרטון רטוב, בטוהר של 99%, 24 שעות ביממה, ללא חיבור לאינטרנט.
זה דורש עיצוב-משותף של חומרה-תוכנה — בחירת סיליקון ה-FPGA, כתיבת ה-HDL, תכנון סכמות קוונטיזציה מותאמות אישית, שילוב מנהלי התקן חיישנים, ונעילת היסק הראייה לפולסי מקודד לדיוק פליטה תת-מילימטרי. זה לא משהו שמקבלים על ידי עטיפת API.
נוף ה-AI הנוכחי מלא בחברות הפועלות בשכבת היישום, מנותקות מהמציאות הפיזית של פעולות תעשייתיות. אנו פועלים בשכבה הפיזית. אנו לא מאמנים מודל ומעבירים אותו הלאה. אנו מעצבים את המעגל שהמודל הופך אליו.
תעשיית המיחזור נמצאת בנקודת מפנה. תקני הטוהר מתהדקים. זרמי הפסולת של אחר-הצריכה נעשים מורכבים יותר. כוח אדם נדיר. כולם מסכימים ש-AI הוא התשובה. אבל השיחה נתקעה על איזה מודל להשתמש, בעוד שהשאלה האמיתית היא היכן ובאיזו מהירות המודל הזה רץ.
עיכוב של 500 מילישניות אינו אי-נוחות טכנית שיש לייעל ולהעלים. זו אי-אפשרות פיזית עבור תהליך הפועל במהירות 3 עד 6 מטרים לשנייה. המשוואה פשוטה — תזוזה שווה מהירות כפול זמן — ולא אכפת לה מה-SLA של ספק הענן שלך.
עתיד הכלכלה המעגלית תלוי באינטליגנציה שהיא מהירה, דטרמיניסטית, וממוקמת בדיוק בנקודה שבה פרץ האוויר פוגש את הבקבוק. לא במרכז נתונים. לא בענן. על השבב, בקצה, במילישנייה שחשובה.
