你的回收AI慢了1.5公尺——而物理定律不會等你
我看著一個壓扁的PET瓶子以每秒四公尺的速度飛過氣動彈射器,毫髮無損地滑過,那一刻我知道有些根本性的問題出錯了。
我們站在一座物料回收設施裡——業界簡稱MRF——那裡既吵雜又悶熱,正看著一套雲端連線AI分揀系統的示範。銷售說詞很流暢,儀表板很漂亮。這套神經網路在測試台上能以驚人的準確度辨識十七種材質類型。但在實際運作的輸送帶上,面對以真實速度移動的真實垃圾,系統卻不斷漏判。不是因為模型判斷錯誤,而是因為答案送達得太遲。
那一刻讓我幾個月來反覆思考的事情忽然清晰起來。回收產業面臨的並不是AI準確度的問題,而是一個物理問題。再多的模型微調或API優化都無法解決這個問題,因為限制並不在演算法之中——而在架構之中。
我回到辦公室,計算出了如今構成核心的這個數字,也就是我們針對物料回收所做的FPGA邊緣AI研究。這個改變一切的數字是:1.5公尺。這是一件可回收物料在標準輸送帶上,於雲端AI系統思考期間所移動的距離。
500毫秒內會發生什麼事?
半秒鐘聽起來微不足道。你眨一次眼大約需要300毫秒。但在以每秒3公尺運行的輸送帶上——這對現代分揀線來說只是中等速度——500毫秒意味著物體已經移動了一公尺半。而在每秒6公尺的速度下,像TOMRA的SPEEDAIR技術所常見的高產能設施經常達到這個速度,這個數字會翻倍到3公尺。
一次標準的雲端AI推論來回——攝影機擷取、編碼、傳輸、排隊、GPU批次處理、推論、回傳——大約需要500毫秒。這並非最壞情況,而是整條鏈上每個步驟加總後的實際情況。
在工業輸送帶速度下,500毫秒的雲端推論延遲會造成1.5至3.0公尺的盲區位移——遠遠超出氣動彈射所需的精確度。
這些機器上的彈射機構是一排間距12.5至31毫米的微小氣動閥門,能精準噴出壓縮空氣。它們必須擊中特定瓶子、罐子或塑膠碎片的質心,同時不擾動旁邊的物料。空間容許誤差以毫米計算,而雲端給出的答案卻是以公尺計算。
我記得曾向一位投資人解釋這件事,他一直追問為什麼我們不能「直接用更快的API」。我拿出一張餐巾紙,畫出輸送帶、攝影機、雲端、彈射器。我寫下那個方程式——位移等於速度乘以時間——然後看著他的表情變了。這是物理學中最簡單的方程式,卻徹底摧毀了「用雲端AI做分揀」這整套論點。
為什麼不能直接「提前預判」?
這是每個人最先提出的質疑,而且很合理。如果雲端需要500毫秒才能回應,那就把攝影機往上游架設1.5公尺,讓系統「提前預判」不就好了?
我們嘗試把這個想法徹底推演過。我的團隊花了兩週時間建立模型,結論是:這在白板上行得通,但一到工廠現場就徹底瓦解。
問題在於輸送帶並非精密儀器。它們會振動。馬達發出的頻率會讓輕質塑膠橫向漂移。在每秒4公尺以上的速度下,薄膜和紙張會表現得像小小的翼型——操作員稱之為「飛毯」效應——從輸送帶表面浮起並不規則地飄動。沉重的玻璃瓶滾入塑膠托盤,把兩者都撞離原本的路徑。
在1.5公尺的移動距離內,這些隨機作用力會不斷疊加。一個原本在攝影機下方完全置中的輕質容器,到達彈射器時可能已經偏移了兩公分。線性追蹤演算法可以補償輸送帶恆定的速度,但無法預測玻璃罐與優格杯之間尚未發生的碰撞。
此外還有純粹的物理限制。在既有廠房改建的情況下——這正是回收產業的大多數情況——你不能就這樣把輸送線延長兩公尺。你得重新設計廠房佈局、移動門型架、改變進料角度。資本支出將十分龐大,而且你花這筆錢是為了遷就一套緩慢的AI系統,而不是真正解決緩慢的問題。
接著還有一個沒人願意提起的選項:放慢輸送帶速度。如果無法在每秒4公尺的速度下準確分揀,那就降到每秒1公尺。問題解決了——只不過你的設施處理產能因此削減了75%。在一個每噸利潤微薄的產業裡,這不是妥協,而是判了整個商業模式死刑。
你看不見的敵人:抖動
平均延遲本身已經夠糟了,但真正的殺手是抖動——也就是每次推論之間延遲的變化幅度。
一套雲端系統的平均延遲可能是500毫秒,但個別請求會有波動。這次480毫秒回來,下次520毫秒,偶爾還會因為俄亥俄州某處的路由器緩衝區塞滿而拖到600毫秒。這±50毫秒的波動,造成了100毫秒的射擊不確定視窗。在每秒3公尺的速度下,100毫秒相當於300毫米的移動距離。
為了確保在這個視窗內命中目標,系統就必須噴出一道涵蓋30公分範圍的壓縮空氣。這會浪費大量壓縮空氣,並把該範圍內的所有東西都彈射出去——包括目標物料,以及旁邊原本乾淨的物料。純度因此崩潰。
我曾為此和一位同事激烈爭論過。他堅持認為5G邊緣雲端可以解決抖動問題。我把數字攤給他看:就連5G邊緣運算也會帶來20到50毫秒的延遲,且有自己的抖動特性。在每秒6公尺的速度下,20毫秒仍然相當於120毫米的位移。這雖然比雲端好,但對於間距12.5毫米的閥門來說,精確度仍然差了一個數量級。
在高速分揀中,尾端延遲——也就是第99百分位的延遲——比平均延遲更為重要。如果1%的封包延遲到達,你就有1%的分揀物料是錯誤的。
對於每小時處理50噸物料的設施而言,1%的純度下降意味著每小時有500公斤的污染物混入原本應該乾淨的打包物中。這足以讓一個打包物從A級降到B級,甚至直接遭買家拒收。經濟效益會迅速崩解。
我們為什麼選擇可程式化矽晶片
一旦我理解到問題出在架構上——而非演算法上——解決方案的範圍就大幅縮小了。我們需要將推論延遲控制在2毫秒以內,而且這個數字必須是確定性的。不是「通常在2毫秒以內」,而是永遠在2毫秒以內,每一次都是如此。
這項要求排除了GPU的可能性,即便是邊緣GPU也不例外。本地GPU可以達到15到50毫秒,雖然遠優於雲端,但數值並不穩定。GPU運行在作業系統之上。作業系統會進行內容切換、處理中斷、寫入檔案系統日誌,偶爾還會決定現在正是執行背景更新的好時機。即便是即時Linux(PREEMPT_RT),本質上仍是一套分時系統,無法保證AI推論不會被網路驅動程式或SSH常駐程式打斷。
於是我們轉向FPGA——現場可程式化邏輯閘陣列。而這裡我需要說明一件事,即便我有技術背景,也花了一段時間才真正完全理解。
FPGA不是處理器,它不執行指令。你也不是以傳統意義上「寫軟體」的方式為它編寫程式。相反地,你要設定它的矽晶結構,使其成為實現你演算法的那個電路。神經網路並不是運行在硬體上的程式——它就是硬體本身。
這個區別聽起來很學術,直到你看清它對延遲的意義。CPU會擷取指令、解碼、擷取資料、執行、儲存結果,並將這個過程重複數十億次。FPGA沒有指令擷取,也沒有程式計數器。資料像水流過管道一樣,流經由邏輯閘構成的實體管線。攝影機感測器一傳來第一個像素,處理就立即開始。系統不需要等待整個畫面緩衝完成。
結果就是:確定性推論延遲低於2毫秒。在每秒3公尺的速度下,這相當於物體位移6毫米;在每秒6公尺的速度下則是12毫米。兩者都完全落在氣動彈射噴嘴的精確度範圍之內。
一套基於FPGA的視覺系統,能在攝影機還沒傳完畫面底部之前,就已經準備好畫面頂部的推論結果。
如何把一個神經網路塞進一顆晶片裡?
有一天深夜——咖啡喝太多、辦公室空無一人——我盯著我們所選FPGA的記憶體規格,計算著模型的權重數量。數字兜不攏。我們的神經網路太大了,超出晶片內建記憶體的容量。FPGA只有數MB的高速內部儲存空間,不像GPU擁有數GB的VRAM。
這正是FPGA長久以來在AI領域被詬病之處:速度快,但容量小。有一段時間,我以為我們撞上了瓶頸。
突破點在於量化——具體來說,是激進的量化搭配一種名為「量化感知訓練」(Quantization-Aware Training,QAT)的訓練技術。
核心概念是這樣的。神經網路通常使用32位元浮點數(FP32)來訓練,因為訓練過程中的數學運算需要高精確度。但一旦模型訓練完成,這些32位元權重所帶有的精確度,遠遠超出實際任務所需。要區分PET瓶子和HDPE牛奶罐,靠的是宏觀的視覺差異——形狀、透光度、標籤紋理。捕捉這些差異根本不需要32位元的數值精確度。
我們將模型壓縮為INT8(8位元整數),記憶體佔用量因此減少為原本的四分之一。接著,對於權重負載較重的層,我們進一步壓縮到INT4(4位元整數),使佔用量減少為原本的八分之一。我們的內部基準測試顯示,在相容的FPGA硬體上,INT4比INT8的效能提升最高可達77%,同時準確度仍維持在原始FP32模型的99%以上。
關鍵在於QAT。不同於粗糙的訓練後量化——那種做法只是截斷權重然後聽天由命——QAT會模擬量化雜訊,就在訓練期間進行。神經網路因此學會對較低精確度保持穩健。這就像是讓一個人在精通細膩筆法之後才被要求用粗筆作畫,與從一開始就教他如何用粗筆畫出美麗作品之間的差別。
透過量化後的模型,整個神經網路就能容納在FPGA的晶片內建Block RAM中。不需要存取外部記憶體,也沒有DRAM瓶頸。晶片內部的資料傳輸速度可達每秒數TB。我們使用FINN和hls4ml等框架,將特定的網路層對應到特定的FPGA資源,並調校每一層的平行處理程度,使其與攝影機感測器的輸出速度相匹配,讓整條管線永不停滯。
「零作業系統」究竟是什麼意思?
我們的關鍵推論路徑運行在裸機環境上。沒有Linux,沒有Windows。晶片中負責思考與行動的那個部分,完全不搭載任何作業系統。
大家總是問我這樣是不是太極端了。沒錯,是很極端,但也是必要的。
我們所使用的FPGA晶片——AMD Xilinx Zynq UltraScale+——是單一矽晶片上的異質系統,同時包含可程式化邏輯結構與硬體ARM處理器核心。我們將工作負載分散到三個領域:
FPGA邏輯結構負責處理視覺管線、神經網路推論以及閥門控制訊號,純粹是硬體邏輯,零抖動。即時處理單元——一顆運行裸機C++的ARM Cortex-R5——負責管理設定、狀態機以及安全連鎖,並嚴格限制中斷延遲的範圍。另外還有一個獨立運行Linux的應用處理單元,負責處理非關鍵事項:記錄資料、提供網頁介面、管理遠端更新。
思考與行動的路徑,與回報路徑完全隔離。如果Linux分割區當機了——而Linux確實會當機——FPGA仍會以全速持續分揀物料,不受任何影響。我在測試期間親眼見過這種情況。儀表板一片漆黑,日誌串流中斷,但分揀線卻絲毫沒有停頓。那一刻,我就知道這個架構是對的。
若想了解這套架構的完整技術剖析——包括資料流管線、量化方案、裸機同步引擎——請參閱我們的詳細研究論文。
這對循環經濟為什麼重要?
讓我把毫秒換算成金錢。
一座典型的MRF在處理PET塑膠時,若受限於雲端AI,為了容納延遲與追蹤誤差,輸送帶速度會被限制在每秒約2公尺左右。產能大約是每公尺帶寬每小時5噸。若改用延遲2毫秒的FPGA邊緣推論,輸送帶速度可提升三倍,達到每秒6公尺。產能達到每小時15噸。同樣的輸送帶,同樣的廠房,同樣的佔地面積。
這是300%的提升,在處理產能上。對一座運作兩班、共16小時的設施而言,這代表每天多處理160噸物料。以再生PET每噸400至800美元的交易價格計算,對營收的影響每年可達數百萬美元之譜。
但產能只是故事的一半。精確度同樣重要。精準的彈射意味著更少污染物混入乾淨的打包物中(更高的純度、更好的售價),也意味著更少目標物料被誤判而送進掩埋場(更高的回收率、更少的浪費)。即使回收率只提升1到2%,也能大幅減少營收損失,並降低全球正持續上升的掩埋費用。
接著是營運成本。沒有雲端資料傳出費用,沒有按次計費的API推論費用,也沒有將高畫質影像串流到資料中心所需的頻寬費用。而且FPGA執行推論工作負載時僅耗電10到20瓦,相較之下,同等規格的GPU則需耗電100到200瓦——這10倍的效率優勢,在數十座全天候運作的分揀站上會不斷疊加放大。
從雲端轉向邊緣FPGA,並非只是技術偏好的問題。這是「一座只在紙上看起來可行的回收設施」與「一座能以實際速度運作的回收設施」之間的差別。
真正重要的護城河
我經常被問到某種版本的這個問題:「你不擔心技術被商品化嗎?如果NVIDIA推出更快的邊緣GPU,那該怎麼辦?」
這是我逐漸領悟到的道理。在這個「呼叫API辨識一張靜態JPEG中的瓶子」只要花一個週末就能做到的時代,真正的護城河並不是模型,而是物理本身。是能在一片混亂的壓扁罐頭與濕紙板洪流中,以99%的純度、全天候24小時、且完全不需要網路連線的情況下,辨識並彈射出一個以每秒6公尺速度移動的瓶子的能力。
這需要軟硬體協同設計——挑選FPGA矽晶片、撰寫HDL、設計客製化量化方案、整合感測器驅動程式,並將視覺推論與編碼器脈衝同步鎖定,以達到亞毫米級的彈射精確度。這不是靠包裝一個API就能得到的東西。
當前的AI產業生態中,充斥著在應用層運作、卻與工業營運的物理現實脫節的公司。我們則是在物理層運作。我們不是訓練一個模型然後就交出去,而是設計出模型最終成為的那個電路本身。
回收產業正處於一個轉折點。純度標準日益嚴格,消費後廢棄物流變得更加複雜,勞動力日益稀缺。所有人都同意AI就是答案。但整個討論卻一直停留在該使用哪個模型這個問題上,而真正的問題其實是在哪裡、以多快的速度運行這個模型。
500毫秒的延遲並不是一個可以靠優化消除的技術上的小麻煩。對於一個以每秒3到6公尺速度運作的流程而言,這是物理上的不可能。這個方程式很簡單——位移等於速度乘以時間——它才不在乎你雲端供應商的SLA服務等級協議是怎麼寫的。
循環經濟的未來,取決於一種快速、確定性,且恰好位於氣流噴射與瓶子交會那一點的智慧。不在資料中心裡,不在雲端裡。就在晶片上,在邊緣,在那真正關鍵的一毫秒之中。
