
AI 整場比賽都在追蹤一顆光頭。更多訓練資料救不了它。
2020 年 10 月,在一場蘇格蘭足球賽中,一台自動攝影機整場比賽都在追蹤一位巡邊員的光頭,而不是球。這段影片爆紅。大多數人把它當成一個可愛的小故障一笑置之。我卻反覆觀看它,原因不同:這套系統並沒有壞。它正是在做我們當初打造它去做的事。
這段影片正是最清楚不過的例證,說明了為什麼物理約束電腦視覺才是唯一能讓視覺系統在生產環境中值得信賴的東西——也說明了為什麼往問題上灌注更多訓練資料(這正是我最先嘗試的做法)並不能解決它。
在體育場的泛光燈下,一顆光頭會產生鏡面高光——明亮、渾圓的白色反光——其像素梯度在統計上與一顆足球難以區分。這個偵測器是 YOLO 家族的標準 CNN,它獨立處理每一幀,並對頭部上的「球」給出 98% 的信心值。而真正的球,正高速掠過陰影、變得模糊,只得到 80%。系統跟隨了較高的那個數字。這不是一個 bug。這是模型相信了自己的雙眼。
偵測器只會找出模式。它完全不知道,一顆恆定停在離地 1.7 公尺處、附著於一根垂直圓柱、沿著邊線行走的「球」,在物理上是不可能存在的。
解方不是更好的資料集。解方是物理。
光頭問題無處不在——只是它不總會爆紅
我花了多年時間,在兩個看似毫無相似之處的世界裡交付視覺流程:追蹤球的體育場攝影機架,以及檢測矽晶的晶圓廠產線。它們共有同一種病。模型看見一個它認得的形狀便回報出來,卻沒有任何機制去追問:它所回報的東西,在物理世界中是否可能存在。
在半導體檢測中,症狀不是光頭——而是干擾性缺陷(nuisance defect)。KLA 擁有約 63% 的製程控制市場,其 2900 系列寬頻工具能解析小至 10 奈米的特徵。偵測靈敏度並不是瓶頸。瓶頸在於,單次寬頻掃描每片晶圓就會標記出數以千計的異常,而其中大多是灰塵、表面偽影,或永遠不會影響良率的圖案雜訊。每一個仍必須由一個以歷史缺陷資料庫訓練出來的深度學習模型加以分類。
而這個模型欠缺的正是:對光在物理上如何與凹坑、污漬、製程殘留物分別互動的任何理解。因此,當一家晶圓廠轉換到新的製程節點——比方說 2 奈米的環繞閘極(gate-all-around)——訓練資料庫一夜之間就變得過時,干擾率也隨之飆升。而出錯的代價並不抽象。在先進節點上損失 1% 的良率就是數以百萬計的損失,因為單片晶圓的成本可高達數萬美元。
製造車間也有同樣的病,只是表現得更安靜、更惡毒。在一條運行 AI 品質管制的產線上,你幾乎永遠無法即時得知模型何時出錯,因為攝影機旁邊並沒有真實標註(ground-truth)可供對照。維護之後燈光角度偏移了。鏡頭在幾週內起了霧。夾具磨損了。偽拒收上升,你就陷入返工循環;或偽接受悄悄滲入,你就出現漏檢——而你只有在一次品質漏檢迫使你進行圍堵、隔離、全面重檢時,才會發現到底是哪一種。
模型並非大聲地失敗。它在沉默中漂移,而第一聲警報,是一次客戶退貨。
這份沉默代價高昂。對一般製造商而言,劣質品質的成本約占總銷售額的 20%。在規劃階段抓到的缺陷成本約為 100 美元;同一個缺陷在生產階段才抓到則要 10,000 美元。Intel 曾報告,光是靠 AI 檢測避免報廢,每年就能省下約 200 萬美元。這份效益是真實的——而這正是為什麼「沉默漂移」這種失效模式如此具有腐蝕性。它在不告訴你的情況下,把效益一點點吃掉。
而過度矯正的代價,和漂移一樣高昂。我曾眼看著一台價值數百萬美元的自動光學檢測設備被悄悄關機,因為它的調校過於激進,拒絕良品的速度比抓到不良品還快——它通不過 Knapp 測試,也就是那個用來檢驗你的檢測是否真能把缺陷與可接受變異區分開來的標準。一套在紙面上保護良率、實務上卻摧毀良率的系統,比沒有系統更糟,因為有人為它付了錢,如今又有人開始不信任它所碰觸的每一個自動化決策。
為什麼更多的訓練資料無法解決這件事?
當我的團隊初次撞上這面牆時,我對答案深信不疑,而我錯了。
電腦視覺界的正統觀點是:邊緣案例是一個資料問題。你的模型在怪異情況上失敗,是因為它見過的怪異情況還不夠多,所以你就去收集更多。我曾相信這一點。我曾支持它。我們建了一個大得多、也多樣得多的資料集——不同的燈光、不同的角度、更多令人困惑的案例——然後重新訓練。模型在驗證集上的數字非常漂亮。我記得那時覺得,我們已經把差距補上了。
接著我們把它放上一條真實的產線,一組維護人員調整了一盞燈具,於是拒收箱開始被良品填滿。
我們那份華麗的資料集裡,沒有任何東西涵蓋那個確切的新燈光幾何,因為在我們收集資料的時候,那個幾何根本還不存在。我們原本也可以去把那個也一併收集下來——然後再去追下一次偏移、下一次鏡頭起霧,永無止境。就在那一刻,那句一直在我心頭糾纏的話終於落定了:邊緣案例並不是問題的 5%。它們是 80% 的工程時間、90% 的支援成本,以及 100% 的責任歸屬。你無法靠逐一列舉來走出一個無限的集合。
我的一位工程師想要繼續收緊——把信心閾值一路提高,直到偽陽性消失為止。這在簡報投影片上行得通。但在實務中,把偽陽性推向零,只不過是拿它去換偽陰性:現在你漏掉的是真正的缺陷、真正的威脅、你當初部署這套系統就是要抓住的那些東西。在經歷夠多這樣的爭論之後,我不得不把它大聲說出來:我們懂得怎麼轉的每一個旋鈕,都只是在把失效搬來搬去,而不是把它移除。
這並不是什麼邊緣的個別經驗。大約有95% 的電腦視覺專案從未進入生產環境,而原因幾乎從來不是演算法——正是這種落地上的崩解,也就是一個在實驗室裡管用的模型,與一個能在車間裡存活的模型之間的落差。MIT 的研究發現,95% 的企業 AI 試點在六個月內未能交付可衡量的投資報酬率。我們差一點就成了那份統計數字裡的一個條目。
物理約束究竟做了什麼

那個轉捩點很小,如今回想起來甚至有點令人難為情。
我們沒有要求偵測器變得更加確定,而是在它的輸出前面放了一道閘門,去問一個物理問題:這個東西真的有可能照你所說的方式移動嗎?一條違反了具有質量與動量之物體運動學的軌跡——一個在兩幀之間跳躍了任何球都不可能覆蓋之距離的偵測——會在被採信之前就遭到拒絕。我們完全沒有動偵測器。偽陽性率卻依然下降了。
這就是整個構想,而且它可以推廣。一個被追蹤的物體無法在幀與幀之間瞬移。一個真實的缺陷具有視差——當視角改變時,它會相對於背景移動,而陰影永遠不會這樣。陰影沒有深度。這些都是物理世界免費遵守的約束,而且當你的燈光改變時,它們不會跟著變。一個正確製造出來的零件,其物理特性不會因為夾具磨損或某盞燈被挪動而改變。這使得物理成為整個系統中唯一穩定的錨點——在這個系統裡,一切資料驅動的東西都在漂移。
提高信心閾值,是在要求模型把牛皮吹得更大。而一項物理約束,只是拒絕去相信不可能的事。
所以我們現在所問的問題,不再是「和訓練影像相比,這看起來像不像一個良品?」而是「這張影像,是否與真實物體已知的幾何與材料行為相一致?」這是兩個截然不同的問題,而只有第二個能在一次製程節點轉換、或一個週二午後的維護時段中存活下來。
針對這件事,其實有一套成熟的工具箱,而老實說,其中大部分活在研究論文裡,而不是已出貨的產品中。物理可以透過三種方式烘焙進一套視覺系統:進入網路架構本身、在訓練期間作為基於物理的懲罰項進入損失函數,或透過物理精確的渲染進入合成資料的生成。而癥結——就是那個讓這一切無法落地的癥結——在於物理通常止步於訓練階段。已部署的模型,在推論的那一刻——也就是真正關鍵的那一刻——依然是一個純粹資料驅動的黑盒。
我們所倚賴的研究,在推論階段補上了那道缺口。現代的追蹤技術把一個經典的卡爾曼濾波器——一種有數十年歷史、在給定運動定律下估計移動物體下一刻位置的方法——與深度學習配對在一起,而不是二選一。像 KalmanNet 這樣的方法,用一個神經網路來輔助濾波器處理那些並非完全已知的動態。一套名為 Phys-3D 的 2026 年系統,透過針孔相機幾何來強制執行物理上合理的 3D 運動,並回報即使在密集遮擋與相機晃動下,計數誤差也僅為 2.97%。PhyOT 則走得更遠,把神經網路本身當成一個感測器,餵入一套受牛頓定律支配的卡爾曼架構。共同的主線是:由網路提出假設,再由物理來裁決。我們打造的物理約束視覺系統正是把這種約束層放進了推論路徑之中——卡爾曼濾波、光流閘門,以及物理知情的架構——好讓對不可能情況的拒絕即時發生,而不是發生在一本訓練筆記本裡。
為什麼那些大廠不乾脆這麼做?

人們不斷問我這個問題,通常還帶著一絲懷疑——如果物理約束這麼明顯正確,為什麼 Hawk-Eye 或 KLA 沒有把它們當成預設功能出貨?答案是,這些領導廠商確實有一些物理,但幾乎總是放在錯誤的位置,而這些落差很有啟發性。
Pixellot 在光頭時代之後,加入了多假設追蹤,大致消滅了那一類特定的錯誤——但他們的物理是事後的軌跡平滑,而不是一個約束層,所以新的失效模式(動態模糊下的球衣號碼 OCR、在非平坦球場上的越位投影)不斷冒出來。而這並非只是軼事:在 SoccerNet——最大的公開運動追蹤基準——上,多物體追蹤在快速運動與嚴重遮擋下,仍被測量為遠未解決,而且至今尚未有任何物理感知的追蹤器被整合進去。那片空白,就是整個機會所在。Hawk-Eye 由 Sony 擁有,具備確實強大的幾何約束——它以六到八台經校準的 4K 與 8K 攝影機進行三角測量,追蹤每位球員身上的 29 個骨架點,準確到 NFL 用它來做首攻碼數的測量。但那份嚴謹,每座場館要價超過一百萬美元,並且需要專屬的基礎設施。它不是你可以加進既有流程的一層;它是一次整座球場的改造。
在工業這一側,同樣的模式重複上演。KLA 的缺陷物理模型是真實存在的,但被烘焙固定到特定的製程節點上,而這正是為什麼節點轉換會讓干擾率飆升的原因——而 KLA 自己投入 23 億美元於次世代檢測,正洩漏了他們知道這道缺口存在。Cognex 的 ViDi 深度學習工具十分出色,只需 5 到 10 張影像就能訓練,把建置時間縮短 90%——但推論階段沒有物理,所以它們和任何人一樣暴露在沉默漂移之下。而 NVIDIA 的 Metropolis 與 Omniverse 生態系模擬出華麗的物理——用來生成合成訓練資料。物理止步於訓練;已部署的模型,依然是資料驅動的。
縱觀整個領域,「物理整合」這一欄要嘛是空白的,要嘛指向訓練階段。那個已部署、正即時做出判斷的模型,依然是在憑像素猜測。
那道缺口,正是我們切入之處。不是一個平台,也不是一次整座球場的改造——而是一個坐落在你既有流程之中、在不可能情況變得昂貴之前就將它拒絕掉的物理約束層。無論你是在球場上空運行自動攝影機、在 10 奈米檢測晶圓,還是在產線上分類缺陷,當燈光移動時,這道約束依然成立,因為燈光正是物理所不依賴的東西。
關於「零偽陽性」,沒有人想聽的那一部分
每一位買家最終都會向我要求零偽陽性。我理解這種直覺,而我每次都告訴他們同一句話:這在技術上做得到,而且它很可能會傷害你。
把一套系統推向零偽陽性,無可避免地會抬高偽陰性——那個被漏掉的真實缺陷、那個溜過去的威脅。目標從來都不是把某一種錯誤歸零;而是針對你應用的具體風險,找到恰當的平衡。物理約束帶給你的,是一個更好的權衡前沿供你在其上取得平衡。傳統的偽陽性削減——閾值調校、校準,以及研究顯示能把偽陽性削減 22% 到 87% 不等的自編碼器——全都作用於模型的信心。物理則作用於現實。它拒絕物理上不可能的偵測,同時又不會讓模型對真正模稜兩可的那個變得更加膽怯。你得到更少的誤報,而且你也不必以漏檢缺陷為代價,因為你消除了一整類的錯誤,而不是把它拿去交換。
這裡還有一股監管的順風,而且它不是人們所預期的那一股。歐盟《AI 法案》的主要條款將於 2026 年 8 月 2 日生效,而雖然大多數的工業檢測並不被歸類為高風險的生物辨識監控,該法案在文件記錄與透明度上的要求,正廣泛地推動朝向那些其決策你能夠解釋的系統。一個說出「球,98%」的資料驅動黑盒,無法告訴你為什麼。而一套因為某個偵測違反視差就將它拒絕的系統,卻可以。可證偽性不再只是良好的工程實踐;它正在成為一種合規姿態。
我現在所相信的
我當初投入這件事時,深信電腦視覺是一個資料問題,並且擁有最大、最乾淨資料集的團隊終將勝出。我交付了一個模型,它在一座工廠車間裡、當著那些吞吐量仰賴於它的人的面前,證明了我錯了。
我現在所相信的,更為狹窄,也更為耐久。一個只知道事物看起來是什麼樣子的視覺模型,永遠都只差一次燈光變化、一個製程節點、一位光頭巡邊員,就會自信滿滿地告訴你某件不可能的事。能在生產中存活下來的系統,是那些同時也知道物理世界允許什麼的系統——並在行動之前,拿每一次偵測與之核對。
整個市場即將大規模地以慘痛方式學到這一課。電腦視覺在 2026 年是一個 330 億美元的市場,以每年將近 20% 的速度成長,具代理能力的視覺系統正開始憑其自身的權限觸發真實世界中的行動,而它們變得越自主,一個自信卻不可能的答案就越令人無法容忍。你可以永無止境地繼續收集邊緣案例的影像,追逐下一次燈光變化、下一次節點轉換。或者,你也可以教會模型那一套永遠不會漂移的規則。如果你想看看我們如何把那道約束打造進一條生產流程之中,那就是我會著手開始的地方。
一顆球無法瞬移。去打造那個明白這一點的系統。