物理約束電腦視覺
在球場泛光燈下,反光的光頭可能獲得 98% 信心度的「足球」判定,而追蹤最高信心度的攝影機便會直接偏離球場。Plumbline 是一套確定性的物理閘門層,位於偵測器之後,能夠拒絕物理法則所不容許的偵測結果,同時緊密鎖定真實的足球。
它是介於偵測器與執行系統之間的驗證層。實際執行它,便能閱讀它為每項決策記錄的物理原因。
運行中 Plumbline 儀表板的逐步解說演示(3:58)。
97.7%
目標鎖定時間佔比,物理閘門
合成基準測試,隨機種子 7
82.3σ
最極端的冒牌目標,超出 5σ 判定線即被拒絕
bald_linesman 稽核,44 影格
68.3%
目標鎖定時間佔比,真實轉播片段
真實 YOLO11x,240 影格,影像空間
本頁通篇將兩種基準測試範圍嚴格分開。合成數據是在已知地面真值(ground truth)下的受控最大值;而面對難度極高的實況真實影片,真實片段數據如實偏低。
此失效屬於物理層面的失效,而非偵測層面的失效。
物件偵測器是獨立處理各影格的。它僅依據紋理和形狀對每張影像進行評分,完全沒有真實物件在下一個影格物理上可能出現在何處的概念。在球場泛光燈下,光頭反光如同足球,因此偵測器會對光頭輸出高達 98% 信心度的「足球」判定,而真正的足球得分反而較低;追蹤最高信心度的攝影機便會跟隨光頭移動,脫離了球賽本身。
這已有明確記錄,絕非假設。2020 年 10 月在因弗內斯喀里多尼亞壓路機足球俱樂部(Inverness Caledonian Thistle),一台 Pixellot 自動攝影機在整場比賽中都在追蹤邊審的光頭而非足球(Veriprajna WP43 解決方案頁面,2026 年)。這也絕非模型升級就能自行消除的單一偶然失效:SoccerNet 自身的追蹤基準測試得出結論,多目標足球追蹤「遠未解決」,且目前的基準方法中尚未整合任何具物理感知的追蹤機制,這是一個顯而易見的缺口(Veriprajna WP43 研究,2026 年)。
這個問題不會隨著偵測器進步而自然消失,原因在於:物理上不可能發生的偵測結果,在任何偵測器準確率下都是錯誤的。一顆始終維持在 1.7 公尺恆定高度且以時速 3 英里移動的「足球」,無論模型多麼有信心,都不可能是足球。對於需要為自動化視覺決策承擔責任的團隊而言,邊緣案例正是成本的核心所在:一份業界報告指出其佔據了「80% 的工程時間、90% 的支援成本以及 100% 的責任風險敞口」(Veriprajna WP43 研究,2026 年)。
Plumbline 運行於偵測器的下游。它接收每個候選偵測結果,檢驗物理法則是否容許,隨後將該影格導向接受(accept)、審查(review)或滑行(coast),並記錄其原因。
卡爾曼/UKF 濾波器(拋體運動模型搭配非線性針孔測量模型)預測真實足球可能出現的位置。每個候選目標的新息會轉換為 馬氏 距離。門檻值以設定參數形式提供:低於 3σ 接受,高於 5σ 拒絕,3 至 5σ 標記為 REVIEW。在光頭邊審場景中最差的一影格中,冒牌目標得分高達 82.3σ。
該閘門將軌跡預測的像素速度與候選目標的局部光流進行比對,並在方向或大小不符時予以拒絕(出廠設定區間:光流比介於 [0.35, 3.0],餘弦值至少 0.3)。在比賽進行中幾乎靜止的「足球」將無法通過檢驗。
針孔相機模型計算出 22 公分的足球在候選目標所對應深度下能張成的像素大小,閘門會剔除不可能的尺寸(合成路徑上的尺寸比例容許度為 1.8 倍,真實影片影像空間路徑上為 1.5 倍)。一個約 50 像素的人頭,在約 12 公尺處不可能是一顆張成約 22 像素的 22 公分足球。
接著由確定性策略閘門做出判定,在兩條輸入路徑上均使用相同的 gates.py 且完全原樣復用。它僅在所有閘門均通過時才予以接受。它將邊緣候選目標(3 至 5σ 且無硬性失敗)標記為 REVIEW,軌跡依據預測進行滑行,升級呈報而非虛張聲勢。當所有候選目標皆被拒絕時(例如遭遇短暫遮擋),系統進入 COAST(僅預測模式),並在足球重新出現時重新捕獲。門檻值為設定參數,非由任何模型設定。
每項決策都會寫入逐決策稽核記錄中。標頭包含隨機種子、場景、偵測器 ID 與閘門門檻值。每一影格都會列出每個候選目標及其類別與信心度、各閘門的數值判定與通俗說明原因、最終執行動作以及鎖定的軌跡。可選的稽核解說器可將該遙測數據轉換為匯出用的通俗事件摘要,但它僅供參考建議,絕不介入接受或拒絕路徑;在沒有模型金鑰或橋接服務時,它會自動降級為確定性的樣板化摘要,確保展示能完全離線運行。
相同的三閘門策略運行於兩種輸入之上,這正是核心所在。在合成場景中,它使用世界空間的無跡卡爾曼濾波器(UKF)。在真實轉播片段中,它則透過二維卡爾曼濾波器(kf2d)運行於影像平面上,因為單一未校準的片段無法提供公制度量深度,而偽造三維濾波器是不誠實的。閘門程式碼完全原樣復用;如實改變的只有濾波器。這正是該層能獨立於偵測器的原因:價值在於閘門,而非偵測器。
下方截圖來自實際運行中的 Plumbline 儀表板。光頭冒牌目標是作者對 2020 年記錄事件的人為注入重現,應用程式中對此已作明確說明。
在這段 44 影格的場景中,模擬偵測器在邊審頭部輸出了 18 次高信心度的錯誤「足球」偵測,信心度最高達 98%。三道閘門將這 18 次全數拒絕。最極端的單一冒牌目標在運動學閘門上得分高達 82.3σ,遠超 5σ 的拒絕線;而真實足球的信心度約為 87%、誤差僅 0.4σ,順利通過全部三道閘門並保持鎖定。僅在此單一場景中,物理層便維持了 97.7% 的目標鎖定時間佔比,且僅有 1 次 ID 切換;相較之下,追蹤最高信心度為 59.1%,提高門檻值僅為 20.5%(三種合成場景的匯總數據見下方比較表)。
當球員短暫擋住足球時,樸素追蹤器會跟丟目標或誤抓該球員。物理追蹤器則進入 COAST 狀態,依靠預測安然度過空檔,隨後在足球重新出現時重新捕獲。它絕不會憑空捏造偵測結果來填補空白;它只是進行預測、標記狀態並耐心等待。
在一段 240 影格的真實轉播片段中,真實 YOLO11x 偵測結果被輸入給運行於影像空間中的相同三道閘門。閘門方案在 68.3% 的影格中鎖定足球,而樸素追蹤器為 43.8%,提高門檻值的追蹤器為 30.0%;物理方案僅發生 4 次 ID 切換(基準為 7 次),平均誤差為 26.2 像素(基準為 193.0 像素)。該數據如實低於合成測試的上限,因為真實影片難度更高。但核心趨勢依然不變:物理機制在真實偵測中同樣擊敗了兩項基準方案,而非僅在模擬環境中有效。
匯出的決策記錄展開了完整的稽核軌跡:頂部為隨機種子、場景、偵測器 ID 與門檻值,接著是逐影格記錄的每個候選目標類別與信心度、各閘門的數值判定及其通俗說明原因、最終動作與鎖定軌跡,末尾附有計分板。對於需要為自動化視覺決策承擔責任的團隊而言,這是一套可供歸檔的完整軌跡,清楚交代每項偵測被採信或拒絕的原因。
這些是追蹤品質指標,獨立於偵測器本身的品質。它們絕非模型錯誤率,也絕非開放世界保證。下方的兩組數據屬於不同範疇,絕不混為一談。
| 追蹤器 | 目標鎖定時間佔比 | ID 切換次數 | 平均誤差(像素) | 乾淨資料集漏檢率 |
|---|---|---|---|---|
| Veriprajna 物理方案 | 97.7% | 3 | 2.7 | 2.3% |
| B1:追蹤最高信心度 | 80.3% | 4 | 63.0 | 0.0% |
| B2:提高信心度門檻值 | 40.2% | 29 | 115.0 | 43.2% |
| 追蹤器 | 目標鎖定時間佔比 | ID 切換次數 | 平均誤差(像素) |
|---|---|---|---|
| Veriprajna 物理方案 | 68.3% | 4 | 26.2 |
| B1:追蹤最高信心度 | 43.8% | 7 | 193.0 |
| B2:提高信心度門檻值 | 30.0% | 1 | 245.1 |
支撐本論點的核心數據是正交性結果。在合成乾淨資料集上,提高信心度門檻值(B2)會遺漏 43.2% 真實的低信心度足球,而物理方案則將乾淨資料集漏檢率控制在 2.3%,這屬於單一影格的捕獲延遲而非假陰性漏檢。調節信心度旋鈕只是拿一種錯誤去換另一種錯誤。物理機制與其正交運作。(B2 在真實影片中僅有 1 次 ID 切換,純粹是因為它在 30% 的目標鎖定率下幾乎沒有追蹤到任何目標,絕非優勢。)
不是。Plumbline 位於您現有任何偵測器的下游,負責裁定該採信其哪些候選偵測結果。在展示中,相同的閘門程式碼在合成場景中運行於模擬黑盒偵測器之上,在轉播片段中則運行於真實 YOLO11x 偵測結果之上。我們不改動偵測器的輸出品質。產品本體是圍繞其建構的確定性閘門層,因此即使底層偵測器持續進步,該層的價值依然穩固。
因為那不是正確的調節旋鈕。在合成乾淨資料集上,提高信心度門檻值會遺漏 43.2% 真實的低信心度足球,同時依然會誤抓高信心度的冒牌目標。物理閘門與信心度正交運作:它們將乾淨資料集漏檢率控制在 2.3%,這屬於單一影格的捕獲延遲而非掉球。當冒牌目標得分更高時,您根本無法僅憑分數將真實足球與冒牌目標區分開來。
兩者皆有效,且我們對兩者嚴格區分。在已知地面真值(隨機種子 7)的受控合成測試中,物理層維持了 97.7% 的目標鎖定時間佔比,而追蹤最高信心度為 80.3%,提高門檻值為 40.2%。在包含真實 YOLO11x 偵測結果的 240 影格真實轉播片段中,相同閘門在 68.3% 的影格中鎖定足球,而兩項基準方案分別為 43.8% 與 30.0%。真實影片數據如實偏低,因為真實影片難度更高。我們絕不會將合成數據引述為現實世界的成果。
這三道閘門完全是運行於任何模型之外的純 numpy 與 scipy 程式碼:卡爾曼/UKF 運動學閘門(低於 3 sigma 接受,高於 5 sigma 拒絕)、光流一致性閘門以及幾何透視閘門。可信度不依賴模型的自我陳述。雖然設有可選的稽核解說器將閘門遙測數據轉換為通俗摘要,但它僅具參考性質,絕不介入接受或拒絕路徑;在未提供金鑰時,它會退回使用確定性的樣板化摘要。
可以。每項決策皆備有留存歸檔的物理原因。匯出的決策記錄在標頭中記錄隨機種子、場景、偵測器 ID 與閘門門檻值,接著逐影格列出每個候選目標及其類別與信心度、各閘門的數值判定與通俗說明原因(例如:馬氏距離 82 sigma 超過 5 sigma 線,運動學上不可能發生)、最終動作以及鎖定的軌跡。記錄可匯出為 JSON 或 HTML。
兩者的答案皆為否定。這是一套用以證明閘門機制的可執行展示,而非已實際部署的管線。我們擊敗的基準方案屬於未考慮物理特性的失效模式類別(追蹤最高信心度與提高門檻值),非指任何具名廠商。我們並未聲稱追蹤表現超越已上市產品,且知名攝影機廠商已在後續韌體中修復了 2020 年光頭邊審這一具體案例。展示中的光頭冒牌目標是作者對該項記錄事件的人為注入重現,而非現場擷取的自然偵測器雜訊。
在您的業務領域中,若自動化視覺決策涉及法律責任,其失效模式在於物理法則,而非信心度。
我們打造 Plumbline 是為了展示:一套確定性閘門層能夠拒絕物理上不可能發生的偵測結果,並留下可供歸檔的原因記錄。相同的架構亦可套用於不同的物理法則:針對晶圓廠的視差閘門,或是針對生產線的反射率閘門。請告訴我們您的偵測器不斷違反的約束條件,我們將共同評估閘門層是否適合您的需求。