自動追尾カメラがサッカーの試合中スキンヘッドを追い続けた。私はそれに「ノー」を突きつける物理ゲートを構築した。

2020年10月、インヴァネス・カレドニアン・シスルFCの自動追尾カメラが、サッカーの試合中の大半でボールの代わりに線審のスキンヘッドを追跡し続けた。カクテル光線の下で頭部がボールのように輝き、Pixellotのカメラは手渡された最高信頼度の検出結果に追従したため、自宅の視聴者は試合がフレーム外で進行する中、タッチライン沿いをジョギングするスキンヘッドの男性の熱心なクローズアップを長時間見せられる羽目になった（当社のWP43ソリューションページに記録）。

この話は、今回のシステム構築の全期間を通じて私の頭から離れなかった。コンピュータビジョンに関わる誰もが経験していながら、ほぼ誰も正確に言語化できていない失敗の構図を、これほど明快に描き出している例を他に知らないからだ。検出器が壊れていたわけではない。検出器本来の役割を極めて忠実に果たしたにすぎない。ピクセルのパッチをスコアリングし、頭部のテカリが高いスコアを獲得し、下流のすべてのシステムがそのスコアを信じ切ったのである。私が構築したデモであるPlumblineの公開場所は https://veriprajna.com/demos/physics-constrained-computer-visionであり、そのすべてが一つの主張に集約される。すなわち、解決策は検出器の内部には存在しないということだ。

モデルを責めるのをやめた瞬間

開発の初日、私はより優れた検出器を設計しようと試みたが、問題を解決することはできなかった。物体検出器はフレームごとに独立している。テクスチャと形状に基づいて各画像をスコアリングするだけであり、実物体が直前にどこにあったのか、あるいは物理的に次にどこへ移動できるかについての記憶を持たない。そのためスタジアムの照明下では、スキンヘッドは局所的に見て極めて優秀なボールとなってしまう。どれほど高精度なモデルを訓練したとしても、頭部の光沢がピークに達するフレームでは、人間の頭部に乗った信頼度98％のボールを差し出してくることに変わりはない。その信頼度はピクセルについて嘘をついているわけではない。ボールがそこに存在し得るかどうかとは何の関係もない問いに答えているだけなのだ。

そのとき、私の中で問題の捉え方が一変した。

ビジョンシステムが抱えているのは、信頼度の問題ではない。物理法則の問題なのだ。

本物のボールはスキンヘッドが決して従わない物理的制約に従うが、そうした制約は検出器のスコアの中には一切存在しない。この一度の思考の転換が、アーキテクチャ全体を決定づけた。私は検出器をより賢くしようとするのをやめ、検出器の後段に配置して、検出器が知り得なかった物理法則を適用するレイヤーの構築に着手した。

「物理的に不可能」がコード上で意味するもの

私は、検出結果が明快な平易な言葉で読める理由によって却下される様子を確認したかった。だからこそ、それを最初に構築した。Plumblineはあらゆる検出器の下流に位置し、何らかの処理が実行される前に、すべての候補に対して3つの決定論的ゲートを実行する。運動学ゲートはKalmanフィルタ（合成経路では放物運動モデルを備えたUnscented Kalman Filter）を用いて本物のボールが次にどこに存在し得るかを予測し、各候補がその予測からどれだけ離れているかをMahalanobis距離として測定する。3シグマ未満は受容、5シグマ超は却下、3〜5シグマの範囲は要確認としてフラグを立てる。オプティカルフローゲートは候補の局所的なピクセル運動を軌跡の予測速度と比較し、フローの向きが逆であったり、オープンプレー中であるにもかかわらずほとんど動いていなかったりする「ボール」を却下する。幾何学ゲートはピンホールモデルを用いて、候補の推定深度において直径22 cmのボールが何ピクセルを張るかを問い、現実にあり得ないサイズを排除する。

これらはいずれもモデルではない。1行ずつ読むことができる素朴なnumpyとscipyであり、ニューラルネットワークの外側に位置している。これこそが私がそれらを信頼する最大の理由だ。ここでの信頼は、事後的に自らを言い訳するブラックボックスに依存してはいない。

スキンヘッドは3つのゲートすべてに同時に不合格となる。私はこの偽物を、単なる偶発的なエラーとしてではなく、2020年のインヴァネスのインシデントの再現として意図的に注入した。カメラを狂わせるケースとは、検出器のテストセットには決して現れないケースそのものだからだ。合成クリップの最悪のフレームにおいて、頭部はボールの予測運動から82.3シグマも外れたスコアを記録した。これは際どい判定どころではなく、運動学的に不条理な値である。一方、信頼度0.87、0.4シグマにある本物のボールは問題なく通過し、カメラはボールを追跡し続ける。

すべての却下は記録に理由を残す

私はこれらすべてを、盲信に頼るようなものにしたくはなかった。そのため、すべての決定は開いて確認できる記録として保存される。エクスポートされた決定ログには、上部にシード、シナリオ、検出器ID、ゲート閾値が記載され、続いてフレームごと、候補ごとに1行ずつ記録される。そこには検出器が出力したクラスと信頼度、各ゲートの数値判定と平易な理由（「Mahalanobis 82 sigma >= 5 sigma: kinematically impossible」）、そして最終アクションが記されている。スキンヘッド線審のシナリオにおいて、ゲートは偽物の18件の高信頼度な誤検出をすべて却下し、物理トラッカーは97.7％の時間でボールを保持した。これに対し、最高信頼度追従ベースラインは59.1％、閾値引き上げベースラインは20.5％にとどまった（合成シーン、シード7）。

自動化された視覚的決定に対して説明責任や賠償責任を負う者にとって、その記録はインシデント報告書を提出できるか、それとも単に肩をすくめて諦めるかの決定的な違いを意味する。これはカメラがなぜその動作を行ったのかについての提出可能な証拠となるよう設計されており、形骸化したコンプライアンス証明書ではなく、フレームごとの物理的な理由がファイルとして克明に記録されたものだ。

信頼度閾値の引き上げは間違った調整ノブである

エンジニアにスキンヘッドの却下例を見せると、最初の反応はほぼ常に同じだ。誤検出のボールが消えるまで信頼度の閾値を引き上げればよいのではないか、と。直感的には正しく思えて実は間違っているその発想に対し、数字をもって答えるために私はこのデモを構築した。偽物が一切存在しないクリーンな合成シーンにおいて、閾値を引き上げると、信頼度の低い本物のボールの43.2％が破棄されてしまう。一方で物理ゲートはクリーンセットでの見逃しを2.3％（ボールの消失ではなく、わずか1フレームの捕捉遅延）に抑え込む。閾値の調整は、1つの偽陽性と引き換えに山のような偽陰性を生み出してしまうのだ。

物理ゲートはまったく異なる軸で機能する。かすかな本物の検出を捨てることなく、あり得ない検出を却下できる。なぜなら、ゲートが検査する対象（ボールがこのサイズで、このように動き、ここに存在し得るか）は、検出器がどれほど強く主張したかとは無関係だからだ。この直交性こそが、反論の余地がない事実であることを示すために私がクリーンシーンのテストを構築した理由である。

この検証を行っている最中に、私が愛着を覚えるようになった小さな局面がある。それが遮蔽（オクルージョン）のケースだ。選手が十数フレームにわたってボールの前を横切り、すべての候補が却下される。その際、物理トラッカーは選手に誤って吸着する代わりに、その空白区間を自らの予測に基づいてコースティングし、ボールが再び現れた瞬間に再捕捉する。誤った対象でごまかすのではなく、空の軌跡を保持するその挙動を見たとき、このレイヤーが単なるフィルタというよりも、一種の見識のように感じられた最初の瞬間だった。

公表を躊躇しかけた数値

私は実際の映像での検証結果を危うくカットするところだったが、それを残したことこそが今回の構築全体において最も誇りに思っている決断だ。上記の内容はすべてグラウンドトゥルースが既知の合成シーン上で実行されており、それによってクリーンなベンチマークが可能になったわけだが、合成データでの勝利は信用されにくい。そこで私は実際の放送映像クリップを用意し、フレームごとに本物のYOLO11x検出を実行し、実際の人物検出から線審の頭部を誤ったボールとして注入した上で、まったく同じ3つのゲートを変更せずに適用した。その結果、2つの誠実な妥協が必要となった。キャリブレーションされていない単一の放送クリップには実長深度が存在しないため、そこでの運動学ゲートはワールド空間ではなく画像平面上の2次元Kalmanフィルタとして動作させた。3次元フィルタを装うのは嘘になってしまうからだ。そしてスコアは低下した。実映像クリップにおいて、物理ゲートがボールを保持できた割合は68.3％であり、最高信頼度追従の43.8％、閾値引き上げの30.0％という結果になった。

私はしばらくの間、この68.3％という数字と向き合った。97.7％はアピールに適した数字であり、68.3％は過酷な映像における真実の数字だからだ。私はアプリ内のスコアボード上に、誰もが確認できる形でこの誠実な数値を残した。自らを過大宣伝する検証レイヤーは、自らが果たすと主張する唯一の職務においてすでに失格している。重要なのはその方向性だ。同一のゲートコードが何ら変更されることなく、シミュレーション上のみならず実環境の検出においても双方のベースラインを上回り、かつ自らの限界についても率直に明示しているのである。

これが真の基盤となるもの

私はサッカー向けの製品を作ろうとしたわけではなく、このデモが何であり、何でないかについては慎重を期したい。市販のあらゆるカメラシステムよりも追跡性能が優れていると主張するものではない。Pixellotの以降のファームウェアはすでに文字通りスキンヘッドの事例に対処しているし、検出器そのものが製品なのでもない。製品とは、検出器とその出力に基づいて動作するあらゆる処理との間に位置する、薄く、検査可能なレイヤーである。これらの指標は追跡品質であって検出器のエラー率ではない。だからこそ、下流の検出器がどれほど進化しようとも、この価値は揺るがないのだ。

そのレイヤーは、私が開発を始めた当時よりも今やはるかに重要度を増している。コンピュータビジョンはエージェント化（agentic AI）が進み、単にフレームにラベルを付与するだけでなく、それに基づいて行動するシステムへと進化している。そしてそのすべての根底にある未解決のガバナンス上の問いは、自律型エージェントが物理的に不可能な検出に基づいて行動するのをいかにして防ぐかである。SoccerNetは依然として複数物体追跡を「解決には程遠い」と評しており、そのベンチマークには物理認識手法がまだ統合されていない。私にとってスキンヘッドの件自体は本質的に興味深い部分ではなかった。興味深いのは、それを捉える制約、すなわち「実物体は物理法則に従わなければならない」という制約が、将来登場する完璧な検出器に対しても同様に成立するという点だ。一定の高度に浮遊したまま時速3マイルで移動するボールは、どれほど信頼度が高かろうと誤りだからである。検出結果が却下される様子を観察し、それが却下された正確な理由を確認したいのであれば、デモの公開場所は https://veriprajna.com/demos/physics-constrained-computer-visionであり、実際の映像クリップと合成シーンが並行して実行されている。

そして、私の言葉を鵜呑みにするよりも実際の動作を見たいという方のために、実際の映像クリップと合成シーンを並べ、エンドツーエンドで稼働している全容をここに紹介する。

カメラがスキンヘッドを追ったのは、ボールに何ができるのかを誰も教えていなかったからだ。私が構築したすべては、誰もが検証できる場所に書き記された、まさにその指示にすぎない。