VARがサッカーを壊しているのではない。壊れているのは工学だ。

ルイス・ディアスのゴールが取り消されたとき、私はバンガロールのバーにいた。

2023年11月、リバプール対トッテナムの試合だった。ボールがネットを揺らし、アンフィールドは沸き立った。そして——静寂。VARチェック。静止画像。ディアスの肩のどこかのピクセルから、最後尾のディフェンダーのブーツのどこかのピクセルまで引かれた線。オフサイド。しかし実際には違った。プレミアリーグは後に、そのゴールは認められるべきだったと認めた。彼らはそれを「重大な人的ミス」と呼んだ。

隣にいた男——サッカーファンですらないソフトウェアエンジニアだった——は画面を見て、私の記憶に残る言葉を口にした。「まるで2005年みたいに、ぼやけた写真に線を引いているのはなぜなんだ?」

彼は正しかった。しかもそのジャッジについてだけではない。VARのオフサイドシステム全体が、あまりにも根本的な物理学の誤りの上に成り立っており、もっと多くのエンジニアが声を上げていないことに私は正直驚いている。私はVeriprajnaを経営しており、そこでは複数のセンサータイプのデータを単一の現実モデルへと融合する、深層センサーフュージョンシステムを構築している。VARが実際にどう動いているのかを分解し始めたとき、私が見つけたのは調整が必要なシステムではなかった。見つかったのは、ソフトウェアの不備ではなく、物理学の誤りゆえに機能し得ないシステムだった。

オフサイド問題はソフトウェアのバグではない。測定の危機が、技術的成功物語を装っているのだ。

ピクセルの誤謬——カメラがなぜ選手の位置について嘘をつくのか

ビデオフレームについて、ほとんどの人が気づいていないことがある。それは静止した瞬間を写した写真ではない。滲みなのだ。

プレミアリーグの放送用カメラは秒間50フレームで動作する。つまり20ミリ秒ごとに1枚の画像を撮影している計算だ。各撮影の間、十分な光を取り込むためにシャッターはおよそ10ミリ秒開いている。その10ミリ秒の間に、キック動作中で秒速20メートルという速度で動く選手の足は、約20センチメートル移動する。センサー上に映るその足の「画像」は鮮明な点ではない。数十ピクセルにわたるぼやけなのだ。

ここからが馬鹿げている。VARオペレーターはこのぼやけたフレームを拡大し、攻撃側選手のつま先の「先端」だと思われる箇所に1ピクセルの十字線を置き、線を引く。彼らは確率分布の中の一点を選び出し、それを真実だと呼んでいるのだ。

放送フレームは選手がどこにいるかを捉えているのではない。10ミリ秒の時間枠の中で選手がどこにいた可能性があるかという、確率の雲を捉えているにすぎない。

だが、時間的な問題は空間的な問題よりもさらに深刻だ。プロのキック——ブーツがボールに触れる瞬間——はおよそ8から12ミリ秒で起こる。秒間50フレームでは、カメラが接触前に1フレームを捉え、次のフレームではすでにボールが足を離れている、ということが起こり得る。キックの実際の瞬間は、画面にほとんど映らない。オペレーターは「最も近い」フレームを選ぶが、「最も近い」といっても10ミリ秒のズレがあり得る。その10ミリ秒の間に、合計相対速度秒速14メートルで動く選手たちは14センチメートル位置がずれている。

つまりこのシステムは、測定していると主張する誤差の10倍もの距離だけ物理的に古くなった画像の上に、ミリ単位の精度の線を引いていることになる。これは測定ではない。芝居だ。

自分で数字を計算してみたとき

私はサッカーを直そうとしてこのプロジェクトを始めたのではない。数学が私を憤慨させたから始めたのだ。

Veriprajnaの私のチームはセンサーフュージョンに取り組んでいる——カメラ、加速度計、ジャイロスコープ、その他の計測機器からのデータを組み合わせ、物理的現実の統一モデルを作り出す作業だ。私たちはこれを、精度が重要となる産業用途のために行っている。VARのパイプラインをエンジニアリングシステムとして初めて見たとき、私はその論争の裏に何か洗練されたものがあるはずだと予想していた。おそらく世間は許容誤差を理解していないだけだろう、と。おそらく誤差の範囲は許容できるものなのだろう、と。

ところが実際に見つかったのは、合計30から40センチメートルもの不確実性の領域を抱えながら、センチメートル単位の判定を下そうとしているシステムだった。

ある晩、私は腰を据えてホワイトボードに誤差予算を書き出した。フレーム選択による時間的量子化誤差は±10ミリ秒で、相対速度秒速14メートルにおいては±14センチメートルの位置的不確実性となる。シャッターが開いている間のモーションブラーはさらに±10センチメートル。CMOSセンサーのローリングシャッター歪み——画像が上から下へ一行ずつ読み出されるため、素早く動く脚が幾何学的に歪んで映る現象——は数値化されていないが実在する。さらに、ぼやけた四肢にキーポイントを置く際のピクセル単位の曖昧さを加えると、およそ40センチメートル未満のオフサイド判定の余地をすべて凌駕する合計誤差になる。

そのホワイトボードを見つめながら考えたのを覚えている。この5年間の「際どい」オフサイド判定はすべて、科学の装いをまとったコイントスだったのだ、と。

その瞬間、私は書かねばならないと決意した——完全な技術分析を。VARについて不満を述べるためではなく、真の測定システムがどのようなものになり得るかを示すためだ。

なぜ同じカメラに「もっと優れたAI」を使うだけではいけないのか?

これは私が最もよく受ける質問で、たいてい投資家から、時には他のAI企業からも寄せられる。「放送映像の上で、もっと優れたモデルを訓練すればいいだけじゃないのか?」

答えはノーだ。そしてその理由は、現在のスポーツテック業界の在り方に潜む、より深い問題を露わにしている。

市場には、私が「ラッパー・ソリューション」と呼ぶものが溢れている——標準的な放送映像を受け取り、YOLOやMask R-CNNのような既製の物体検出モデルに通し、バウンディングボックスや姿勢推定を出力する企業だ。これらはファンエンゲージメント機能、ハイライト映像、基本的な分析には十分だ。しかし、それらは審判業務には根本的に不向きなのだ。

ラッパーは入力の制約をそのまま受け継ぐ。入力がモーションブラー、ローリングシャッターのアーティファクト、レンズ歪みを伴う秒間50フレームの放送映像であれば、どれほどパラメータ数の多いニューラルネットワークであっても、そもそも捉えられていない時間情報を復元することはできない。物理法則を幻視させることはできない。データはそもそも存在しないのだ。

「ディープAI」が私たちにとって何を意味するのかと尋ねられるとき、私が繰り返し伝えようとしているのはこの区別だ。それはより深いニューラルネットワークを意味するのではない。スタックの中をより深く進むことを意味する——センサー層、データ取得パイプライン、時刻同期インフラをコントロールすることだ。私たちは映像を処理しているのではない。必要な精度を実際に支えられるだけの入力が得られるよう、データが取得される条件そのものを設計しているのだ。

測定の問題は、より優れたアルゴリズムでは解決できない。より優れた計測機器によってのみ解決できるのだ。

真のシステムはどのようなものになるのか?

そこで私はチームとともに、それを設計した。VARへの微調整ではない。測定アーキテクチャ全体の置き換えだ。

核心となる着想は、一見単純そうに見える——時間の測定と空間の測定を切り離すことだ。ボールに教えてもらうのだ、いつキックが起きたかを。そしてカメラに教えてもらう、どこに選手たちがいたかを。そして数学を用いて、その2つのストリームを融合させ、現実の単一の精密な再構成を作り出すのだ。

ボールは自分がいつ蹴られたかを知っている

私たちが提案するのは、試合球の中心に500Hzの慣性計測ユニット——秒間500回サンプリングする加速度計とジャイロスコープ——を埋め込むことだ。ブーツがボールを打つと、加速度計は特徴的な波形を伴うGフォースの大きなスパイクを記録する。立ち上がり時間は2ミリ秒未満と鋭く、ボールが足を離れるにつれて急速に減衰する。これはバウンド(振幅が小さく接触時間が長い)やヘディング(頭蓋骨のたわみによる、より緩やかな曲線)とは明確に異なる。

衝撃のスペクトル的特徴を解析することで、システムはボール変形の正確な開始時点——競技規則が定義する「最初の接触」の物理的瞬間——を特定する。タイムスタンプの精度は±1ミリ秒だ。手動でのフレーム選択における±10ミリ秒と比較してみてほしい。

私たちが社内で何週間も議論したことの一つがある。センサーは±200gの加速度に対応しなければならないという点だ。プロの一撃が生み出す力は、民生用グレードの加速度計を±16gで瞬時に飽和させ、データをクリッピングさせ波形を破壊してしまう。またセンサーは、ボールがまっすぐ飛ぶよう、ブラダーの内部で張力のかかったフィラメントに吊るされ、ボールの正確な重心に位置しなければならない。少しでもずれれば、いかさまサイコロを作ってしまうことになる。工学的な制約は厳しいが、解決可能なものだ——実際、FIFA自身のコネクテッドボール技術が2022年のワールドカップで、このコンセプトが実現可能であることを証明している。

カメラは全員がどこにいるかを見ている

空間レイヤーについては、放送用カメラを、固定位置に設置されキャリブレーションされた12台から16台のマシンビジョンカメラに置き換える。動作速度は秒間200フレームで、グローバルシャッターを備えている。

フレームレートの向上は非常に大きな意味を持つ。秒間200フレームでは、フレーム間隔は20ミリ秒から5ミリ秒へと短縮される。「盲点」——選手がフレーム間で移動しうる最大距離——は28センチメートルから7センチメートルへと縮小する。しかしそれ以上の成果はモーションブラーの改善だ。秒間200フレームでは、シャッター速度は1000分の1秒以上でなければならない。ぼやけの幅は10から20センチメートルから、1センチメートル未満へと縮小する。選手は確率の雲ではなく、鮮明で測定可能な対象になる。

グローバルシャッターも重要だ。放送用カメラは、画像を一行ずつ読み出すローリングシャッターを使用している。素早く動く脚は、読み出し方向との関係によって伸びたり縮んだりと、幾何学的に歪んでしまう。グローバルシャッターセンサーはすべてのピクセルを同時に露光する。幾何学的形状は、露光の瞬間に存在していたとおりに正確に保たれる。

そして、これらは視野が重なり合う固定・キャリブレーション済みのカメラであるため、マルチビュー・ステレオ幾何学を用いて、すべての選手の3次元位置を三角測量できる。ある四肢が一つのカメラアングルで遮蔽されていても——混雑したペナルティエリア内でディフェンダーに遮られていても——別のアングルからほぼ確実に見えている。私たちのシステムは投票メカニズムを用いる。遮られていないカメラからの可視キーポイントが再構成に寄与し、遮蔽されたビューは破棄される。関節がすべてのビューで部分的に隠れている場合には、生体力学的制約(すねは膝につながり、膝は股関節につながる)によって、算出された信頼区間つきで推定が可能になる。

2つの異なるセンサーを、いかにして一つの真実へと融合させるのか?

ここにこそ本当のエンジニアリングが存在し、正直に言えば、Veriprajnaの最も深い貢献があると私は考えている。

200Hzの骨格追跡データと、500Hzのボール衝撃データがある。キックが、例えばタイムスタンプ1234ミリ秒の時点で起きたとする。最も近いカメラフレームは1230ミリ秒と1235ミリ秒だ。ストライカーのつま先がちょうど1234ミリ秒の時点でどこにあったかを知る必要がある。単に最も近いフレームを選ぶだけでは済まない——それは1ミリ秒の誤差であり、秒速14メートルではそれでも1.4センチメートルに相当する。センチメートル未満の精度を謳うシステムにとって、それは許容できない。

そこで私たちは補間を行う。ただし直線によってではない——人間の動きは曲線的だからだ。全力疾走する脚は、ストライドの中で加速と減速を繰り返す。私たちは3次スプライン補間を用いる。これは既知のデータ点を通る滑らかな曲線を構築しつつ、速度と加速度の連続性を保つ手法だ。その結果生まれるのが、数学的に生成された「仮想フレーム」——接触が起きた正確なミリ秒における、すべての選手の骨格の再構成された位置——である。

補間の前に、私たちは生の追跡データをアンセンテッド・カルマンフィルターに通す。これは、すべての選手の身体のあらゆる関節について——位置、速度、加速度という——状態モデルを維持し、物理法則が予測することとカメラが観測することを絶えず調整し続ける数学的フレームワークだ。ニューラルネットワークの検出結果がフレームごとに数センチメートル揺れ動く場合(実際には常にそうなる)、フィルターは物理法則を信頼することでそれを平滑化する。選手が急に方向転換した場合には、フィルターは光学的な測定への信頼度を高める。その結果得られるのは、生体力学的に一貫した、クリーンな軌跡だ。

決定的に重要なアーキテクチャ上の選択——密結合対、疎結合だ。疎結合システムでは、視覚システムとIMUがそれぞれ独立に位置を計算し、その後平均を取る。単純ではあるが脆い方式だ——カメラがディフェンダーの壁の背後で選手を50ミリ秒見失えば、その平均値は意味を失ってしまう。私たちの密結合アーキテクチャでは、両方のセンサーストリームからの生の残差が単一のファクターグラフ最適化器に入力され、すべての制約を同時に満たす最も尤もらしい状態を解く。部分的な遮蔽の間でさえ、カルマンフィルターによって確立された運動量的な慣性が、視覚的なロックが再取得されるまで、高い信頼度で推定値を前進させ続ける。

私たちはピクセルを測定しているのではない。その瞬間の物理を再構成し、モデルから答えを読み取っているのだ。

完全な数学的フレームワーク——カルマンフィルターの状態方程式、クォータニオンによる姿勢推定、ホモグラフィ変換——については、こちらに完全な技術的詳細解説を公開している。

誤差予算はどうなるのか?

2つのシステムを並べてみよう。その対比は鮮明だからだ。

手動でのフレーム選択を伴う、現行の50Hz VAR:時間的誤差は±10ミリ秒、フレーム選択のみによる空間的不確実性は±14センチメートル、モーションブラーによるものが±10センチメートル。合計の不確実性領域は、おおよそ30から40センチメートル。

私たちのアーキテクチャ——200Hzの光学系、500Hzの慣性系、密結合フュージョン:IMUはキックの瞬間を±1ミリ秒の精度で特定する。5ミリ秒のカメラ間隔にわたる3次スプライン補間は、滑らかな生体の動きに対してミリ以下の誤差しか生じない。残る主な誤差要因はニューラルネットワークによるキーポイント配置の精度で、およそ±2から3センチメートルだ。合計の不確実性領域は、おおよそ2から3センチメートル。

これは桁違いの改善だ。以前は「判定不可能なほど際どい」——誤差の余地がシステムの盲点の内側に収まっていた——とされていた判定が、数学的に明確に区別できるようになる。

「しかしこれは途方もなく高額になるだろう」

確かに、実際にお金はかかる。16台の高速カメラ、スタジアムのサーバールームに設置するデュアルA100またはH100 GPU搭載のエッジコンピューティングクラスター、マイクロ秒未満の時刻同期のための光ファイバーPTPバックボーン、IMU内蔵の試合球。これはAPIキー一つで展開できるクラウドSaaS製品ではない。

しかし、コストという問いを捉え直させてほしい。プレミアリーグは放送収入だけで年間30億ポンド以上を生み出している。たった一つの誤ったオフサイド判定が優勝争いを左右し、何億ポンドもの収益損失を伴う降格を引き起こし、世界中の観客の信頼を蝕みかねない。私が説明しているインフラのコストは、大手クラブ一つが一移籍市場で移籍金に費やす額のほんの一部にすぎないだろう。

本当の抵抗はコストではない。組織の慣性だ。サッカーの統括団体は、VARを完成品として受け入れてしまった。それが根本的な再設計を必要とすると認めること——単により優れたオペレーターや、より太い許容ラインが必要なだけではないと認めること——は、当初の約束が誇張されすぎていたと認めることを意味する。誰もその話をしたがらない。

人々はまたこう尋ねる。試合中にボールセンサーが故障したらどうなるのか、と。システムは緩やかに劣化し、光学のみのモードに切り替わる。秒間200フレームでは、誤差の余地はおよそ7センチメートルに拡大するが、それでも現行の28センチメートルという盲点よりはるかに優れている。試合は中断することなく続けられる。

では「こすった」パス——足がボールと連続的に接触し続けるドリブル——についてはどうか? IMUは鋭いスパイクの代わりに連続的な振動を検知し、システムはロジックを切り替えて、振動が止む瞬間、すなわちボールが離れる瞬間を追跡する。私たちはこうしたエッジケースをきちんと検討してきた。なぜならそれらこそが、実際に展開されたシステムを破綻させかねないものだからだ。

これは本当はオフサイドだけの話ではない

これほどの忠実度を持つセンサーフュージョン・アーキテクチャを一度構築してしまえば、オフサイドは単なる最初の応用例にすぎない。同じ3D骨格データと高周波のボール追跡は、ハンドボールの自動検知を可能にする——「自然なシルエット」を3次元空間内の体積的な境界としてモデル化し、胴体の回転から推測される範囲を超えてボールの軌道に向かう腕の動きを検知するのだ。選手の位置を追跡するのと同じカルマンフィルターの速度微分値は、あらゆる一歩と減速イベントの正確なGフォースを計算でき、ACL(前十字靭帯)損傷に先立って蓄積する膝への負荷を、実際に発生する前に警告することができる。

スタジアムはデジタル化された物理学の実験室になる。そして、このスポーツは初めて、真の意味で測定可能なものになるのだ。

審判テクノロジーの不気味の谷

ロボット工学には「不気味の谷」と呼ばれる概念がある——何かが人間らしく見えて説得力を持つ一歩手前に達しながらも、わずかにずれているために深い不安を呼び起こす、その地点のことだ。VARは測定技術における不気味の谷に生きている。真実を捉えていると私たちに信じ込ませるほどには精密でありながら、日常的に判定を誤るほどには不正確なのだ。確実性という見かけと、不確実性という現実との間のこのギャップこそが、ファンを狂わせているのだ。

「VARは試合を台無しにする」と言う人々は、感情的になっているわけではない。彼らは一つの現実の現象に反応しているのだ。すなわち、推測を事実として提示するシステムに対してだ。ピクセル単位の精密な線、静止画像、無機質なグラフィック——それらすべてが、根底にある物理学が支えきれないほどの権威性を演出している。

解決策は後退することではない。線審の一瞬のまなざしがワールドカップ準決勝を決めていた時代に戻りたい者などいない。解決策は、より深く掘り下げることだ。ピクセルを測定するのをやめ、物理を測定し始めることだ。私たちが掲げる主張にふさわしい計測機器を作ることだ。

サッカーに必要なのはテクノロジーを減らすことではない。必要なのは、自らが統括しようとしているスポーツの物理法則を尊重するテクノロジーだ。

私たちに必要なのは、より太い許容ラインでも、より寛容なプロトコルでもない。実際に何が起きたかを本当に捉えるシステムが必要なのだ——8ミリ秒しか続かず、それでいてすべてを決定づける瞬間の真実を再構成できるほど、十分に高速で、十分に精密で、十分に緊密に融合されたセンサーによって。

それこそが、私たちが構築しているものだ。サッカーにおいて人間の判断をテクノロジーが置き換えるべきだと考えているからではない。むしろ、テクノロジーが実際に介入するのであれば、それは少なくとも正しくあるべきだからだ。