VAR이 축구를 망치는 게 아니다, 잘못된 엔지니어링이 망친다

루이스 디아스의 골이 취소되던 순간, 나는 방갈로르의 한 술집에 있었다.

2023년 11월, 리버풀 대 토트넘 경기였다. 공이 골네트를 흔들자 안필드가 폭발했고, 이내 정적이 흘렀다. VAR 판독. 정지 화면. 디아스의 어깨 어딘가의 픽셀에서 최종 수비수의 부츠 어딘가의 픽셀까지 그어진 선. 오프사이드. 하지만 오프사이드가 아니었다. 프리미어리그는 훗날 그 골이 인정됐어야 했다고 시인했다. 그들은 이를 "중대한 인적 오류"라고 불렀다.

옆에 있던 남자 — 축구 팬도 아닌 소프트웨어 엔지니어였다 — 는 화면을 보며 내 뇌리에 박힌 말을 했다. "왜 아직도 2005년처럼 흐릿한 사진에 선을 긋고 있는 거지?"

그의 말이 맞았다. 그리고 그 판정 하나에 국한된 이야기가 아니었다. VAR 오프사이드 시스템 전체가 너무나 근본적인 물리학적 오류 위에 세워져 있어서, 왜 더 많은 엔지니어들이 이에 대해 목소리를 높이지 않았는지 나는 진심으로 의아할 정도다. 나는 Veriprajna를 운영하며, 딥 센서 퓨전 시스템을 구축한다 — 여러 종류의 센서 데이터를 하나의 현실 모델로 융합하는 종류의 아키텍처다. VAR이 실제로 내부에서 어떻게 작동하는지 하나하나 뜯어보기 시작했을 때, 나는 손질이 필요한 시스템을 발견한 게 아니었다. 소프트웨어가 나빠서가 아니라 물리학이 잘못되어서, 애초에 작동할 수 없는 시스템을 발견했다.

오프사이드 문제는 소프트웨어 버그가 아니다. 이는 측정의 위기가 기술적 성공담으로 위장된 것이다.

픽셀의 착각: 카메라가 선수의 위치를 거짓으로 알려주는 이유

대부분의 사람들이 모르는 사실이 있다. 비디오 프레임은 정지된 순간을 찍은 사진이 아니다. 그것은 번짐이다.

프리미어리그의 중계 카메라는 초당 50프레임으로 작동한다. 즉 20밀리초마다 한 장의 이미지를 캡처한다는 뜻이다. 각 캡처 동안, 충분한 빛을 받아들이기 위해 셔터는 약 10밀리초 동안 열려 있다. 그 10밀리초 사이, 킥 동작 중 초속 20미터로 움직이는 선수의 발은 약 20센티미터를 이동한다. 센서에 맺힌 그 발의 "이미지"는 선명한 점이 아니다. 수십 개의 픽셀에 걸쳐 번진 얼룩이다.

여기서부터 황당해진다. VAR 운영자는 이 흐릿한 프레임을 확대해서, 공격수의 발끝 "선단"이라고 여겨지는 지점에 단일 픽셀 크로스헤어를 배치하고 선을 긋는다. 그들은 확률 분포 안의 한 점을 골라 그것을 진실이라 부르고 있는 것이다.

중계 프레임은 선수가 어디에 있는지를 포착하지 않는다. 10밀리초의 시간 창 동안 그 선수가 있었을 법한 위치의 확률 구름을 포착할 뿐이다.

하지만 시간적 문제는 공간적 문제보다 훨씬 심각하다. 프로 선수의 킥 — 부츠가 공에 닿는 순간 — 은 약 8에서 12밀리초 사이에 일어난다. 초당 50프레임에서는, 카메라가 접촉 직전의 한 프레임과 공이 이미 발을 떠난 다음 프레임을 각각 포착할 수 있을 뿐이다. 실제 킥의 순간은 화면에 거의 등장하지 않는다. 운영자는 "가장 가까운" 프레임을 고르지만, 그 "가장 가까움"이 10밀리초의 오차를 의미할 수도 있다. 그 10밀리초 동안, 합산 상대 속도 초속 14미터로 움직이는 선수들은 14센티미터만큼 위치가 이동했다.

그렇게 이 시스템은 물리적으로 뒤처진 이미지 위에 밀리미터 단위로 정밀한 선을 긋는다. 그 뒤처짐의 거리는측정한다고 주장하는 마진보다 열 배나 더 크다. 이것은 측정이 아니다. 연극이다.

내가 직접 숫자를 계산해봤을 때

나는 축구를 고치기 위해 이 프로젝트를 시작한 게 아니다. 수학이 나를 불쾌하게 만들었기 때문에 시작했다.

Veriprajna에서 우리 팀은 센서 퓨전을 연구한다 — 카메라, 가속도계, 자이로스코프 등 다양한 계측기의 데이터를 하나의 통합된 물리적 현실 모델로 결합하는 작업이다. 우리는 정밀도가 중요한 산업용 애플리케이션을 위해 이 작업을 한다. VAR 파이프라인을 엔지니어링 시스템으로서 처음 들여다봤을 때, 나는 그 논란 이면에 정교한 무언가가 있을 것이라 기대했다. 어쩌면 대중이 허용 오차를 제대로 이해하지 못한 것일 수도 있었다. 어쩌면 오차 마진이 충분히 받아들일 만한 수준일 수도 있었다.

하지만 실제로 내가 발견한 것은, 불확실성의 총 구간이 30에서 40센티미터에 달하면서도 센티미터 단위의 판정을 내리려는 시스템이었다.

어느 날 저녁 나는 앉아서 화이트보드에 오차 예산을 정리해봤다. 프레임 선택으로 인한 시간적 양자화: ±10밀리초, 이는 상대 속도 초속 14미터에서 ±14센티미터의 위치 불확실성을 낳는다. 셔터 개방 중의 모션 블러: 추가로 ±10센티미터. CMOS 센서의 롤링 셔터 왜곡 — 이미지가 위에서 아래로 한 줄씩 읽히기 때문에, 빠르게 움직이는 다리가 기하학적으로 뒤틀려 보이는 현상 — 은 정량화되지는 않았지만 실재한다. 흐릿한 팔다리 위에 키포인트를 찍는 픽셀 단위의 모호함까지 더하면, 약 40센티미터 미만의 어떤 오프사이드 마진도 왜소하게 만드는 결합 오차를 마주하게 된다.

그 화이트보드를 바라보며 이렇게 생각했던 것이 기억난다. 지난 5년간의 모든 "아슬아슬한" 오프사이드 판정은 과학으로 포장된 동전 던지기였다.

바로 그 순간, 나는 우리가 반드시 써야 한다고 결심했다 — 완전한 기술 분석 자료를. VAR에 대해 불평하기 위해서가 아니라, 진짜 측정 시스템이 어떤 모습일지 보여주기 위해서였다.

왜 그냥 같은 카메라에 "더 나은 AI"를 쓰면 안 되는가?

내가 가장 자주 받는 질문이다. 주로 투자자들에게서, 때로는 다른 AI 기업들에게서도 듣는다. "그냥 중계 영상에 더 나은 모델을 학습시키면 안 되나요?"

안 된다. 그리고 그 이유는 현재 스포츠 기술 업계가 작동하는 방식에 숨어 있는 더 깊은 문제를 드러낸다.

시장은 내가 "래퍼 솔루션"이라 부르는 것들로 넘쳐난다 — 표준 중계 영상을 가져다가 YOLO나 Mask R-CNN 같은 기성 객체 탐지 모델에 통과시켜 바운딩 박스나 포즈 추정치를 출력하는 기업들이다. 이런 것들은 팬 참여 기능, 하이라이트 영상, 기초적인 분석에는 괜찮다. 하지만 이들은 판정 업무에는 근본적으로 부적합하다.

래퍼는 입력 데이터의 한계를 그대로 물려받는다. 만약 입력이 모션 블러, 롤링 셔터 아티팩트, 렌즈 왜곡을 가진 초당 50프레임짜리 중계 영상이라면, 아무리 파라미터가 많은 신경망이라도 애초에 캡처되지 않은 시간 정보를 복원할 수는 없다. 물리학을 환각으로 만들어낼 수는 없는 법이다. 데이터는 애초에 존재하지 않는다.

사람들이 우리에게 "딥 AI"가 무엇을 의미하는지 물을 때마다 내가 계속 강조하려 하는 구분점이 바로 이것이다. 그것은 더 깊은 신경망을 뜻하지 않는다. 스택을 더 깊이 파고든다는 뜻이다 — 센서 계층, 데이터 취득 파이프라인, 시간 동기화 인프라를 직접 통제한다는 것이다. 우리는 영상을 처리하지 않는다. 우리는 데이터가 캡처되는 조건 자체를 설계해서, 입력값이 실제로 우리가 필요로 하는 정밀도를 뒷받침할 수 있도록 만든다.

측정 문제는 더 나은 알고리즘으로 고칠 수 없다. 더 나은 계측기로 고치는 것이다.

진짜 시스템은 어떤 모습일까?

그래서 나는 팀과 함께 하나를 설계했다. VAR을 손보는 정도가 아니라, 측정 아키텍처 전체를 대체하는 시스템을.

핵심 통찰은 얼핏 단순해 보인다. 시간의 측정을 공간의 측정에서 분리하라는 것이다. 공이 언제 킥이 일어났는지 알려주게 하라. 카메라가 어디에서 선수들이 있었는지 알려주게 하라. 그리고 수학을 이용해 이 두 데이터 흐름을 하나의 정밀한 현실 재구성으로 융합하라.

공은 자신이 언제 차였는지 안다

우리는 축구공 중심부에 500Hz 관성 측정 장치 — 초당 500회 샘플링하는 가속도계와 자이로스코프 — 를 내장할 것을 제안한다. 부츠가 공을 때리면, 가속도계는 특징적인 파형을 가진 거대한 중력 가속도(G-포스) 스파이크를 기록한다. 상승 시간은 2밀리초 미만으로 날카롭고, 공이 발을 떠나면서 급격히 감쇠한다. 이는 바운스(더 낮은 크기, 더 긴 접촉 시간)나 헤딩(두개골의 탄성으로 인해 더 완만한 곡선)과는 뚜렷이 구별된다.

충격의 스펙트럼 특성을 분석함으로써, 시스템은 공 변형이 시작되는 정확한 시점 — 경기 규칙이 정의하는 "첫 접촉"의 물리적 순간 — 을 식별한다. 타임스탬프 정밀도는 ±1밀리초다. 수동 프레임 선택의 ±10밀리초와 비교해보라.

우리가 몇 주 동안 내부적으로 논쟁했던 문제 하나: 센서는 ±200g의 가속도를 감당해야 한다는 점이다. 프로 선수의 슈팅은 소비자용 가속도계라면 ±16g에서 즉시 포화되어 데이터가 잘리고 파형이 망가질 만큼 큰 힘을 발생시킨다. 또한 센서는 공이 정확히 똑바로 날아가도록, 블래더 내부에서 팽팽한 필라멘트에 매달려 공의 정확한 질량 중심에 위치해야 한다. 조금이라도 벗어나면 조작된 주사위를 만든 셈이 된다. 공학적 제약은 엄격하지만 해결 가능하다 — 2022년 월드컵에서 사용된 FIFA 자체의 커넥티드 볼 기술이 이미 그 개념이 실현 가능함을 입증했다.

카메라는 모두가 어디에 있는지 본다

공간 계층을 위해, 우리는 중계 카메라를 고정 위치에 설치되고 보정된 12에서 16대의 머신 비전 카메라로 대체한다. 이 카메라들은 초당 200프레임으로, 글로벌 셔터를 사용해 작동한다.

프레임 레이트의 증가는 엄청난 의미를 갖는다. 초당 200프레임에서는 프레임 간 간격이 20밀리초에서 5밀리초로 줄어든다. "사각지대" — 프레임 사이에서 선수가 이동할 수 있는 최대 거리 — 는 28센티미터에서 7센티미터로 줄어든다. 하지만 더 큰 이득은 모션 블러다. 초당 200프레임에서는 셔터 속도가 1000분의 1초 이하여야 한다. 블러 번짐은 10~20센티미터에서 1센티미터 미만으로 줄어든다. 선수들은 확률 구름이 아니라 선명하고 측정 가능한 물체가 된다.

글로벌 셔터도 중요하다. 중계 카메라는 이미지를 한 줄씩 읽어 들이는 롤링 셔터를 사용한다. 빠르게 움직이는 다리는 읽어 들이는 방향에 따라 늘어나거나 압축되는 식으로 기하학적으로 왜곡된다. 글로벌 셔터 센서는 모든 픽셀을 동시에 노출시킨다. 노출 순간에 존재했던 그대로의 기하학적 형태가 정확히 보존된다.

그리고 이 카메라들은 시야가 겹치는 고정된 보정 카메라이기 때문에, 다중 시점 스테레오 기하학을 이용해 모든 선수의 3차원 위치를 삼각측량할 수 있다. 혼잡한 페널티 박스 안에서 수비수에게 가려져 한 카메라 각도에서 팔다리가 가려지더라도, 다른 각도에서는 거의 확실히 보인다. 우리 시스템은 투표 메커니즘을 사용한다. 가려지지 않은 카메라에서 보이는 키포인트는 재구성에 기여하고, 가려진 시점은 폐기된다. 만약 어떤 관절이 모든 시점에서 부분적으로 가려져 있다면, 생체역학적 제약(정강이는 무릎에, 무릎은 엉덩이에 연결된다는 사실) 덕분에 계산된 신뢰 구간과 함께 추론이 가능하다.

서로 다른 두 센서를 하나의 진실로 융합하는 방법은?

바로 여기에 진짜 엔지니어링이 있으며, 솔직히 말해 나는 이 지점이 Veriprajna의 가장 깊은 기여라고 생각한다.

200Hz의 골격 추적 데이터와 500Hz의 공 충격 데이터가 있다고 하자. 킥은, 예를 들어 타임스탬프 1234밀리초에 일어난다. 가장 가까운 카메라 프레임은 1230밀리초와 1235밀리초에 있다. 정확히 1234밀리초에 슈터의 발끝이 어디에 있었는지 알아야 한다. 그냥 가장 가까운 프레임을 고를 수는 없다 — 그것만으로도 1밀리초의 오차가 생기는데, 초속 14미터에서 이는 여전히 1.4센티미터에 해당한다. 센티미터 이하의 정밀도를 주장하는 시스템으로서는 용납할 수 없는 수준이다.

그래서 우리는 보간을 한다. 하지만 직선으로는 아니다 — 인간의 움직임은 곡선적이다. 질주하는 다리는 보폭 안에서 가속과 감속을 반복한다. 우리는 삼차 스플라인 보간법을 사용하는데, 이는 속도와 가속도의 연속성을 유지하면서 이미 알려진 데이터 포인트들을 관통하는 매끄러운 곡선을 구성한다. 그 결과는 수학적으로 생성된 "가상 프레임" — 접촉이 일어난 정확한 밀리초 시점에서 모든 선수의 골격이 취했던 재구성된 위치 — 이다.

보간에 앞서, 우리는 원시 추적 데이터를 무향 칼만 필터에 통과시킨다. 이는 모든 선수의 신체 각 관절에 대해 위치, 속도, 가속도라는 상태 모델을 유지하면서, 물리학이 예측하는 것과 카메라가 관측하는 것을 지속적으로 조정하는 수학적 프레임워크다. 신경망의 탐지값이 프레임마다 몇 센티미터씩 흔들린다면(항상 그렇듯이), 필터는 물리학을 신뢰함으로써 이를 매끄럽게 만든다. 선수가 갑작스럽게 방향을 전환하면, 필터는 광학적 측정에 대한 신뢰를 높인다. 그 결과는 생체역학적으로 일관된 깔끔한 궤적이다.

결정적인 아키텍처 선택: 긴밀 결합과 느슨 결합 중 무엇을 택할 것인가. 느슨하게 결합된 시스템에서는 비전 시스템과 IMU가 각각 독립적으로 위치를 계산한 뒤 그것을 평균 낸다. 단순하지만 취약하다 — 만약 카메라가 50밀리초 동안 수비벽 뒤로 선수를 놓친다면, 그 평균값은 무의미해진다. 우리의 긴밀하게 결합된 아키텍처에서는, 두 센서 스트림의 원시 잔차가 하나의 팩터 그래프 최적화기로 함께 입력되어 모든 제약 조건을 동시에 만족시키는 가장 가능성 높은 상태를 풀어낸다. 부분적으로 가려지는 동안에도, 칼만 필터가 구축한 운동학적 모멘텀이 시각적 추적이 재확보될 때까지 높은 신뢰도로 추정값을 이어간다.

우리는 픽셀을 측정하지 않는다. 우리는 그 순간의 물리학을 재구성하고 모델에서 답을 읽어낸다.

완전한 수학적 프레임워크 — 칼만 필터 상태 방정식, 쿼터니언 방향 추정, 호모그래피 변환 — 에 대해서는, 내가 여기에 완전한 기술 심층 분석 자료를 공개해 두었다.

오차 예산은 어떻게 되는가?

두 시스템을 나란히 놓고 보자. 그 대비가 극명하기 때문이다.

수동 프레임 선택을 사용하는 현재의 50Hz VAR 시스템: 시간적 오차 ±10밀리초, 프레임 선택만으로 발생하는 공간적 불확실성 ±14센티미터, 모션 블러로 인한 ±10센티미터. 총 불확실성 구간: 대략 30에서 40센티미터.

우리의 아키텍처 — 200Hz 광학, 500Hz 관성, 긴밀 결합 융합: IMU가 킥의 시점을 ±1밀리초로 고정한다. 5밀리초의 카메라 간격에 대한 삼차 스플라인 보간은 매끄러운 생체 움직임에 대해 밀리미터 이하의 오차만을 유발한다. 남은 주요 오차 원인은 신경망의 키포인트 배치 정확도로, 약 ±2에서 3센티미터다. 총 불확실성 구간: 대략 2에서 3센티미터.

이는 자릿수 단위의 개선이다. 예전에는 마진이 시스템의 사각지대 안에 들어와 "판정하기에는 너무 근소하다"고 여겨졌던 결정들이, 이제는 수학적으로 명확히 구별된다.

"하지만 이건 엄청나게 비쌀 텐데"

실제로 큰돈이 들 것이다, 그렇다. 열여섯 대의 고속 카메라, 경기장 서버실에 설치된 A100 또는 H100 GPU 이중 구성의 엣지 컴퓨팅 클러스터, 마이크로초 이하 수준의 시간 동기화를 위한 광섬유 PTP 백본, IMU를 내장한 경기용 공. 이는 API 키 하나로 배포하는 클라우드 SaaS 제품이 아니다.

하지만 비용 문제를 다시 짚어보자. 프리미어리그는 연간 30억 파운드가 넘는 중계권 수익을 창출한다. 단 한 번의 잘못된 오프사이드 판정이 우승 경쟁의 향방을 바꾸고, 수억 파운드에 달하는 손실 수익을 초래하는 강등을 유발하며, 전 세계 관중의 신뢰를 갉아먹을 수 있다. 내가 설명하고 있는 이 인프라는 대형 클럽 하나가 이적시장 한 번에 쓰는 비용의 일부에 불과할 것이다.

진짜 저항의 원인은 비용이 아니다. 제도적 관성이다. 축구의 관리 기구들은 VAR을 완성된 제품으로 받아들였다. 이를 근본적으로 재설계해야 한다는 사실을 — 단지 더 나은 운영자나 더 두꺼운 허용 오차 선이 아니라 — 인정하는 것은, 애초의 약속이 과대 포장되었음을 인정하는 셈이 된다. 아무도 그런 대화를 나누고 싶어 하지 않는다.

사람들은 또 이렇게 묻는다. 경기 도중 공 센서가 고장 나면 어떻게 되나요? 시스템은 광학 전용 모드로 우아하게 성능이 저하된다. 초당 200프레임에서 오차 마진은 약 7센티미터로 늘어나지만, 이는 현재의 28센티미터짜리 사각지대보다 여전히 압도적으로 낫다. 경기는 중단 없이 계속된다.

그렇다면 발이 공과 계속 접촉을 유지하는 드리블, 즉 "긁는" 패스는 어떨까? IMU는 날카로운 스파이크 대신 연속적인 진동을 감지하며, 시스템은 논리를 전환해 진동이 멈추는 시점, 즉 릴리스의 순간을 추적한다. 우리는 이런 예외 상황들을 세심하게 검토했다. 실제로 배치된 시스템을 망가뜨릴 수 있는 것은 바로 이런 경우들이기 때문이다.

이것은 사실 오프사이드에 관한 이야기가 아니다

이 정도 충실도의 센서 퓨전 아키텍처를 구축하고 나면, 오프사이드는 그저 첫 번째 응용 사례일 뿐이다. 동일한 3차원 골격 데이터와 고빈도 공 추적 기술은 자동 핸드볼 탐지를 가능하게 한다 — "자연스러운 실루엣"을 3차원 공간상의 체적 경계로 모델링하고, 몸통 회전만으로는 설명되지 않는, 공의 궤적을 향한 팔의 움직임을 탐지하는 방식이다. 선수의 위치를 추적하는 것과 동일한 칼만 속도 미분값은 모든 걸음과 감속 동작의 정확한 중력 가속도(G-포스)를 계산할 수 있어, 전방십자인대 부상이 일어나기 전에 그 원인이 되는 누적된 무릎 부하를 미리 경고할 수 있다.

경기장은 디지털화된 물리학 실험실이 된다. 그리고 이 스포츠는 처음으로 진정한 의미에서 측정 가능해진다.

판정 기술의 불쾌한 골짜기

로봇공학에는 불쾌한 골짜기라는 개념이 있다 — 무언가가 인간과 거의 흡사해 설득력이 있는 듯하지만, 미묘하게 어긋나 깊은 불쾌감을 주는 지점을 말한다. VAR은 측정 기술의 불쾌한 골짜기에 살고 있다. 우리가 진실을 포착하고 있다고 믿게 만들 만큼 정밀하면서도, 정기적으로 틀리게 될 만큼 부정확하다. 확실성의 외양과 불확실성의 실체 사이의 그 간극이야말로 팬들을 미치게 만드는 원인이다.

"VAR이 경기를 망친다"고 말하는 사람들은 감정적인 것이 아니다. 그들은 실재하는 현상에 반응하고 있는 것이다. 추측을 사실인 양 제시하는 시스템이라는 현상 말이다. 픽셀 단위로 정밀한 선들, 정지 화면들, 임상적인 그래픽들 — 이 모든 것이, 그 이면의 물리학이 뒷받침할 수 없는 권위를 투사하고 있다.

해법은 과거로 돌아가는 것이 아니다. 선심의 순간적인 시선 하나가 월드컵 준결승의 승패를 가르던 시절로 돌아가고 싶은 사람은 아무도 없다. 해법은 더 깊이 들어가는 것이다. 픽셀 측정을 멈추고 물리학을 측정하기 시작하는 것. 우리가 내세우는 주장에 걸맞은 계측기를 만드는 것이다.

축구에 기술이 덜 필요한 게 아니다. 축구는 자신이 통제하려는 스포츠의 물리학을 존중하는 기술을 필요로 한다.

우리에게 필요한 것은 더 두꺼운 허용 오차 선이나 더 관대한 프로토콜이 아니다. 실제로 일어난 일을 포착하는 시스템이 필요하다 — 8밀리초 동안 지속되면서도 모든 것을 결정짓는 그 순간의 진실을 재구성할 만큼 충분히 빠르고, 충분히 정밀하며, 충분히 긴밀하게 융합된 센서를 갖춘 시스템이.

그것이 바로 우리가 만들고 있는 것이다. 기술이 축구에서 인간의 판단을 대체해야 한다고 생각해서가 아니다. 다만 기술이 실제로 개입할 때는, 적어도 옳아야 하기 때문이다.