AI 카메라가 경기 내내 대머리를 추적했다 — 학습 데이터를 더 넣어도 해결되지 않는 이유
2020년 10월, 스코틀랜드의 한 축구 경기에서 자동 카메라가 경기 내내 공이 아닌 선심의 대머리를 추적했다. 그 영상은 입소문을 탔다. 대부분의 사람들은 귀여운 오작동이라며 웃어넘겼다. 나는 다른 이유로 그것을 반복해서 돌려봤다. 그 시스템은 고장 난 게 아니었다. 우리가 만들도록 지시한 그대로 정확히 작동하고 있었다.
그 영상은 왜 물리 제약 컴퓨터 비전이 프로덕션에서 비전 시스템을 신뢰할 수 있게 만드는 유일한 요소인지 — 그리고 왜 내가 처음 시도했던, 문제에 학습 데이터를 더 쏟아붓는 방법으로는 해결되지 않는지 — 가장 명확하게 보여주는 사례다.
경기장 조명 아래에서 대머리는 정반사 하이라이트 — 밝고 둥근 흰색 반사 — 를 만들어내며, 그 픽셀 그래디언트는 축구공과 통계적으로 구별이 불가능하다. YOLO 계열의 표준 CNN인 검출기는 각 프레임을 개별적으로 처리하며 머리 위의 "공"에 98%의 신뢰도를 부여했다. 빠른 속도로 그림자 사이를 흐릿하게 지나가던 실제 공은 80%를 받았다. 시스템은 더 높은 숫자를 따랐다. 그건 버그가 아니다. 그건 모델이 자신의 눈을 믿는 것이다.
검출기는 패턴을 찾는다. 지면에서 일정하게 1.7미터 떨어진 곳에 위치하고, 수직 원기둥에 붙어 있으며, 터치라인을 따라 걷고 있는 "공"이 물리적으로 불가능하다는 것을 검출기는 전혀 알지 못한다.
해결책은 더 나은 데이터셋이 아니다. 해결책은 물리다.
대머리 문제는 어디에나 있다 — 단지 항상 입소문을 타지 않을 뿐이다
나는 겉보기에는 전혀 닮지 않은 두 세계에서 비전 파이프라인을 출시하며 수년을 보냈다. 공을 추적하는 경기장 갠트리, 그리고 실리콘을 검사하는 팹 라인. 둘은 하나의 병을 공유한다. 모델은 자신이 인식하는 형태를 보고 이를 보고하지만, 자신이 보고하는 것이 물리 세계에 존재할 수 있는지 물을 메커니즘이 전혀 없다.
반도체 검사에서 그 증상은 대머리가 아니라 뉴선스(nuisance) 결함이다. KLA는 공정 제어 시장의 약 63%를 차지하고 있으며, 이 회사의 2900 시리즈 광대역 장비는 10나노미터만큼 작은 피처까지 분해할 수 있다. 검출 감도는 병목이 아니다. 병목은 단 한 번의 광대역 스캔이 웨이퍼당 수천 개의 이상을 표시하며, 그중 대부분이 수율에 결코 영향을 주지 않을 먼지, 표면 아티팩트, 또는 패턴 노이즈라는 점이다. 그 각각은 여전히 과거 결함 라이브러리로 학습된 딥러닝 모델에 의해 분류되어야 한다.
그 모델이 가지지 못한 것은 이것이다: 빛이 구덩이, 얼룩, 공정 잔류물과 물리적으로 어떻게 상호작용하는지에 대한 이해. 그래서 팹이 새로운 공정 노드 — 예를 들어 2nm의 게이트-올-어라운드 — 로 전환하면, 학습 라이브러리는 하룻밤 사이에 낡은 것이 되고 뉴선스 비율이 급증한다. 그리고 틀렸을 때의 비용은 추상적이지 않다. 첨단 노드에서 1%의 수율 손실은 수백만 달러에 달하는데, 웨이퍼 한 장이 수만 달러에 이를 수 있기 때문이다.
제조 현장은 더 조용하고 더 고약한 양상으로 같은 병을 앓는다. AI 품질 관리를 운영하는 생산 라인에서는, 카메라 옆에 정답 레이블이 놓여 있지 않기 때문에, 모델이 언제 틀렸는지 실시간으로 알게 되는 일이 거의 없다. 유지보수 후에 조명 각도가 바뀐다. 렌즈가 몇 주에 걸쳐 뿌옇게 흐려진다. 지그가 마모된다. 오검출(false reject)이 늘어나 재작업 루프가 생기거나, 오수용(false accept)이 스며들어 유출(escape)이 발생한다 — 그리고 그중 어느 쪽인지는 품질 유출이 봉쇄, 격리, 전수 재검사를 강제하는 순간에야 비로소 알게 된다.
모델은 요란하게 실패하지 않았다. 침묵 속에서 드리프트했고, 첫 경보는 고객의 반품이었다.
그 침묵은 값비싸다. 저품질 비용은 평균적인 제조업체의 총 매출 약 20%에 달한다. 기획 단계에서 잡은 결함은 약 100달러가 들지만, 같은 결함을 생산 단계에서 잡으면 10,000달러가 든다. 인텔은 AI 검사로 폐기를 방지함으로써 연간 약 200만 달러를 절감했다고 보고했다. 그 상승 여력은 실재한다 — 바로 그렇기 때문에 침묵의 드리프트 실패 양상이 그토록 부식적인 것이다. 그것은 당신에게 알리지 않고 그 상승 여력을 갉아먹는다.
그리고 과잉 보정은 드리프트만큼이나 값비싸다. 나는 수백만 달러짜리 자동 광학 검사 장비가, 그 조정이 너무 공격적이어서 불량품을 잡는 것보다 더 빠르게 양품을 거부하는 바람에 조용히 꺼지는 것을 지켜본 적이 있다 — 그 장비는 냅(Knapp) 테스트, 즉 당신의 검사가 실제로 결함을 허용 가능한 변동과 구별하는지를 묻는 표준을 통과하지 못했다. 서류상으로는 수율을 보호하지만 실제로는 파괴하는 시스템은 시스템이 없느니만 못하다. 누군가가 그 값을 지불했고, 이제 누군가는 그것이 건드리는 모든 자동화된 결정을 불신하게 되기 때문이다.
왜 더 많은 학습 데이터로 이 문제가 해결되지 않는가?
우리 팀이 처음 이 벽에 부딪혔을 때, 나는 답을 확신했고, 나는 틀렸다.
컴퓨터 비전의 정설은 엣지 케이스가 데이터 문제라는 것이다. 당신의 모델이 이상한 것에서 실패하는 이유는 충분히 많은 이상한 것을 보지 못했기 때문이니, 더 많이 수집하러 나가라는 것이다. 나는 그것을 믿었다. 나는 그것을 지지했다. 우리는 훨씬 더 크고 훨씬 더 다양한 데이터셋 — 다른 조명, 다른 각도, 더 많은 헷갈리는 사례 — 을 구축하고 재학습했다. 검증 세트에서 모델의 수치는 아름다웠다. 우리가 그 격차를 좁혔다고 느꼈던 것을 기억한다.
그런 다음 우리는 그것을 실제 라인에 올렸고, 유지보수 팀이 조명 기구를 조정했으며, 거부 통은 양품으로 채워지기 시작했다.
우리의 그 화려한 데이터셋 중 어느 것도 그 정확히 새로운 조명 기하 구조를 다루지 못했다. 우리가 데이터를 수집했을 때 그 기하 구조는 존재하지 않았기 때문이다. 우리는 가서 그것도 수집할 수 있었다 — 그런 다음 다음번 변화를, 그다음 렌즈 흐림을, 영원히 쫓을 수 있었다. 바로 그때, 나를 괴롭혀오던 그 문장이 마침내 와닿았다: 엣지 케이스는 문제의 5%가 아니다. 그것은 엔지니어링 시간의 80%, 지원 비용의 90%, 그리고 책임의 100%다. 당신은 무한 집합을 열거해서 빠져나올 수 없다.
내 엔지니어 중 한 명은 계속 조이려 했다 — 오탐(false positive)이 사라질 때까지 신뢰도 임계값을 높이려 했다. 그것은 슬라이드 위에서는 통한다. 실제로는 오탐을 0으로 밀어붙이면 그것을 미탐(false negative)과 맞바꿀 뿐이다: 이제 당신은 실제 결함, 실제 위협, 애초에 시스템을 배치한 이유였던 그것들을 놓치게 된다. 그런 논쟁을 충분히 겪고 나서 나는 소리 내어 말해야 했다: 우리가 돌릴 줄 아는 모든 손잡이는 실패를 이리저리 옮기는 방법일 뿐, 제거하는 방법이 아니었다.
이것은 변두리의 경험이 아니다. 대략 컴퓨터 비전 프로젝트의 95%는 결코 프로덕션에 도달하지 못한다. 그리고 그 이유는 거의 결코 알고리즘이 아니다 — 그것은 바로 이런 종류의 구현 붕괴, 실험실에서 작동하는 모델과 현장에서 살아남는 모델 사이의 격차다. MIT 연구는 엔터프라이즈 AI 파일럿의 95%가 6개월 이내에 측정 가능한 ROI를 내지 못했음을 발견했다. 우리는 막 그 통계의 한 항목이 되려던 참이었다.
물리 제약이 실제로 하는 일
전환점은 작았고 돌이켜보면 거의 민망할 정도였다.
검출기에게 더 확신하라고 요구하는 대신, 우리는 그 출력 앞에 물리 질문을 던지는 게이트를 두었다: 이것이 네가 말한 방식대로 움직일 수 있었을까? 질량과 운동량을 가진 물체의 운동학을 위반하는 궤적 — 두 프레임 사이에 어떤 공도 커버할 수 없는 거리를 뛰어넘는 검출 — 은 믿어지기도 전에 거부된다. 우리는 검출기를 건드리지 않았다. 그래도 오탐률은 떨어졌다.
그것이 전체 아이디어이고, 그것은 일반화된다. 추적되는 물체는 프레임 사이를 순간이동할 수 없다. 실제 결함은 시차(parallax)를 가진다 — 시점이 바뀔 때 배경에 대해 이동하는데, 이는 그림자가 결코 하지 못하는 방식이다. 그림자는 깊이가 없다. 이것들은 물리 세계가 공짜로 따르는 제약이며, 당신의 조명이 바뀌어도 움직이지 않는다. 올바르게 제조된 부품의 물리적 속성은 지그가 마모되거나 조명이 살짝 밀려도 바뀌지 않는다. 그것이 물리를, 데이터 기반의 모든 것이 드리프트하는 시스템에서 유일하게 안정적인 닻으로 만든다.
신뢰도 임계값을 높이는 것은 모델에게 더 세게 허세를 부리라고 요구하는 것이다. 물리 제약은 그저 불가능한 것을 믿기를 거부한다.
그래서 우리가 이제 던지는 질문은 "이것이 학습 이미지와 비교했을 때 양품처럼 보이는가?"가 아니다. 그것은 "이 이미지가 실제 물체의 알려진 기하 구조와 재료 거동과 일관되는가?"이다. 그 둘은 근본적으로 다른 질문이며, 오직 두 번째 질문만이 공정 노드 전환이나 화요일 오후의 유지보수 작업에서 살아남는다.
이를 위한 성숙한 도구 모음이 존재하지만, 솔직한 진실은 그 대부분이 출시된 제품이 아니라 연구 논문 속에 있다는 것이다. 물리는 세 가지 방식으로 비전 시스템에 구워 넣을 수 있다: 네트워크 아키텍처 자체에, 학습 중 물리 기반 페널티로서 손실 함수에, 또는 물리적으로 정확한 렌더링을 통한 합성 데이터 생성에. 함정 — 이것을 프로덕션에서 밀어내는 그 함정 — 은 물리가 대개 학습 시점에서 멈춘다는 것이다. 배치된 모델은 정작 그것이 중요한 추론 순간에는 여전히 순수하게 데이터 기반의 블랙박스다.
우리가 기대는 연구는 추론 시점에 그 격차를 메운다. 현대의 추적은 고전적 칼만 필터 — 운동 법칙이 주어졌을 때 움직이는 물체가 다음에 어디 있을지 추정하는 수십 년 된 방법 — 를 딥러닝과 짝지으며, 둘 중 하나만 택하지 않는다. KalmanNet 같은 접근법은 완전히 알려지지 않은 동역학에 대해 신경망으로 필터를 보조한다. Phys-3D라 불리는 2026년 시스템은 핀홀 카메라 기하 구조를 통해 물리적으로 그럴듯한 3D 운동을 강제하며, 조밀한 가림과 카메라 흔들림 속에서도 2.97%의 계수 오차를 보고한다. PhyOT는 한 걸음 더 나아가 신경망 자체를 뉴턴의 법칙에 의해 지배되는 칼만 구성에 데이터를 공급하는 센서로 취급한다. 공통된 실마리: 네트워크는 제안하고, 물리는 처분한다. 우리가 구축하는 물리 제약 비전 시스템은 바로 이런 종류의 제약 계층을 추론 경로에 넣는다 — 칼만 필터링, 광학 흐름 게이트, 그리고 물리 정보 기반 아키텍처 — 그래서 불가능한 것의 거부가 학습 노트북이 아니라 실시간으로 일어난다.
왜 큰 벤더들은 그냥 이렇게 하지 않는가?
사람들은 나에게 이것을 끊임없이 묻는다. 대개 의심의 기색을 담아서 — 물리 제약이 그토록 명백히 옳다면, 왜 호크아이(Hawk-Eye)나 KLA는 그것을 기본값으로 출시하지 않는가? 답은 리더들이 약간의 물리를 가지고 있지만 거의 항상 엉뚱한 곳에 두고 있으며, 그 공백이 시사하는 바가 크다는 것이다.
픽셀롯(Pixellot)은 대머리 시대 이후로 다중 가설 추적을 추가하여 그 특정 부류의 오류를 대체로 없앴다 — 하지만 그들의 물리는 제약 계층이 아니라 사후 궤적 평활화이며, 그래서 새로운 실패 양상(모션 블러 하의 저지 OCR, 평탄하지 않은 경기장에서의 오프사이드 투영)이 계속 나타난다. 그리고 이것은 일화가 아니다: 가장 큰 공개 스포츠 추적 벤치마크인 SoccerNet에서 다중 객체 추적은 빠른 운동과 심한 가림에서 여전히 해결과는 거리가 먼 것으로 측정되며, 아직 어떤 물리 인식 추적기도 그것에 통합되지 않았다. 그 빈 공간이 바로 기회 전부다. 소니(Sony) 소유의 호크아이는 진정으로 강력한 기하 제약을 가지고 있다 — 여섯에서 여덟 대의 보정된 4K와 8K 카메라로 삼각측량하고, 선수당 29개의 골격 지점을 추적하며, NFL이 퍼스트다운 측정에 사용할 만큼 정확하다. 하지만 그 엄정함은 경기장당 100만 달러가 넘는 비용이 들고 전용 인프라를 요구한다. 그것은 당신의 기존 파이프라인에 추가하는 계층이 아니다; 그것은 경기장 개조다.
산업 측면에서도 패턴은 반복된다. KLA의 결함 물리 모델은 실재하지만 특정 공정 노드에 맞춰 구워져 있으며, 그것이 바로 왜 노드 전환이 뉴선스 비율을 급증시키는지의 이유다 — 그리고 차세대 검사에 대한 KLA 자신의 23억 달러 투자는 그들이 그 격차의 존재를 안다는 방증이다. 코그넥스(Cognex)의 ViDi 딥러닝 도구는 훌륭하며 단 5~10장의 이미지만으로도 학습할 수 있어 설정 시간을 90% 줄여준다 — 하지만 추론 시점에 물리가 없어서, 다른 누구 못지않게 침묵의 드리프트에 노출되어 있다. 그리고 엔비디아(NVIDIA)의 메트로폴리스(Metropolis)와 옴니버스(Omniverse) 생태계는 화려한 물리를 시뮬레이션한다 — 합성 학습 데이터를 생성하기 위해서. 물리는 학습에서 멈추고; 배치된 모델은 여전히 데이터 기반이다.
전 분야에 걸쳐 "물리 통합" 항목은 비어 있거나 학습을 향해 있다. 배치된 모델, 실시간으로 판단을 내리는 그 모델은 여전히 픽셀에서 추측하고 있다.
그것이 우리가 파고드는 격차다. 플랫폼도, 경기장 개조도 아닌 — 당신의 기존 파이프라인에 자리 잡아 불가능한 것이 값비싸지기 전에 거부하는 물리 제약 계층이다. 당신이 경기장 위로 자동 카메라를 운영하든, 10nm에서 웨이퍼를 검사하든, 라인에서 결함을 분류하든, 조명이 움직여도 그 제약은 유지된다. 조명이야말로 물리가 의존하지 않는 바로 그것이기 때문이다.
"오탐 제로"에 관해 아무도 듣고 싶어 하지 않는 부분
모든 구매자는 결국 나에게 오탐 제로를 요구한다. 나는 그 본능을 이해하며, 매번 같은 말을 그들에게 한다: 그것은 기술적으로 달성 가능하고 아마도 당신을 해칠 것이다.
시스템을 오탐 제로 쪽으로 밀어붙이면 필연적으로 미탐이 늘어난다 — 놓친 실제 결함, 빠져나간 위협. 목표는 결코 한 종류 오류의 제로가 아니다; 그것은 당신 애플리케이션의 특정 이해관계에 맞는 올바른 균형이다. 물리 제약이 당신에게 주는 것은 균형을 잡을 더 나은 프런티어다. 통상적인 오탐 감소 — 임계값 조정, 보정, 연구에 따르면 오탐을 22%에서 87%까지 어디든 줄일 수 있는 오토인코더 — 이 모든 것은 모델의 신뢰도 위에서 작동한다. 물리는 현실 위에서 작동한다. 그것은 진정으로 모호한 검출에 대해 모델을 더 소심하게 만들지 않으면서, 물리적으로 불가능한 검출을 거부한다. 당신은 더 적은 오경보를 얻고 그러면서도 놓친 결함으로 그 대가를 치르지 않는다. 오류를 맞바꾸는 대신 오류의 한 범주를 제거했기 때문이다.
여기에는 규제 순풍도 있으며, 그것은 사람들이 예상하는 그것이 아니다. EU AI법의 주요 조항은 2026년 8월 2일에 발효되며, 대부분의 산업 검사가 고위험 생체 감시로 분류되지는 않지만, 그 법의 문서화 및 투명성 요건은 결정을 설명할 수 있는 시스템 쪽으로 폭넓게 밀어붙인다. "공, 98%"라고 말하는 데이터 기반 블랙박스는 그 이유를 말해줄 수 없다. 시차를 위반했기 때문에 검출을 거부한 시스템은 말해줄 수 있다. 반증 가능성은 이제 단지 좋은 엔지니어링이 아니다; 그것은 컴플라이언스 태세가 되어가고 있다.
지금 내가 믿는 것
나는 컴퓨터 비전이 데이터 문제이며 가장 크고 가장 깨끗한 데이터셋을 가진 팀이 이길 것이라고 확신하며 이 분야에 들어왔다. 나는 공장 현장에서, 처리량이 그것에 달려 있던 사람들 앞에서, 내가 틀렸음을 증명한 모델을 출시했다.
지금 내가 믿는 것은 더 좁고 더 견고하다. 사물이 어떻게 보이는지만 아는 비전 모델은, 한 번의 조명 변화, 한 번의 공정 노드, 한 명의 대머리 선심만큼 떨어진 곳에서 영원히 당신에게 불가능한 무언가를 자신 있게 말해줄 위험에 처해 있다. 프로덕션에서 살아남는 시스템은 물리 세계가 무엇을 허용하는지도 아는 시스템이며 — 행동하기 전에 모든 검출을 그것과 대조해 확인한다.
시장은 곧 이것을 대규모로 힘들게 배우게 될 것이다. 컴퓨터 비전은 2026년 330억 달러 규모의 시장으로 연 거의 20%씩 성장하고 있으며, 에이전트형 비전 시스템은 자체 권한으로 실제 세계의 행동을 촉발하기 시작하고 있고, 그것들이 더 자율적일수록 자신 있는 불가능한 답은 더 용납하기 어려워진다. 당신은 계속 엣지 케이스 영상을 수집하고 다음번 조명 변화를, 다음번 노드 전환을 영원히 쫓을 수 있다. 아니면 당신은 모델에게 결코 드리프트하지 않는 유일한 규칙 집합을 가르칠 수 있다. 우리가 어떻게 그 제약을 프로덕션 파이프라인에 구축하는지 보고 싶다면, 바로 거기서 나는 시작할 것이다.
공은 순간이동할 수 없다. 그것을 아는 시스템을 구축하라.