우리 AI를 무너뜨린 대머리 (그리고 진정으로 작동하는 비전 시스템 구축에 대해 내게 가르쳐준 것들)

2020년 10월, 인버네스 캘리도니언 시슬과 에어 유나이티드 간의 스코틀랜드 축구 경기는 내가 연구해 본 AI 실패 사례 중 가장 교훈적인 사건이 되었다. 사람의 조작 없이 공을 추적하여 경기를 중계하도록 설계된 자동 카메라 시스템이 경기 내내 사이드라인에 서 있던 선심의 대머리를 지극정성으로 따라다닌 것이다. 집에서 시청하던 팬들은 모든 골 장면을 놓쳤고, 인터넷은 온통 조롱과 화제로 떠들썩했다.

나 역시 처음에는 웃었다. 하지만 곧 웃음을 멈췄다. 우리 팀 역시 정확히 똑같은 맹점을 지닌 시스템을 만들고 있다는 사실을 깨달았기 때문이다.

카메라의 AI는 자체 논리에 따라 자신의 역할을 완벽하게 수행했다. 경기장 조명 아래에서 둥글고 밝은 색의 물체를 찾아내 '공'이라는 판단과 함께 98%의 신뢰도 점수를 부여했다. 반면, 빠르게 움직이고 그림자 속에서 흐려지며 때로는 선수들에 의해 가려지는 실제 공의 점수는 약 80% 수준에 불과했다. 시스템은 수학적 계산을 따랐다. 하지만 그 계산은 현실과 동떨어져 있었다. '패턴을 감지하는 것'과 '무엇을 보고 있는지 이해하는 것' 사이의 간극이야말로 내가 지난 수년간 인생을 바쳐온 영역이며, Veriprajna에서 물리 제약 기반 비전 시스템을 구축하기 시작한 이유이기도 하다.

AI는 세상을 바라볼 때 무엇을 보는가?

대부분의 컴퓨터 비전 시스템은 동물원에서 자신감 넘치는 유아가 동물을 구별하는 방식과 똑같이 이미지를 처리한다. 둥글고 반짝이나? 공. 다리가 네 개인가? 개. 이러한 비유는 농담이 아니다. 현대의 합성곱 신경망(CNN)은 이미지를 텍스처, 가장자리(edge), 모양으로 분해한 뒤, 그 특징들을 훈련 데이터에서 학습한 패턴과 매칭한다. 이들은 본질적으로 텍스처 매칭 머신에 불과하다.

이는 통제된 조건에서는 놀라울 정도로 잘 작동한다. 하지만 물리적 세계가 물리적으로 움직이기 시작하는 순간 무너져 내린다.

객체 감지(Detection)는 객체 이해(Understanding)가 아니다. 둥근 것을 보고 공이라고 부르는 시스템은 텍스처를 식별했을 뿐이다. 그 '공'이 3분 동안 1.7미터(5.5피트) 높이에 정지해 있다는 이유로 식별을 거부하는 시스템이야말로 무언가를 이해하고 있는 시스템이다.

인버네스의 카메라가 대머리와 공을 구별하지 못한 이유는 공이 어떻게 동작하는지에 대한 개념이 전혀 없었기 때문이다. 축구공은 포물선 운동을 따른다. 충격 시 가속된다. 시속 최대 80마일(약 130km)로 날아간다. 걷는 속도로 움직이는 사람의 몸통에 달라붙어 있을 수는 없다. 이는 대단한 통찰이 아니다. 경기를 보던 어린아이라도 알았을 내용이다. 하지만 AI는 컴퓨터 비전 업계에서 '프레임 독립적 추론'이라 부르는 방식으로 작동하여, 이전 상황에 대한 기억도, 다음에 무엇이 일어나야 하는지에 대한 예상도 없이 각 이미지를 고립된 스냅샷으로만 처리했다.

우리에게도 똑같은 문제가 있음을 깨달았던 밤

어떤 우아한 이론적 통찰을 통해 물리 제약 비전에 도달했다고 말할 수 있다면 좋겠지만, 진실은 훨씬 더 처참했다. 우리는 한 반도체 고객사를 위한 결함 검사 시스템을 구축하고 있었는데, 우리가 만든 모델이 먼지 입자를 회로 결함으로 계속해서 오탐지하고 있었다. 가끔이 아니라 끊임없이 말이다. 치솟는 오탐률(False positive rate)은 시스템에 대한 생산 팀의 신뢰를 무너뜨리고 있었고, 그들이 우리 시스템을 불신한 것은 당연했다.

새벽 2시에 결과 화면 앞에 앉아 분통을 터뜨렸던 기억이 난다. 우리가 추적하던 모든 벤치마크 지표상으로 우리 모델은 분명 정확했기 때문이다. 표준 테스트 데이터에서는 90% 이상의 확률로 결함을 정확히 찾아냈다. 하지만 실제 생산 환경은 표준 테스트 데이터와 달랐다. 웨이퍼 위에 먼지가 내려앉았다. 검사 스테이션마다 조명이 달라졌다. 모델은 어두운 점을 보고 결함이라고 판정했다. 인버네스 카메라가 둥근 모양을 보고 공이라고 불렀던 것과 똑같았다.

CTO와 나는 해결책을 두고 일주일 내내 논쟁을 벌였다. 그는 더 많은 훈련 데이터를 원했고, 나는 아키텍처를 변경하기를 원했다. 논쟁은 내가 던진 한 가지 단순한 질문으로 끝이 났다. "우리 모델은 다각도 촬영 시 먼지 입자와 회로 결함이 다르게 반응한다는 사실을 알고 있는가?" 모델은 알지 못했다. 실제 결함, 즉 실리콘 표면의 물리적 구멍이나 긁힘은 다양한 각도에서 촬영할 때 예측 가능한 방식으로 위치가 이동한다. 바로 시차(Parallax)다. 표면에 얹혀 있는 먼지 입자는 다르게 반응한다. 우리는 텍스처 매칭기에 물리학자의 역할을 요구하고 있었던 것이다.

그것이 전환점이었다. 우리는 신경망을 더 똑똑하게 만들려는 시도를 멈추고, 신경망이 물리 법칙에 복종하도록 만들기 시작했다.

예상치 못한 방향으로 흘러간 데모 시연

반도체 프로젝트에서의 전환이 있은 지 3개월 후, 나는 한 물류 회사를 상대로 우리의 새로운 접근법을 제안하기 위해 회의실에 있었다. 테이블 반대편에는 15명이 앉아 있었다. 나는 시뮬레이션된 물류창고에서 우리의 물리 제약 트래커가 화물을 추적하고, 장애물에 가려져도 위치를 예측하며, 오탐지를 걸러내는 모습을 보여주는 라이브 데모를 준비했었다.

데모는 완벽하게 시작되었다. 그때 누군가의 전화벨이 울렸고, 화면에서 반사된 번쩍이는 빛이 하필 최악의 각도로 우리 카메라를 때렸다. 트래커가 버벅거렸다. 바운딩 박스가 천장 조명 기구로 튀어 올랐고, 물리 계층이 이를 바로잡기 전까지 3초라는 끔찍한 시간 동안 그곳에 머물렀다.

나는 결코 일어나지 않을 것이라고 몇 달 동안 장담해 왔던 바로 그 방식으로 내 소프트웨어가 오작동하는 모습을 멍하니 서서 바라보았다. 회의실은 쥐 죽은 듯 조용해졌다. 쥐구멍에라도 숨고 싶은 심정이었다.

물리 계층은 복구되었다. 그것이 핵심이었다. 하지만 그 3초 동안 나는 어떤 벤치마크도 가르쳐주지 않았던 사실을 깨달았다. 실제 운영 환경에서 신뢰란 평균 정확도에 관한 것이 아니다. 가장 최악의 프레임에서 어떤 일이 벌어지는가에 관한 것이다.

나는 절반은 사람들을 향해, 절반은 나 자신에게 읊조리듯 소리 내어 말했다. "일반적인 시스템이라면 지금도 저 천장 조명을 추적하고 있었을 것입니다. 우리 시스템은 바로잡았습니다. 이 복구 능력이야말로 우리 제품의 진가입니다." 테이블 맞은편의 CTO가 천천히 고개를 끄덕였다. 그들은 2주 뒤 계약을 체결했다. 하지만 나는 그날 밤 집으로 돌아가 시스템이 불확실성을 실시간으로 보여주도록 신뢰도 표시 로직을 전면 수정했다. 수학적 계산이 마치 마법인 것처럼 꾸며대며 고객 앞에 다시는 서고 싶지 않았기 때문이다.

정확도 90%의 AI 시스템이 실제 환경에서 실패하는 이유는?

내가 이제 '90% 문제'라고 부르는 함정이 있는데, 수많은 기업들이 차례로 그 함정에 빠지는 모습을 지켜보고 있다. 주요 클라우드 제공업체를 통해 반나절 만에 배포할 수 있는 범용 컴퓨터 비전 API는 빠르고 저렴하게 90%의 정확도에 도달하게 해 준다. 데모에서는 마법처럼 보인다. 하지만 실질적인 비즈니스 가치는 전적으로 마지막 10%에 달려 있다.

그 마지막 10%에 바로 대머리가 존재한다. 자율주행 차량에 벽처럼 보여 고속도로에서 유령 제동(팬텀 브레이킹)을 유발하는 그림자, 무인 결제 매장에서 고객의 손이 상품을 가리는 순간, 무해한 2나노미터 먼지 입자와 똑같이 생긴 희귀한 반도체 결함 같은 것들이다.

반도체 제조에서는 결함 감지 정확도를 단 1%만 개선해도 수율이 5~10% 증가하여 연간 수백만 달러를 절감할 수 있다. 자율주행 차량의 경우, 테슬라 소유자들은 비전 시스템이 그림자나 고가도로를 장애물로 오인해 발생하는 유령 제동 사고를 광범위하게 보고해 왔다. 이는 이론상의 위험이 아니다. 기반 AI에 물리적 직관이 없기 때문에 여러 산업에 걸쳐 지금 이 순간에도 발생하고 있는 실제 운영 실패 사례들이다. 우리의 기술은 범용 API에 결여된 물리 계층을 추가함으로써 90%에서 99.99%로 이어지는 격차를 메운다.

우리가 시스템에 물리학자처럼 사고하는 법을 가르친 방법

핵심 아이디어는 놀라울 정도로 단순하다. 신경망의 출력을 사실로 취급하지 않고, 물리 법칙에 따라 검증해야 하는 노이즈 섞인 측정값으로 취급하는 것이다. 전체 기술 아키텍처에 대해서는 우리 연구의 인터랙티브 버전에 기술해 두었지만, 수학적 계산보다는 직관을 이해하는 것이 더 중요하다.

축구공을 추적하고 있다고 상상해 보라. 카메라에 따르면 공이 경기장 중앙에 있으며 동쪽으로 초속 20미터로 움직이고 있다. 40분의 1초 후, 카메라는 그 '공'이 이제 15미터 떨어진 사이드라인에 있으며 걷는 속도로 움직이고 있다고 보고한다. 객체가 어디에 있고 얼마나 빨리 움직이며 그 두 가지에 대해 얼마나 확신하는지에 대한 지속적인 추정을 유지하는 수학적 프레임워크인 칼만 필터는 그 두 번째 측정값을 즉각 거부할 것이다. 거기에 내포된 가속도는 축구공으로서는 물리적으로 불가능하기 때문이다. 시스템은 '마할라노비스 거리'라 불리는 값, 즉 새로운 측정값이 예측값에서 표준편차 몇 개만큼 떨어져 있는지를 계산한다. 만약 이 값이 3 시그마를 초과하면, 신경망이 해당 픽셀에 대해 아무리 높은 신뢰도를 보인다 해도 그 감지 결과는 폐기된다.

이것이 바로 내가 말하는 물리 제약 비전이다. 신경망이 제안하고, 물리 법칙이 판정한다.

우리는 모든 감지에 여러 개의 검증 게이트를 겹겹이 배치한다. 운동학 게이트는 신경망이 주장하는 위치에 객체가 물리적으로 존재할 수 있는지를 확인한다. 옵티컬 플로우 게이트는 바운딩 박스 내부의 픽셀 움직임이 실제 움직이는 객체에서 기대되는 움직임과 일치하는지 검증한다. 정지해 있는 선심은 거의 제로에 가까운 플로우를 생성하는 반면, 날아가는 공은 독특한 패턴을 만들어낸다. 기하학 게이트는 카메라로부터 주장된 거리에서의 3D 원근법과 객체의 겉보기 크기가 일치하는지 확인한다.

어느 하나의 게이트라도 통과하지 못한 감지 결과는 모두 거부된다. 예외나 강제 무효화(override)는 없다.

객체가 사라지면 어떤 일이 일어나는가?

범용 시스템은 패닉에 빠진다. 신뢰도 점수는 0으로 떨어진다. 트래커는 객체를 '유실' 상태로 선언하고 멈추거나 초기화된다. 물리적 세계에서 이는 터무니없는 일이다. 초속 20미터로 움직이는 공은 선수가 카메라 앞을 지나갔다고 해서 사라지지 않는다. 공은 공기 저항으로 인해 약간 감속되면서 계속 움직이며, 물리학이 놀라운 정밀도로 예측할 수 있는 궤적을 따른다.

우리 시스템은 장애물에 가려져 있는 동안에도 객체를 메모리에 유지하며, 가려지기 전의 궤적을 바탕으로 객체의 위치를 전방 예측한다. 객체가 다시 나타나면 시스템은 이미 정확한 위치를 바라보고 있다. 나는 이를 AI에게 '대상 영속성(Object permanence)'을 부여하는 것으로 여긴다. 내 두 살배기 조카도 생후 8개월 무렵에 이를 터득했다. 하지만 대다수의 실제 비전 시스템은 여전히 이를 해내지 못하고 있다.

"그냥 더 큰 모델을 쓰면 되지 않는가"

사람들은 나에게 끊임없이 이렇게 말한다. 2023년 한 투자 유치 발표 자리에서, 한 투자자가 우리의 모든 기술적 문제를 해결해 주기라도 한 듯 의자에 등을 기대며 내게 토씨 하나 안 틀리고 이렇게 말했다. "그냥 파운데이션 모델을 미세조정(Fine-tuning)하면 되지 않습니까? 왜 굳이 이런 물리 체계를 구축하나요?"

나는 잠시 말을 멈췄다. "훈련 데이터의 분포가 달라져도 물리 법칙은 변하지 않기 때문입니다."

PINN은 단순히 데이터로부터 학습하는 데 그치지 않는다. 현실에 의해 제약된 데이터로부터 학습한다. 그 차이는 정답을 달달 외우는 것과 해당 과목을 본질적으로 이해하는 것의 차이다.

물리 정보 신경망(PINN)은 현대 머신러닝에서 가장 우아한 개념 중 하나다. 표준 신경망은 자체 예측과 레이블이 지정된 훈련 데이터 사이의 격차를 최소화한다. PINN은 여기에 두 번째 페널티를 추가한다. 즉, 예측이 물리 방정식을 위반할 때마다 신경망에 페널티가 부과된다. 만약 외력이 없는데도 공이 공중에서 방향을 바꾸는 궤적을 예측한다면, 지배 미분 방정식이 위배되어 손실(Loss)이 급증하고, 신경망은 그런 식의 예측을 하지 않도록 학습하게 된다.

실질적인 효과는 엄청나다. 훈련이 시작되기도 전에 물리 법칙이 해 공간의 대부분을 미리 제거해 주기 때문에 PINN은 훨씬 적은 양의 훈련 데이터만으로도 작동한다. 단순히 예시를 암기한 것이 아니라 규칙을 내재화했기 때문에 한 번도 보지 못한 환경에서도 뛰어난 일반화 성능을 보인다. 스포츠 트래킹에 적용했을 때 이는 초기 궤적만으로도 너클볼의 변화나 휘어져 들어가는 프리킥을 예측할 수 있음을 의미한다. 카메라는 움직임을 뒤쫓는 대신 미리 앞서서 화면을 이동(팬)한다. PINN 및 해밀토니안 신경망에 대한 자세한 기술적 분석은 우리 연구 논문에서 더 깊이 있게 다루고 있다.

아무도 솔직하게 묻지 않는 '자체 구축 vs 구매' 문제

내가 만나는 모든 기업 리더들은 기성 비전 API를 구매할 것인가, 아니면 맞춤형 시스템을 자체 구축할 것인가라는 동일한 선택의 기로에 서 있다. 좀처럼 드러나지 않는 이 논의의 솔직한 이면은 다음과 같다.

구매하면 실제 운영 단계에 빠르게 도달할 수 있다. API는 도입 첫날부터 작동한다. 표준적인 사례는 훌륭하게 처리한다. 스프레드시트상으로는 총소유비용(TCO)이 낮아 보인다.

그러다 엣지 케이스가 닥쳐온다. 오탐지가 걷잡을 수 없이 쌓인다. AI의 결과물을 검토하기 위해 인력을 고용하게 되고, 이는 자동화의 본래 취지를 무색하게 만든다. 공급업체의 모델이 우리 기업 특유의 물리 환경에 맞게 미세조정될 수 없다는 사실을 알게 된다. 자사 데이터가 외부로 유출되고 있다는 사실을 깨닫는다. 그리고 축적된 지적 재산은 전무하다.

물리 제약 시스템을 자체 구축하는 데는 초기 비용이 더 많이 든다. 상당한 수준의 엔지니어링 작업이 요구된다. 하지만 데이터만으로는 걸러낼 수 없는 노이즈를 물리 법칙이 걸러주기 때문에 오탐률이 극적으로 떨어진다. 시스템은 자체 인프라에서 자사 데이터로 실행되며, 완전히 소유할 수 있는 모델을 생성한다. 오류로 인한 손실이 막대한 모든 분야에서 장기적인 총소유비용은 자체 구축 쪽에 유리하게 작용한다. 그리고 내 경험상, 자동화할 가치가 있는 분야라면 예외 없이 여기에 해당한다.

모든 기업이 처음부터 직접 만들어야 한다고 주장하는 것은 아니다. 다만 여러분의 AI가 공과 대머리조차 구별하지 못한다면, 구독료 따위는 여러분이 치러야 할 비용 중 가장 사소한 것에 불과하다는 뜻이다.

'맥락(Context)'이 곧 새로운 정확도다

작년에 한 콘퍼런스의 맨 뒷줄에 앉아 AI에게 '상식'이 필요한지를 두고 패널들이 벌이는 토론을 들은 적이 있다. 네 명의 연구자가 45분간 격론을 벌였지만 아무런 결론도 내리지 못했다. 나는 내내 생각했다. 우리에게 필요한 것은 상식이 아니다. 물리학이다. 상식은 모호하다. 물리학은 코드로 작성할 수 있는 방정식의 집합이다.

AI 업계는 지난 10년 동안 벤치마크 데이터셋에서의 정확도를 최적화하는 데만 매달려 왔다. 수십억 개의 매개변수를 가진 모델들은 훈련 이미지와 유사하게 생긴 테스트 이미지에서 수천 개의 객체 범주를 인간 이상의 정밀도로 식별해 낼 수 있다. 다음 10년은 맥락의 시대가 될 것이다. 더 거대한 모델이 아니라 더 스마트한 제약 조건이어야 한다. 더 많은 매개변수가 아니라 더 많은 물리 법칙이어야 한다.

여러분의 AI는 공과 대머리의 차이를 알고 있는가? 픽셀에만 의존한다면 대답은 '때때로'일 것이다. 물리 법칙에 의존한다면 대답은 '언제나'이다.

나는 그 스코틀랜드 축구 경기 생각을 어쩌면 지나칠 정도로 자주 한다. 사이드라인에 가만히 서 있던 한 대머리 남성이 뜻하지 않게 한 세대 전체의 AI 시스템이 지닌 근본적인 취약성을 폭로해 버린 사건 말이다. 골 장면을 놓친 팬들은 분통을 터뜨렸지만, 나는 감사했다. 그 선심은 내가 읽었던 그 어떤 논문보다도 진정한 AI를 구축하는 법에 대해 많은 것을 가르쳐 주었다.

컴퓨터 비전의 미래는 더 많은 것을 보는 데 있지 않다. 자신이 보고 있는 것이 무엇인지를 이해하는 데 있다.