당신의 재활용 AI는 1.5미터 늦다 — 그리고 물리학은 기다려주지 않는다
나는 찌그러진 PET 병이 초당 4미터의 속도로 공압 이젝터를 스쳐 지나가면서도 전혀 건드려지지 않는 것을 지켜보았고, 무언가가 근본적으로 잘못되었음을 깨달았다.
우리는 시끄럽고 더운 어느 자재회수시설(Material Recovery Facility, 업계에서는 줄여서 MRF라 부른다)에 서서 클라우드 연결형 AI 분류 시스템의 시연을 지켜보고 있었다. 발표는 매끄러웠다. 대시보드는 아름다웠다. 신경망은 테스트 벤치에서 열일곱 가지 재질 유형을 인상적인 정확도로 식별해냈다. 하지만 실제 속도로 쓰레기가 움직이는 실제 벨트 위에서는 시스템이 계속 놓치고 있었다. 모델이 틀려서가 아니었다. 답이 너무 늦게 도착했기 때문이었다.
그 순간, 몇 달 동안 머릿속을 맴돌던 생각이 명확해졌다. 재활용 산업이 겪고 있는 문제는 AI 정확도의 문제가 아니다. 그것은 물리학의 문제다. 아무리 모델을 미세 조정하고 API를 최적화해도 이 문제는 해결되지 않는다. 제약이 알고리즘이 아니라 아키텍처에 있기 때문이다.
나는 사무실로 돌아가, 지금은 자재회수를 위한 FPGA 엣지 AI에 관한 우리 연구의 핵심에 자리한 계산을 해보았다. 모든 것을 바꾼 그 숫자는 바로 1.5미터였다. 이는 클라우드 AI 시스템이 판단을 내리는 데 걸리는 시간 동안 재활용품 한 조각이 표준 컨베이어 벨트 위에서 이동하는 거리다.
500밀리초 동안 무슨 일이 벌어지는가?
0.5초는 별것 아닌 것처럼 들린다. 눈을 한 번 깜빡이는 데도 약 300밀리초가 걸린다. 하지만 초당 3미터로 움직이는 컨베이어 벨트 위에서는 — 이는 현대적인 분류 라인에서 그리 빠른 속도도 아니다 — 500밀리초면 물체가 1.5미터나 이동한다는 뜻이다. TOMRA의 SPEEDAIR 기술을 사용하는 시설처럼 고처리량 설비에서 흔히 도달하는 초당 6미터 속도에서는 이 수치가 3미터로 두 배가 된다.
일반적인 클라우드 AI 추론 왕복 시간 — 카메라 촬영, 인코딩, 전송, 대기열 처리, GPU 배칭, 추론, 결과 반환 — 은 대략 500밀리초가 걸린다. 이는 최악의 경우가 아니다. 전체 연쇄 과정의 각 단계를 현실적으로 합산한 수치다.
산업용 벨트 속도에서 500밀리초의 클라우드 추론 지연은 1.5미터에서 3.0미터에 이르는 '보이지 않는' 이동 거리를 만들어낸다 — 이는 공압 이젝션에 필요한 정밀도를 훨씬 초과하는 수치다.
이 기계들의 이젝션 장치는 12.5밀리미터에서 31밀리미터 간격으로 배열된 초소형 공압 밸브들로, 정밀한 압축 공기 분사를 쏘아낸다. 이 밸브들은 특정 병, 캔, 또는 플라스틱 조각의 무게중심을 정확히 맞혀야 하며, 그 옆에 있는 재질은 건드리지 않아야 한다. 공간 허용 오차는 밀리미터 단위로 측정된다. 클라우드가 내놓는 답은 미터 단위로 측정된다.
나는 어느 투자자에게 이 문제를 설명했던 일을 기억한다. 그는 계속 "그냥 더 빠른 API를 쓰면 안 되느냐"고 물었다. 나는 냅킨을 꺼내 컨베이어, 카메라, 클라우드, 이젝터를 그렸다. 그리고 방정식을 적었다 — 이동거리는 속도 곱하기 시간이다 — 그러자 그의 표정이 바뀌는 것을 보았다. 이는 물리학에서 가장 단순한 방정식이지만, 클라우드 AI를 통한 분류라는 논제 전체를 무너뜨린다.
왜 그냥 '미리 내다보면' 안 되는가?
이것이 모두가 가장 먼저 제기하는 반론이며, 합리적인 질문이다. 클라우드가 응답하는 데 500밀리초가 걸린다면, 그냥 카메라를 1.5미터 상류에 설치해서 시스템이 '미리 내다보게' 하면 되지 않는가?
우리는 이 논리를 끝까지 검토해보았다. 우리 팀은 2주 동안 이를 모델링했고, 결론은 이렇다. 화이트보드 위에서는 성립하지만 공장 바닥에서는 무너진다.
문제는 컨베이어 벨트가 정밀 기기가 아니라는 데 있다. 벨트는 진동한다. 모터가 웅웅거리는 주파수 때문에 가벼운 플라스틱은 옆으로 흘러간다. 초당 4미터를 넘는 속도에서는 얇은 필름과 종이가 마치 작은 에어포일처럼 움직인다 — 현장 작업자들은 이를 '나는 양탄자' 효과라고 부른다 — 벨트 표면에서 떠올라 예측할 수 없게 펄럭인다. 무거운 유리병은 플라스틱 트레이 위로 굴러들어가 둘 다 궤도에서 벗어나게 만든다.
1.5미터의 이동 거리 동안 이러한 확률적 힘들이 누적된다. 카메라 아래에서 완벽하게 중앙에 있던 가벼운 용기가 이젝터에 도달할 때쯤에는 왼쪽으로 2센티미터 벗어나 있을 수 있다. 선형 추적 알고리즘은 일정한 벨트 속도는 보정할 수 있지만, 아직 일어나지 않은 유리병과 요구르트 컵 사이의 충돌은 예측할 수 없다.
여기에는 단순한 물리적 제약도 있다. 브라운필드 설비 — 재활용 산업 대부분이 여기에 해당한다 — 에서는 컨베이어 라인을 그냥 2미터 더 연장할 수 없다. 공장 배치를 다시 설계하고, 갠트리를 옮기고, 투입 각도를 바꿔야 한다. 자본 지출이 막대해지며, 그 돈은 느린 AI 시스템을 수용하기 위해 쓰이는 것이지 근본적인 느림을 해결하는 데 쓰이는 것이 아니다.
그리고 아무도 이야기하고 싶어 하지 않는 선택지가 있다. 벨트 속도를 늦추는 것이다. 초당 4미터에서 정확하게 분류할 수 없다면, 초당 1미터로 낮추면 된다. 문제는 해결된다 — 다만 시설의 처리 용량이 75% 줄어든다는 점만 빼면. 톤당 마진이 얇은 이 산업에서 그것은 타협이 아니다. 그것은 사업 자체의 사형 선고다.
눈에 보이지 않는 적: 지터
평균 지연 시간만 해도 충분히 나쁘다. 하지만 진짜 문제는 바로 지터다 — 한 번의 추론에서 다음 추론으로 넘어갈 때 지연 시간이 얼마나 들쭉날쭉한지를 뜻한다.
클라우드 시스템은 평균 500밀리초일 수 있지만, 개별 요청은 그때그때 달라진다. 어떤 것은 480밀리초 만에 돌아오고, 다음 것은 520밀리초, 그리고 이따금 오하이오 어딘가의 라우터 버퍼가 가득 차서 600밀리초가 걸리기도 한다. 그 ±50밀리초의 편차는 100밀리초의 발사 불확실성 구간을 만들어낸다. 초당 3미터에서 100밀리초는 300밀리미터의 이동 거리에 해당한다.
그 구간 안에서 명중을 보장하려면, 시스템은 30센티미터 구역 전체를 뒤덮는 압축 공기를 분사해야 한다. 이는 막대한 양의 압축 공기를 낭비할 뿐 아니라 그 구역 안의 모든 것을 튕겨낸다 — 목표 재질뿐 아니라 그 옆에 있는 정상적인 재질까지도. 순도는 붕괴한다.
나는 이 문제로 동료와 격렬한 논쟁을 벌인 적이 있다. 그는 5G 엣지 클라우드가 지터 문제를 해결할 것이라고 주장했다. 나는 그에게 수치를 보여주었다. 5G 엣지조차 자체적인 지터 특성과 함께 20에서 50밀리초의 지연 시간을 발생시킨다. 초당 6미터에서 20밀리초는 여전히 120밀리미터의 이동 거리에 해당한다. 클라우드보다는 낫지만, 12.5밀리미터 간격으로 배치된 밸브에는 여전히 한 자릿수 이상 부정확하다.
고속 분류에서는 평균 지연 시간보다 테일 지연 시간 — 99번째 백분위수 지연 — 이 더 중요하다. 패킷의 1%가 늦게 도착하면, 분류된 재질의 1%가 잘못 분류된다.
시간당 50톤을 처리하는 시설에서 1%의 순도 저하는 시간당 500킬로그램의 오염물질이 깨끗해야 할 압축 베일 속으로 몰래 섞여 들어간다는 것을 의미한다. 이는 베일 등급을 A등급에서 B등급으로 강등시키거나, 구매자로부터 아예 거절당하기에 충분한 양이다. 경제성은 순식간에 무너진다.
우리가 프로그래머블 실리콘을 선택한 이유
문제가 알고리즘이 아니라 아키텍처에 있다는 것을 이해하고 나자, 해결책의 범위가 극적으로 좁아졌다. 우리에게는 2밀리초 미만의 추론 지연 시간이 필요했고, 그 수치가 결정론적이어야 했다. "대개 2밀리초 이하"가 아니다. 항상 2밀리초 이하여야 한다. 매번 예외 없이.
이 요구사항은 GPU를, 심지어 엣지 GPU조차 배제한다. 로컬 GPU는 15에서 50밀리초를 낼 수 있는데, 이는 클라우드보다는 훨씬 낫지만 가변적이다. GPU는 운영체제 위에서 동작한다. 운영체제는 컨텍스트 스위칭을 하고, 인터럽트를 처리하고, 파일 시스템을 저널링하며, 때로는 백그라운드 업데이트를 실행하기에 딱 좋은 순간이라고 판단해버리기도 한다. 실시간 리눅스(PREEMPT_RT)조차도 근본적으로는 시분할 시스템이다. 네트워크 드라이버나 SSH 데몬이 AI 추론을 방해하지 않으리라고 보장할 수 없다.
그래서 우리는 FPGA — 필드 프로그래머블 게이트 어레이 — 로 눈을 돌렸다. 그리고 여기서 나는, 기술적 배경을 갖고 있었음에도 완전히 체화하는 데 시간이 걸렸던 무언가를 설명해야 한다.
FPGA는 프로세서가 아니다. 명령어를 실행하지 않는다. 전통적인 의미에서 소프트웨어를 작성하는 것이 아니다. 대신, 실리콘 패브릭을 구성하여 그것 자체가 되게 만든다 — 여러분의 알고리즘을 구현하는 회로 그 자체가. 신경망은 하드웨어 위에서 돌아가는 프로그램이 아니다. 그것은 바로 하드웨어다.
이 구분은 그것이 지연 시간에 어떤 의미를 갖는지 보기 전까지는 학술적으로만 들린다. CPU는 명령어를 가져오고, 해독하고, 데이터를 가져오고, 실행하고, 결과를 저장하는 과정을 수십억 번 반복한다. FPGA에는 명령어 페치가 없다. 프로그램 카운터도 없다. 데이터는 마치 파이프를 흐르는 물처럼 논리 게이트로 이루어진 물리적 파이프라인을 통해 흘러간다. 카메라 센서로부터 첫 번째 픽셀이 도착하는 순간, 처리가 시작된다. 시스템은 프레임 전체가 버퍼링되기를 기다리지 않는다.
결과: 2밀리초 미만의 결정론적 추론. 초당 3미터에서는 물체의 이동 거리가 6밀리미터에 불과하다. 초당 6미터에서는 12밀리미터다. 둘 다 공압 이젝션 노즐의 정밀도 범위 안에 충분히 들어온다.
FPGA 기반 비전 시스템은 카메라가 이미지 하단부의 전송을 마치기도 전에 이미지 상단부에 대한 추론 결과를 준비해둘 수 있다.
신경망을 어떻게 칩 하나에 담을 수 있는가?
어느 날 밤 — 늦은 시각, 커피를 너무 많이 마신 상태, 텅 빈 사무실 — 나는 우리가 선택한 FPGA의 메모리 사양을 들여다보며 우리 모델의 가중치 개수를 계산하고 있었다. 숫자가 맞지 않았다. 우리 신경망은 칩의 온칩 메모리에 담기에는 너무 컸다. FPGA는 GPU에서 얻을 수 있는 기가바이트 단위의 VRAM이 아니라, 메가바이트 단위의 빠른 내부 저장 공간만을 갖고 있다.
이것이 AI용 FPGA에 대한 역사적인 약점이다. 빠르지만 작다는 것. 한동안 나는 우리가 벽에 부딪혔다고 생각했다.
돌파구는 양자화였다 — 정확히 말하면, 양자화 인식 훈련(Quantization-Aware Training, QAT)이라고 불리는 훈련 기법과 결합된 공격적인 양자화였다.
핵심 아이디어는 이렇다. 신경망은 일반적으로 32비트 부동소수점 숫자(FP32)를 사용하여 훈련되는데, 이는 훈련 과정의 연산이 정밀해야 하기 때문이다. 하지만 일단 모델이 훈련되고 나면, 그 32비트 가중치는 실제 작업이 요구하는 것보다 훨씬 더 높은 정밀도를 담고 있다. PET 병을 HDPE 우유병과 구별하는 것은 형태, 불투명도, 라벨 질감 같은 거시적인 시각적 구분이다. 이를 포착하는 데 32비트의 수치 정밀도까지는 필요하지 않다.
우리는 모델을 INT8(8비트 정수)로 압축하는데, 이는 메모리 사용량을 4분의 1로 줄인다. 그런 다음 가중치가 많은 레이어에 대해서는 INT4(4비트 정수)까지 더 밀어붙이는데, 이는 메모리 사용량을 8분의 1로 줄인다. 우리 내부 벤치마크에 따르면 INT4는 호환 가능한 FPGA 하드웨어에서 INT8 대비 최대 77%의 성능 향상을 제공하면서도, 원본 FP32 모델 정확도의 99% 이상을 유지한다.
핵심은 QAT다. 가중치를 단순히 잘라내고 결과가 괜찮기를 바라는 조잡한 훈련 후 양자화와 달리, QAT는 훈련 도중에 양자화 노이즈를 시뮬레이션한다. 신경망은 더 낮은 정밀도에서도 견고하게 동작하도록 학습한다. 이는 누군가가 정교한 붓놀림을 완전히 익힌 뒤에 굵은 붓으로 그림을 그리라고 요청하는 것과, 처음부터 굵은 붓으로 아름답게 그리는 법을 가르치는 것의 차이와 같다.
양자화된 모델을 사용하면, 신경망 전체가 FPGA의 온칩 블록 RAM 안에 들어간다. 외부 메모리 접근이 필요 없다. DRAM 병목도 없다. 데이터는 칩 내부에서 초당 테라바이트 단위로 이동한다. 우리는 FINN이나 hls4ml 같은 프레임워크를 사용하여 특정 신경망 레이어를 특정 FPGA 자원에 매핑하고, 각 레이어의 병렬성을 카메라 센서의 처리량에 맞게 조정하여 파이프라인이 결코 멈추지 않도록 한다.
'운영체제 제로'란 실제로 무엇을 의미하는가?
우리는 핵심 추론 경로를 베어메탈에서 실행한다. 리눅스도 없다. 윈도우도 없다. 사고하고 행동하는 부분의 칩에는 운영체제 자체가 전혀 없다.
사람들은 늘 나에게 그것이 극단적이지 않느냐고 묻는다. 극단적이다. 그리고 그것은 필요하기도 하다.
우리가 사용하는 FPGA 칩 — AMD Xilinx Zynq UltraScale+ — 은 하나의 실리콘 위에 구현된 이기종 시스템이다. 이 칩에는 프로그래머블 로직 패브릭과 하드 ARM 프로세서 코어가 모두 들어 있다. 우리는 작업 부하를 세 가지 영역으로 나눈다.
FPGA 패브릭은 비전 파이프라인, 신경망 추론, 밸브 제어 신호를 처리한다. 순수한 하드웨어 로직이다. 지터가 전혀 없다. 실시간 처리 유닛 — 베어메탈 C++로 동작하는 ARM Cortex-R5 — 은 엄격하게 제한된 인터럽트 지연 시간으로 구성, 상태 머신, 안전 인터록을 관리한다. 그리고 리눅스를 실행하는 별도의 애플리케이션 처리 유닛이 로깅 데이터 기록, 웹 UI 제공, 원격 업데이트 관리 같은 비핵심 작업을 처리한다.
사고하고 행동하는 경로는 보고 경로로부터 완전히 격리되어 있다. 리눅스 파티션이 다운되더라도 — 그리고 리눅스는 실제로 다운된다 — FPGA는 중단 없이 전속력으로 재질 분류를 계속한다. 나는 테스트 중에 이런 일이 실제로 일어나는 것을 본 적이 있다. 대시보드는 꺼졌고, 로그 스트림은 멈췄지만, 분류 라인은 한 박자도 놓치지 않았다. 그때 나는 이 아키텍처가 옳다는 것을 알았다.
이 아키텍처에 대한 전체 기술적 상세 — 데이터플로우 파이프라인, 양자화 방식, 베어메탈 동기화 엔진 — 을 보려면 우리의 상세 연구 논문을 참고하라.
이것이 순환 경제에 왜 중요한가?
밀리초를 돈으로 환산해보자.
클라우드 제약형 AI로 PET 플라스틱을 처리하는 일반적인 MRF는 지연 시간과 추적 오류를 감안해 벨트 속도를 초당 약 2미터로 제한한다. 처리량: 벨트 폭 1미터당 시간당 약 5톤. 2밀리초 지연의 FPGA 엣지 추론을 사용하면, 그 벨트 속도는 초당 6미터까지 세 배로 늘어날 수 있다. 처리량: 시간당 15톤. 같은 벨트. 같은 건물. 같은 면적.
이는 처리 용량의 300% 증가다. 두 교대 — 16시간 — 로 운영되는 시설이라면, 이는 하루 160톤의 추가 처리를 의미한다. 재활용 PET가 톤당 400달러에서 800달러 사이에 거래된다는 점을 감안하면, 매출에 미치는 영향은 연간 수백만 달러 단위로 측정된다.
하지만 처리량은 이야기의 절반에 불과하다. 정밀도도 그만큼 중요하다. 정밀한 이젝션은 깨끗한 베일에 섞여 들어가는 오염물질이 줄어든다는 것을 의미하며(높은 순도, 프리미엄 가격), 실수로 놓쳐 매립지로 보내지는 목표 재질도 줄어든다는 것을 의미한다(높은 회수율, 낮은 폐기율). 회수율이 단 1~2%만 개선되어도 손실 매출이 크게 줄어들고, 전 세계적으로 상승하고 있는 매립 처리 수수료도 낮아진다.
그리고 운영 비용도 있다. 클라우드 송신 비용이 없다. 추론당 API 요금도 없다. 데이터센터로 고화질 영상을 스트리밍하기 위한 대역폭 비용도 없다. 그리고 FPGA는 추론 작업에 10에서 20와트를 소비하는 반면, 이에 상응하는 GPU 설비는 100에서 200와트를 소비한다 — 24시간 내내 가동되는 수십 개의 분류 스테이션 전체에 걸쳐 누적되는 10배의 효율 우위다.
클라우드에서 엣지 FPGA로의 전환은 기술적 취향의 문제가 아니다. 그것은 서류상으로만 작동하는 재활용 시설과 실제 속도로 작동하는 재활용 시설의 차이다.
진짜 중요한 해자
나는 이런 질문의 변주를 정기적으로 받는다. "상품화가 걱정되지 않나요? NVIDIA가 더 빠른 엣지 GPU를 출시하면 어떻게 되나요?"
내가 믿게 된 것은 이렇다. 정적인 JPEG 이미지 속 병 하나를 분류하기 위해 API를 호출하는 것이 주말 프로젝트에 불과한 시대에, 해자는 모델이 아니다. 그것은 물리학이다. 그것은 부서진 캔과 젖은 골판지가 뒤섞인 혼돈스러운 흐름 속에서, 초당 6미터로 움직이는 그 병을 인터넷 연결 없이 24시간 내내 99%의 순도로 식별하고 튕겨낼 수 있는 능력이다.
이를 위해서는 하드웨어-소프트웨어 공동 설계가 필요하다 — FPGA 실리콘을 선정하고, HDL을 작성하고, 맞춤형 양자화 방식을 설계하고, 센서 드라이버를 통합하고, 서브밀리미터 단위의 이젝션 정확도를 위해 비전 추론을 인코더 펄스에 고정하는 것까지. 이는 API를 감싸는 것만으로 얻을 수 있는 것이 아니다.
현재의 AI 지형은 산업 현장의 물리적 현실과 단절된 채 애플리케이션 계층에서만 활동하는 기업들로 가득하다. 우리는 물리적 계층에서 활동한다. 우리는 모델을 훈련시켜 그냥 넘겨주지 않는다. 우리는 그 모델이 곧 되는 회로 자체를 설계한다.
재활용 산업은 변곡점에 서 있다. 순도 기준은 점점 엄격해지고 있다. 소비 후 폐기물 흐름은 점점 복잡해지고 있다. 인력은 부족하다. 모두가 AI가 답이라는 데 동의한다. 하지만 논의는 계속 어떤 모델을 사용할 것인가에 머물러 있었다. 진짜 질문은 그 모델이 어디서, 얼마나 빠르게 실행되는가인데도 말이다.
500밀리초의 지연은 최적화로 없앨 수 있는 기술적 불편함이 아니다. 그것은 초당 3에서 6미터로 작동하는 프로세스에서는 물리적으로 불가능한 일이다. 방정식은 단순하다 — 이동거리는 속도 곱하기 시간이다 — 그리고 이 방정식은 여러분의 클라우드 제공업체가 내건 SLA 따위는 신경 쓰지 않는다.
순환 경제의 미래는 빠르고, 결정론적이며, 압축 공기가 병에 닿는 바로 그 지점에 위치한 지능에 달려 있다. 데이터센터가 아니다. 클라우드도 아니다. 칩 위에서, 엣지에서, 중요한 그 밀리초 안에서다.
