클라우드 AI는 공장 현장에 너무 느립니다

문제점

어느 제조업체가 초속 2미터로 이동하는 컨베이어 벨트 위 부품을 검사하기 위해 클라우드 기반 AI를 도입했습니다. 시스템은 작동했습니다 — 기술적으로는요. 불량을 정확히 식별했습니다. 하지만 클라우드가 답을 돌려보낼 때쯤에는 800밀리초가 흘러 있었습니다. 불량 부품은 이미 거부 지점을 지나 1.6미터를 이동한 뒤였습니다. AI는 옳았습니다. 그러나 물리법칙은 아랑곳하지 않았습니다.

이것이 바로 Veriprajna가 “레이턴시 갭(Latency Gap)”이라 부르는 핵심 실패입니다. AI가 수백 마일 떨어진 데이터 센터로 이미지를 보냅니다. 데이터 센터는 그것을 처리하고 답을 돌려보냅니다. 그러나 인터넷이 제 몫을 하는 동안 컨베이어 벨트는 멈추지 않습니다. 부품은 움직이고, 배출기는 너무 늦게 작동하며, 불량은 누구도 알아채기 전에 포장되어 출하되고 공급망으로 흘러 들어갑니다.

이것은 실험실의 가상 시나리오가 아닙니다. 실시간 품질 관리를 위해 ‘클라우드 우선’ 약속을 믿었던 제조업체들이 겪고 있는 현실입니다. 클라우드는 분석, 대시보드, 배치 처리에는 잘 맞습니다. 하지만 프로세스가 500밀리초 안에 결정을 요구한다면 클라우드는 오히려 걸림돌이 됩니다. 공장은 물리법칙 위에서 돌아가고, 인터넷은 최선형(best-effort) 전달 위에서 돌아갑니다. 이 둘은 어울리지 않습니다.

비즈니스에 중요한 이유

지연 실패의 재무적 결과는 처참할 만큼 잘 기록되어 있습니다. 자동차 산업에서 계획되지 않은 다운타임은 평균 분당 $22,000의 비용을 유발합니다. Siemens는 대형 자동차 공장에서 이 수치가 시간당 $2.3 million — 즉 분당 약 $38,000 — 에 이르렀다고 추산합니다. 이 수치들은 2019년 이래 두 배로 늘었습니다.

하지만 돈이 새어 나가는 데 재앙적인 장애까지는 필요 없습니다. 진짜 피해는 백서가 ‘숨겨진 공장(Hidden Factory)’이라 부르는, 아무도 추적하지 않는 사소하고 반복적인 중단들에서 발생합니다:

• 네트워크 지터로 인한 마이크로 정지: 클라우드 AI 시스템 때문에 라인이 하루 30초씩 단 열 번만 멈춰도 하루 5분을 잃습니다. 1년이면 30시간 이상의 생산 손실입니다.
• ‘사소한’ 오작동의 연간 비용: 분당 $22,000 기준으로, 30시간의 마이크로 정지는 회사에 연간 $39.6 million의 비용을 초래합니다.
• 탈출한 불량품: AI의 응답이 늦어 검사를 통과하는 부품 하나하나가 공급망으로 들어갑니다. 그 결과는 보증 청구, 리콜, 평판 손상입니다.
• 공급망 페널티: 자동차 업계는 Just-In-Time 납품을 사용합니다. 라인이 멈춰 OEM에 납품 기한을 놓치면 계약상 페널티가 건당 수백만 달러에 이를 수 있습니다.

다운타임 비용은 단일 계정 과목에 잡히지 않는 방식으로 누적되기도 합니다. 중단된 공정에서 나오는 폐기물. 잃은 생산량을 만회하려는 1.5배의 초과 근무 수당. 값비싼 서드파티 업체에 대한 긴급 외주. 이런 숨은 비용들은 빠르게 쌓입니다.

공장이 실시간 제어 결정을 여전히 공용 인터넷으로 경유시킨다면, 매일 지연 세금을 내고 있는 셈입니다.

내부에서 실제로 벌어지는 일

공장 현장에서 클라우드 AI가 왜 실패하는지 이해하려면, 해외에서 911에 전화하는 상황을 떠올려 보십시오. 긴급 상황을 정확히 설명해도, 거리 때문에 대응이 너무 늦게 도착합니다.

카메라가 부품 이미지를 캡처하면 클라우드 기반 시스템에서는 실제로 다음과 같은 일이 벌어집니다. 이미지는 압축되어 공장의 로컬 네트워크를 통해 업로드됩니다. 다른 트래픽과 경쟁하고, 방화벽을 통과하며, 공용 인터넷을 건너갑니다. 패킷은 여러 라우터를 홉(hop)합니다. 패킷이 하나라도 유실되면 — 모터와 용접기가 만드는 전자기 간섭으로 가득한 공장에서는 흔한 일입니다 — 시스템은 기다렸다가 재전송합니다. 요청은 이어서 데이터 센터의 큐에 들어가 GPU를 기다립니다. 그제야 AI가 추론을 실행합니다. 그리고 결과는 다시 멀고 먼 길을 되돌아옵니다.

이 왕복은 모두 약 800밀리초에 이릅니다. 세부 내역은 다음과 같습니다. 이미지 캡처와 인코딩에 20–40ms. ISP를 통한 업로드에 100–300ms. 네트워크 라우팅과 지터가 50–200ms 추가됩니다. 클라우드 대기열이 50–100ms 더합니다. 실제 AI 추론에 50–150ms. 복귀 경로에 또 100–200ms가 더해집니다.

결정적인 문제는 속도만이 아닙니다. 예측 불가능성입니다. 인터넷은 TCP를 사용합니다 — 적시성이 아니라 전달 보장을 위해 설계된 프로토콜입니다. 패킷이 유실되면 TCP는 기다렸다가 재시도합니다. 이메일이라면 괜찮습니다. 불량 부품을 배출할 500밀리초가 주어진 제어 루프에서 재시도는 곧 실패를 의미합니다. 제어 루프에서 늦게 도착한 데이터는 종종 데이터가 아예 없는 것보다 나쁩니다. 시스템의 물리적 상태는 이미 변했기 때문입니다.

컨베이어는 버퍼링하지 않습니다. 원자는 비트를 기다리지 않습니다.

효과가 있는 것과 없는 것

그럴듯하게 들리지만 문제를 해결하지 못하는 세 가지 접근법부터 살펴보겠습니다:

‘그냥 5G를 쓰면 되지 않나?’ 마케팅은 5G가 1–5ms의 레이턴시를 제공한다고 말합니다. 하지만 그것은 무선 구간(air interface) 한정입니다. 강철 빔과 금속 외장, 용접기와 모터의 전자기 소음으로 가득한 공장에서는 5G mmWave 신호가 빠르게 열화됩니다. 시야를 가로지르는 지게차 하나가 레이턴시를 순식간에 치솟게 할 수 있습니다.

‘클라우드에서 더 큰 모델을 돌리자.’ 더 강력한 클라우드 GPU로는 거리 문제가 해결되지 않습니다. 데이터는 여전히 수백 마일을 왕복해야 합니다. 병목은 모델이 아니라 네트워크입니다.

‘분석을 위해 모든 것을 클라우드로 스트리밍하자.’ 4K 카메라 네 대를 갖춘 품질 검사 스테이션 하나만으로도 압축 영상이 약 80Mbps 생성됩니다. 이를 수백 개 스테이션에 곱해 보십시오. 막대한 대역폭 비용, 클라우드 이그레스(egress) 요금, 저장소 비용이 예상됩니다 — 로컬 장치가 실시간으로 처리하고 버릴 수 있는 데이터를 위해서 모두 말입니다.

실제로 효과가 있는 것은 바로 엣지 네이티브 AI(Edge-Native AI), 즉 AI를 기계 바로 위에 두는 것입니다:

1. 입력: 카메라가 이미지를 캡처하여 컨베이어에 장착된 임베디드 AI 프로세서 — NVIDIA Jetson 같은 — 로 직접 전송합니다. 데이터는 공용 인터넷이 아니라 결정론적 하드웨어 연결을 통해 1미터 미만만 이동합니다.

2. 처리: AI 모델은 표준 32비트 정밀도에서 8비트 정수 정밀도로 변환됩니다 — 양자화(quantization)라 불리는 과정으로, 모델이 4배 작아지고 1% 미만의 정확도 손실로 극적으로 빨라집니다. 모델은 이어서 여러 처리 단계를 하나로 융합하는 최적화 소프트웨어로 컴파일됩니다. 총 추론 시간은 약 3–5밀리초로 떨어집니다.

3. 출력: 시스템은 총 12밀리초 만에 판정을 내립니다. 초속 2미터에서 부품은 겨우 2.4센티미터를 이동했습니다. 배출 지점 전까지 97.6센티미터의 안전 여유가 남습니다. 시스템은 확신을 갖고 거부 메커니즘을 작동시킵니다.

컴플라이언스와 감사 팀에게 이 아키텍처는 결정적인 이점을 제공합니다. 데이터 주권입니다. 원본 이미지는 장치를 절대 떠나지 않습니다. 대시보드로는 “부품 #1234: PASS” 같은 메타데이터만 전송됩니다. 독점 설계, 생산률, 조립 기법은 모두 시설 안에 머뭅니다. 어떤 클라우드 제공업체도 그것들을 만질 수 없습니다. 민감한 데이터의 공용 서버 저장을 금지하는 ITAR, 항공우주, 제약 규제를 받는 제조업체에게 이것은 매우 중요합니다.

같은 원리가 음향 모니터링에도 적용됩니다. Veriprajna는 고장난 베어링의 초음파 ‘비명’을 탐지하는 고주파 마이크를 배치합니다 — 전통적인 진동 센서가 감지하기 몇 주 전에 말입니다. 마이크로컨트롤러에서 실행되는 경량 AI 모델은 5밀리초 만에 비상 정지를 트리거할 수 있습니다. 한 사례에서 이것은 $45,000짜리 스핀들 교체를 $800짜리 베어링 교환으로 바꾸어 놓았습니다. 엣지 장치는 기계를 돌아가게 하고, 데이터를 사비로 지키며, 인터넷 연결이 끊겨도 계속 작동합니다.

손익분기 계산은 거의 터무니없을 정도입니다. 컴퓨트 모듈과 센서를 포함한 $7,000짜리 엣지 시스템은 자동차 업계 단가 기준으로 연간 19초 의 다운타임만 막아도 본전을 뽑습니다.