당신의 엣지 AI는 모든 결함을 잡아냅니다. 멀쩡한 부품의 12%도 불량 처리하죠.
저는 200톤짜리 프레스 옆에 서서, 그 기계가 멀쩡한 부품을 스크랩 통으로 걷어차는 것을 지켜보고 있었습니다.
라인은 분당 약 40스트로크로 돌아가고 있었습니다. 우리가 금형 위에 장착한 두 대의 GigE 카메라는 버(burr)와 미충전(short fill)을 아름답게 잡아내고 있었습니다 — 실험실에서 모델은 97% 정확도를 기록했었죠. 그런데 현장에서는 완벽하게 멀쩡한 부품의 14%를 불량 처리하고 있었습니다. 공장장은 팔짱을 낀 채 제 옆에 서서, 유일하게 중요한 질문을 던졌습니다: 당신 AI가 방금 왜 내 스크랩률을 더 악화시킨 거요?
그날 아침은 이 카테고리 전체를 바라보는 제 생각을 바꿔놓았습니다. 왜냐하면 제조 품질 검사에서의 엣지 AI에 대한 피치는 너무 깔끔해서 거의 거부할 수 없을 정도이기 때문입니다: 컨베이어에 작은 GPU를 얹고, 12밀리초 만에 추론을 돌리고, 모든 결함을 실시간으로 잡아낸다. NVIDIA는 기꺼이 하드웨어를 팔 겁니다. Landing AI는 모델을 팔겠죠. 그러고 나서 당신은 현장에 서서 멀쩡한 부품의 14%가 불량 통으로 떨어지는 것을 지켜보며, 정작 중요한 부분은 아무도 팔아주지 않았다는 걸 깨닫게 됩니다.
하드웨어는 작동합니다. 배포가 작동하지 않을 뿐이죠. 바로 그 간극이 비즈니스의 전부입니다.
이 문제 전체를 제게 다시 프레이밍해 준 숫자가 있습니다: 시스템 통합 프로젝트의 84%가 실패하거나 부분적으로 실패합니다. 추론이 너무 느려서가 아닙니다. 모델이 충분히 정확하지 않아서도 아니고요. 그것들은 이음새에서 실패합니다 — AI가 프레스, PLC, 조명, 네트워크, 야간 근무조와 맞닿는 지점에서요. 우리는 Veriprajna의 엣지 AI 검사 프랙티스를 바로 그 불편한 진실을 중심으로 구축했습니다: 엣지 AI를 프로덕션에 안착시키는 것은 하드웨어의 옷을 입은 통합 및 운영의 문제라는 것입니다.
엉뚱한 것을 고치며 보낸 한 달
그 프레스 라인이 처음 14%를 뱉어냈을 때, 저는 모델을 신뢰하는 엔지니어가 할 법한 일을 정확히 했습니다. 저는 모델이 약하다고 가정했죠. 그래서 재훈련을 했습니다. 데이터를 추가하고, 신뢰도 임계값을 조정하고, 에포크를 더 돌렸습니다. 불량률은 꿈쩍도 하지 않았습니다. 저는 신경망을 조금만 더 똑똑하게 만들면 현장이 실험실처럼 행동할 거라고 확신하며 한 달의 대부분을 보냈습니다.
현장은 그러지 않았습니다. 그리고 그러지 않은 이유야말로 제가 이 분야에서 배운 가장 중요한 한 가지입니다.
실험실 이미지는 통제된 LED 링 조명 아래에서 촬영되었습니다. 프레스에서는 판금이 스트로크 각도마다 천장 조명을 다르게 반사합니다. 프레스 윤활유는 따뜻한 금형과 차가운 금형에 각각 다르게 고입니다. 한 근무조의 첫 50개 부품은 — 공구가 열평형에 도달하기 전이라 — 한 시간 뒤의 부품과 정말로 다르게 보입니다. 제 모델이 틀린 게 아니었습니다. 제 모델은 프레스가 실제로 살아가는 세계를 한 번도 본 적이 없었던 겁니다.
해결책은 신경망과는 전혀 관계가 없었습니다. 그것은 기름 묻은 금속의 정반사를 없애기 위한 편광 백라이트, 표면 외관을 금형 온도와 상관 짓기 위한 열화상 카메라, 그리고 콜드 스타트·라인 가동 중·가동 종료 조건을 포함하도록 재구축된 훈련 세트였습니다. 제가 한 달 동안 "고친다"며 씨름했던 모델은 처음부터 멀쩡했습니다. 저는 스택에서 엉뚱한 계층을 노려보고 있었던 겁니다.
한 근무조의 첫 50개 부품은 당신이 훈련시킨 부품처럼 보이지 않습니다. 만약 당신의 데이터가 차가운 금형을 보지 못했다면, 당신의 라인은 차가운 금형을 불량 처리할 것입니다.
그것은 고객사 현장에서 배우기에는 값비싼 교훈입니다. 그것은 우리를 모델을 만드는 사람에서 배포를 만드는 사람으로 바꿔놓은 교훈입니다.
"그냥 Jetson 하나 붙여"가 프로젝트가 조용히 죽어가는 지점인 이유
얼마 뒤 저는 한 제조업체에 피치를 하고 있었는데, 운영 책임자가 손을 내저으며 대략 이렇게 말했습니다: 그냥 컨베이어에 Jetson 하나 볼트로 조이고 추론 돌리면 되지 — 그게 뭐가 어렵다고?
그 본능은 이해합니다. 하드웨어는 정말로 발주서 한 장이 맞습니다. 하지만 조명을 고친 후에 그 프레스 라인이 실제로 무엇을 요구했는지 함께 짚어보겠습니다. 왜냐하면 진짜 일이 사는 곳이 바로 여기이기 때문입니다.
검사 결과는 EtherNet/IP를 거쳐 Allen-Bradley ControlLogix에 도달해야 하며, 그래야 불량 배출 액추에이터가 물리적으로 750밀리초 스트로크 윈도우 안에 작동합니다. 그 윈도우를 놓치면, 당신은 결함을 정확히 식별해놓고도 그것을 그대로 출하하는 셈이 됩니다. 모든 부품은 추적성을 위해 MES에 검사 결과가 태깅되어야 합니다. 결함 이미지는 결함 클래스별, 금형 스테이션별로 필터링되어 품질 엔지니어의 대시보드로 라우팅되어야 하며, 그러지 않으면 엔지니어는 익사합니다. 이 중 어느 것도 모델 문제가 아닙니다. 이 모든 것이 데모와, 3교대 야간 근무에서 무인으로 돌아가는 라인 사이의 차이입니다.
이것은 또한 클라우드 파일럿 난민들이 부딪히는 벽이기도 합니다 — 라인 속도를 따라가지 못하는 검사 파일럿에 이미 한 예산 주기를 써버린 구매자들 말입니다. 클라우드 GPU로의 왕복은 훈련에는 훌륭할 수 있지만, 750ms 액추에이터 윈도우는 데이터 센터까지 갔다 오는 네트워크 홉을 위한 여유를 전혀 남기지 않습니다. 그들의 파일럿은 모델이 나빠서 실패한 것이 아닙니다. 결정이 클라우드가 결코 제때 도달할 수 없는 곳에서 일어나야 했기 때문에 실패한 것입니다. 올바른 아키텍처는 취향이 아니라 물리 법칙상 하이브리드입니다: GPU가 있는 클라우드나 온프레미스에서 훈련하고, 데이터가 있고 액추에이터가 기다리는 엣지에서 추론하는 것입니다.
실제 프로젝트의 시간이 어디로 가는지 합산해보면, 통합 작업 — OT/IT 배관, PLC 핸드셰이크, 데이터 파이프라인 — 이 전체 타임라인의 약 60%를 차지합니다. 모델 훈련은 대략 15%입니다. 모두가 집착하는 대상인 하드웨어는 발주서상의 한 줄 항목일 뿐입니다. 대략 3분의 2의 제조업체가 통합 과정에서 프로덕션 지연을 겪는데, 이는 단지 그들의 시스템이 서로 대화할 수 없기 때문이며, 레거시 복잡성이 가장 자주 꼽히는 이유입니다. 그것이 슬로우 모션으로 본 84% 실패율입니다.
이것은 또한 중견 제조업체에게 벤더 지형이 조용히 무너지는 지점이기도 합니다. Siemens Industrial Edge는 정말로 훌륭합니다 — 깊은 S7-1500 통합, IEC 62443 보안 인증, 진짜 플릿 관리 — 단, 당신이 처음부터 끝까지 Siemens로 운영하는 경우에 한해서요. 하지만 만약 당신이 라인의 절반에서 Allen-Bradley를 돌린다면, 그리고 제가 들어가는 대부분의 공장이 그렇습니다만, Industrial Edge는 그 간극을 메우지 못합니다. Rockwell의 FactoryTalk VisionAI는 ControlLogix와 아름답게 루프를 닫아주고 당신의 품질 담당 직원이 코드 없이 모델을 훈련시킬 수 있게 해줍니다 — 오직 Rockwell 생태계 안에서만요. NVIDIA Metropolis는 50개 이상의 공장에서 놀라운 정확도로 검사를 구동하지만, 당신에게 파는 것은 SDK와 하드웨어이지 당신의 특정 OT 환경에 배포된 솔루션이 아니며, 당신을 NVIDIA 실리콘에 묶어놓습니다. 이들 각각은 진짜 한 조각씩을 해결합니다. 그러나 그중 어느 것도 Siemens와 Allen-Bradley를 나란히 돌리는 공장 — 거의 모든 공장이 그렇습니다만 — 을 위한 통합-대-운영 파이프라인을 해결하지는 못합니다.
모델은 왜 시간이 지나면서 그냥 더 똑똑해지지 않는가?
이것은 기술적으로 조예가 깊은 구매자들에게서 받는 질문이며, 얼버무리는 대신 제대로 된 답변을 받을 자격이 있습니다.
솔직한 제약은 모델이 아닙니다 — 그 아래에 깔린 데이터입니다. 제조업체의 34%만이 실시간 데이터 스트리밍을 갖춘 프로덕션 시스템을 보유하고 있습니다. 나머지 3분의 2는 여전히 파일럿 단계입니다. 만약 당신의 히스토리안이 5초마다 판독값을 기록하는데 검사 결정은 50밀리초 안에 일어나야 한다면, 아무리 많은 엣지 컴퓨팅도 그 간극을 메우지 못합니다 — 그것은 튜닝 문제가 아니라 아키텍처의 불일치입니다. 그리고 훈련 데이터는 사람들이 인정하는 것보다 더 나쁩니다: 제조업체의 약 5%만이 설비 고장에 대한 포괄적인 기록을 유지하는데, 이는 바로 예측 모델이 학습해야 할 데이터입니다. OPC-UA 계층의 일관되지 않은 태그 이름과 누락된 타임스탬프는, 누군가 알고리즘을 탓하기 훨씬 전에 조용히 모델을 오염시킵니다.
그래서 우리는 무언가를 훈련시키기 전에, 아무도 예산을 잡지 않은 것을 종종 구축해야 합니다: 엣지 모델에 실시간으로 실제로 데이터를 공급할 수 있는 공장 수준의 데이터 계층 말입니다. 그것은 화려하지 않습니다. 그것은 또한 이것을 제대로 하는 프로젝트가 이를 건너뛴 프로젝트보다 대략 4배 빠른 AI 배포와 3배 높은 가치 확보를 보는 이유이기도 합니다.
운영이 일의 절반임을 우리에게 가르쳐준 실패
엣지 AI에서 아무도 영업 자료에 넣지 않는 부분이 여기 있습니다.
제가 외부에서 지켜본 한 물류 엣지 배포는 성공적인 런칭 6개월 후에 무너졌습니다. 기기들은 작동했습니다. 모델들도 작동했고요. 그러다 전력 문제가 500대 기기 중 30%를 오프라인으로 만들었고, 아무도 현장 문제 해결을 위한 프로세스를 구축해두지 않았기에 각각을 복구하는 데 48시간이 걸렸습니다. 그 프로젝트는 나쁜 AI 때문에 죽은 게 아닙니다. 운영 계획의 부재로 죽은 겁니다.
저는 그 사례를 끊임없이 생각합니다. 왜냐하면 그것은 파일럿 규모에서는 보이지 않다가 프로덕션 규모에서는 치명적인 실패 양상이기 때문입니다. 클라우드에서 모델을 업데이트하는 것은 CI/CD 파이프라인입니다. 4개국 15개 공장에 걸친 200대의 엣지 기기 전반에서 모델을 업데이트하는 것은 OT 변경 관리, 네트워크 보안, 생산 스케줄링을 한꺼번에 건드립니다 — 그리고 대부분의 조직은 이를 위한 확립된 프로세스가 없습니다. 프로덕션 부하 하에서 한 번도 테스트해본 적 없는 롤백 버튼은 롤백 버튼이 아닙니다. 그것은 기도입니다.
파일럿은 AI가 한 번은 작동할 수 있음을 증명합니다. 운영이란, 6개월 뒤 12번 공장의 3교대 야간 근무에서, 벤더 측 사람 아무도 전화 너머에 없는 상태에서 그것이 작동하게 만드는 것입니다.
그래서 이제 우리는 무언가를 대규모로 배포하기 전에, 운영의 틀을 먼저 세웁니다: 우리가 실제로 훈련해본 롤백 경로를 갖춘 무선(OTA) 모델 업데이트, 기기 상태 모니터링, 그리고 OT 기술자가 벤더에게 급히 전화하지 않고도 실행할 수 있게 작성된 유지보수 절차 말입니다. 이 화려하지 않은 인프라야말로 살아남는 배포와 조용히 꺼져버리는 배포를 가르는 요소입니다.
허위 불량을 14%에서 2% 미만으로 낮추기
불량 통 이야기로 다시 돌아가 보겠습니다. 왜냐하면 이것이 품질 책임자가 실제로 잠 못 이루게 하는 숫자이기 때문입니다.
즉시 사용 가능한 자동 광학 검사(AOI)는 일반적으로 5~15%의 허위 불량률을 보입니다. 그것은 반올림 오차가 아닙니다 — 규모가 커지면 그것은 멀쩡한 제품에 매기는 세금이며, 더 나쁘게는, 당신의 작업자들에게 시스템을 불신하도록 가르칩니다. 잘 튜닝된 AI 비전 시스템은 진짜 결함의 99% 이상을 여전히 잡아내면서도 2% 미만으로 내려갑니다. 그 두 숫자 사이의 여정이 곧 기술의 전부이며, 그중 거의 어느 것도 "더 나은 모델"이 아닙니다.
그것은 금속이 당신과 싸우기를 멈추도록 하는 구조화된 편광 조명입니다. 그것은 절도 있는 하드웨어 유지보수입니다 — 대부분의 허위 불량 증가는 알고리즘이 아니라 표류하는 광원이나 얼룩진 렌즈로 거슬러 올라갑니다. 그것은 품질 엔지니어가 실제로 신뢰하는 규칙을 작성할 수 있게 해주는 픽셀 단위 세분화입니다: 실링 면 5밀리미터 이내에 2밀리미터보다 긴 스크래치가 있는가? 그 단 하나의 능력이, 보증 클레임을 출하하는 결함에 대해 물러서지 않으면서도 미관상의 흠집을 불량 처리하는 것을 멈추게 해줍니다.
그리고 그것은 실리콘 수준에서의 교정 규율입니다. 엣지 기기에서 빠르게 돌리려면 모델을 INT8로 양자화하는데 — 이는 부주의하게 하면 정확도를 곤두박질치게 하는 압축입니다. 모든 결함 유형과 모든 정상 변동을 아우르는 약 1,000개의 대표 부품으로 구성된 적절한 교정 세트로 수행하면, 정확도 손실은 약 0.2%에 그치는 반면, 대략 4배의 메모리 절감과, 한 벤치마크에서는 32배의 속도 향상을 얻습니다. 하지만 그 0.2%는 당신이 제대로 교정한다는 것을 전제로 합니다. 대부분의 툴체인이 기본으로 수행하는 소박한 사후 훈련 양자화는 조용히 몇 퍼센트포인트의 정확도를 앗아갈 수 있습니다; 양자화 인식 훈련 — 압축을 훈련 자체에 접어 넣는 것 — 은 그 대부분을 되찾아옵니다. 수많은 팀이 라인이 과도하게 불량을 내기 시작하고 나서야, 실은 양자화 선택이었던 것을 모델 버그라고 여기며 뒤지고 다니기 전까지는 그 차이를 결코 배우지 못합니다. 또 다른 함정은 교정 세트가 콜드 스타트와 가동 종료 조건까지 커버해야 한다는 것입니다 — 프레스 라인이 제게 두들겨 넣은 바로 그 교훈이, 한 계층 아래에서 다시 나타나는 것입니다.
여기에는 사람들에게 진짜 돈을 쓰게 하는 벤더 전략 결정이 묻혀 있습니다. 만약 당신이 오직 NVIDIA의 TensorRT로만 컴파일한다면, 당신의 모델은 영원히 NVIDIA 하드웨어와 결혼한 것입니다. 우리는 먼저 ONNX로 내보내고 이중 경로를 유지합니다 — 혼합 및 ARM 기반 배포를 위한 ONNX Runtime, 워크로드가 진정으로 NVIDIA 중심인 경우를 위한 TensorRT 말입니다. 그것은 지금부터 3년 뒤 당신이 하드웨어 벤더와 협상할 수 있는 능력을 조용히 보존해주는 작은 아키텍처적 선택입니다.
결함이 이미지가 아니라 소리일 때
품질 검사는 정문이지만, 똑같은 엣지 문제가 예지 정비에서도 나타납니다 — 그리고 그곳이 제가 가장 값비싼 잘못된 확신을 보는 지점입니다.
기계 건강을 위한 음향 및 진동 AI는 실재하며 입증되었습니다; Augury는 PepsiCo와 Nestlé 같은 고객사를 두고 그것으로 10억 달러 규모의 회사를 세웠습니다. 하지만 데모에서 인용되는 지표 — 탐지율 — 는 도입을 죽이는 지표를 숨깁니다. 2,000개의 모니터링 대상 자산에 걸친 5%의 허위 양성률은 매 검사 주기마다 100건의 불필요한 작업 지시입니다. 당신의 기술자들은 100개의 유령 결함을 쫓아다니고, 아무것도 찾지 못하며, 한 달 안에 그들은 어떤 긴박함도 없이 알림에 반응하기를 멈춥니다. 알람 피로는 사람 문제가 아닙니다; 그것은 사람 문제를 만들어내는 튜닝 실패입니다.
제가 우리 자신에게 들이대는 벤치마크는 Ford의 것입니다: 그들의 모델은 부품 고장의 22%를 약 열흘 전에 2.5%의 허위 양성률로 예측하여, 12만 2천 시간의 다운타임과 단일 부품 유형 하나에서 대략 700만 달러를 절감했습니다. 5%와 2.5% 허위 양성 사이의 간극이, 당신의 정비팀이 신뢰하는 시스템과 그들이 무시하는 법을 배우게 되는 시스템 사이의 차이 전부입니다.
이것이 중요한 이유는, 이를 잘못했을 때의 비용이 잔혹하고 구체적이기 때문입니다: 자동차 업계에서 계획되지 않은 다운타임은 분당 약 2만 2천 달러에 달합니다. 늑대가 나타났다고 거짓으로 외치는 예측 시스템은 단지 기술자의 시간을 낭비할 뿐만 아니라 — 진짜 중요한 그 한 번의 고장을 막아줬을 신뢰를 침식합니다.
대부분의 공장이 아직 손대지 않은 규정 준수 마감 기한
사람들은 제게 그 규제가 진짜인지 아니면 그냥 컨설턴트들의 소음인지 묻습니다. 그것은 진짜이며, 시계는 구체적입니다.
EU AI 법(EU AI Act)상의 대부분의 의무는 2026년 8월 2일에 전면 적용됩니다. 제조 AI에게 그것은 완전한 데이터 계보 추적, 안전에 영향을 미치는 결정에 대한 인간 개입(human-in-the-loop) 체크포인트, 그리고 각 모델에 대한 위험 분류 태그를 의미합니다. "데이터 계보 추적"은, 당신의 엣지 박스가 내리는 모든 불량 결정이 1년 뒤에도 재구성 가능해야 한다는 것을 깨닫기 전까지는 서류 작업처럼 들립니다 — 그것은 당신이 위로 보고하는 방식뿐만 아니라 기기에서 로그를 남기는 방식을 바꿉니다. 저는 이제 모델보다 먼저 로깅 스키마를 설계합니다. 벌금 상한은 3,500만 유로 또는 전 세계 연간 매출의 7%입니다. 실질적으로 그것이 바꾸는 것은, 2026년 당신의 아키텍처 결정이 이제 단지 정확한지가 아니라 규제 심사를 견뎌낼 수 있는지에 의해 형성된다는 점입니다. 결정을 추적할 수 없는 모델은 더 이상 단순한 기술적 리스크가 아닙니다; 그것은 신고(filing) 리스크입니다.
보안 계층은 나란히 움직이고 있습니다. IEC 62443은 산업 제어 시스템이 어떻게 보안을 유지하는지 정의하며, 자율적으로 불량 결정을 내리는 엣지 기기는 인증되고 신뢰할 수 있는 하드웨어를 필요로 합니다 — Advantech와 Innodisk 같은 벤더들은 이미 62443 인증 모듈을 출하하고 있습니다. Siemens Industrial Edge조차 2026년 1월에 인가 우회(authorization-bypass) 패치를 요구하는 CISA 권고를 받았다는 점을 기억할 만합니다. 이 카테고리에서 가장 유능한 플랫폼도 여전히 패치가 필요했던 것입니다. 엣지에서의 보안 태세는 체크박스가 아닙니다; 그것은 상시적인 운영상의 약속입니다.
이 모든 것이 실제로 수지가 맞기는 하는가?
맞습니다. 그리고 그 숫자들은 제가 왜 이 카테고리가 엣지 AI에서 가장 빠르게 성장하는 부문인지 이해할 만큼 충분히 좋습니다 — 제조 부문이 연간 대략 23%로 복리 성장하는 데는 이유가 있습니다.
Knauf Insulation은 스크랩 감축을 위한 엣지 비전 AI로 첫해에 511%의 ROI를 보고했습니다. BMW는 도장 표면에 CNN 모델을 적용해 결함을 40% 줄였습니다. 한 쿠키 제조업체는 스크랩 폐기물의 8.7%를 덜어내어 연간 9만 4천 달러를 절감했습니다. 이러한 프로젝트 전반의 일반적인 투자 회수 기간은 6개월에서 18개월 사이입니다. 경제성은 어려운 부분이 아닙니다.
어려운 부분은 그러한 성과가 구매되는 것이 아니라 쟁취되는 것이라는 점입니다. Knauf의 511%와 Ford의 700만 달러가 예외적인 이유는 바로, 대부분의 구매자가 계약서에 서명한다고 그것들을 복제할 수 없기 때문입니다 — 그것들은 통합, 데이터 계층, 운영의 틀, 그리고 벤더 브로슈어가 조용히 당신에게 떠넘기는 허위 불량 규율을 필요로 합니다. 당신이 살 수 있는 기술과 당신이 실제로 원하는 성과 사이의 그 간극이, 우리가 이 일을 하는 방식대로 하는 이유 전부입니다 — 벤더 중립적으로, 통합 우선으로, 우리가 그 방에 없어도 당신의 3교대 야간 근무에서 돌아가도록 지어진 방식 말입니다.
저는 아직도 그 프레스 옆에서 팔짱을 끼고 있던 공장장을 생각합니다. 그는 제 모델의 정확도에 관심이 없었습니다. 그는 자기 라인이 멀쩡한 강철을 내다 버리고 있다는 데 관심이 있었죠. 그의 허위 불량률이 2% 아래로 떨어지고 근무조 교대를 거치도록 그대로 유지된 날, 그는 AI에 대해 아무 말도 하지 않았습니다. 그는 그저 불량 통을 지켜보기를 멈췄습니다. 그것이 지금껏 중요했던 유일한 벤치마크입니다: 모델이 실험실에서 얼마나 똑똑한가가 아니라, 현장의 사람들이 그것이 거기 있다는 것을 잊어버리는가 하는 것 말입니다.
