비전 모델과 액추에이터 사이의 런타임 신뢰 계층

검사 AI의 문제는 정확도가 아닙니다. 엔벨로프입니다.

실험실에서 97%인 모델이 프로덕션에서 14% 오거부율에 이를 수 있습니다. 모델이 나빠진 것이 아니라, 글레어와 차가운 다이, 교대 전환이 입력을 검증된 분포 밖으로 밀어냈기 때문입니다. Inspection Trust Gate는 모든 이미지를 모델의 검증된 엔벨로프에 비추어 확인하고, 모델이 재정의할 수 없는 결정론적 게이트를 적용하며, 엔벨로프 밖인 것은 사람 검토를 위해 보류하고, 부품별 감사 리니지 기록을 남깁니다. 에이전트는 조언하고, 코드가 결정합니다.

게이트가 자동 스크랩한 드리프트된 양품

순진한 베이스라인 오거부 95.5~100%(MVTec metal_nut 홀드아웃 스플릿)

93/93

드리프트 하에서도 잡히거나 에스컬레이션된 결함 부품

자동 통과된 적 없음(동일 홀드아웃 스플릿)

1.00

홀드아웃 드리프트 패밀리에 대한 엔벨로프 AUROC

이에 대해 튜닝한 적이 없으므로 검사가 순환논증이 아님(MVTec metal_nut 홀드아웃 스플릿)

이것은 실행 가능한 데모입니다. PLC 액추에이터와 MES 싱크는 할 일을 로그하는 시뮬레이션 어댑터이고, 부품 이미지는 실제 MVTec AD metal_nut 사진이며, 드리프트는 실제 양품 사진에 적용된 정직한 이미지 오염입니다.

실험실의 97% 모델. 프레스에서의 14% 오거부율.

엣지 검사 배포를 멈추게 하는 실패 모드는 모델 실패가 아니라 입력 실패입니다.

우리 연구의 전형적 사례는 분당 40스트로크로 돌아가는 200톤 프로그레시브 다이 프레스입니다. 검증에서 97% 정확도를 기록한 비전 모델이 프로덕션에서는 14% 오거부율로 붕괴합니다. 모델이 나빠진 것이 아닙니다. 오버헤드 베이 라이트 글레어는 스트로크 각도마다 달라지고, 윤활유는 따뜻한 다이와 차가운 다이에서 다르게 고이며, 교대 초반 50개 부품은 열평형 전에 도착합니다. 입력이 모델이 검증된 분포를 떠났고, 어떤 정확도에서도 그곳에서는 어떤 모델도 신뢰할 수 없습니다.

업계의 패턴은 모델이 애초에 프로젝트가 아니었다는 것을 보여줍니다. 바로 쓰는 AOI 시스템은 양품의 5~15%를 오거부하는 반면, 잘 튜닝된 시스템은 2% 아래로 내립니다. 모델 아키텍처 문제가 아니라 보정과 데이터 문제입니다. 통합은 배포 일정의 60%이고 모델 학습은 15%이며, 시스템 통합 프로젝트의 84%는 실패하거나 부분 실패합니다.

규제는 이해득실을 키웁니다. 부속서 III에 따라 안전 필수 품질 결정을 포괄하는 EU AI Act의 고위험 의무는 2026년 8월 2일부터 전면 적용되며, 가장 심각한 금지 관행 위반에 대해 최대 3,500만 유로 또는 전 세계 매출의 7%의 벌금이 부과됩니다. 검증되지 않은 모델 판정으로 리젝트 액추에이터가 작동하고 그 이유가 기록되지 않는 것이야말로, 그 제도가 드러내도록 설계된 바로 그 상황입니다.

해결책은 더 나은 모델이 아닙니다. 완벽한 모델조차 검증된 엔벨로프 안의 입력에서만 유효합니다. 라인이 필요로 하는 것은 그 엔벨로프를 알고, 그 밖에서 작동하기를 거부하며, 부품마다 무엇을 왜 결정했는지 증명할 수 있는 런타임 계층입니다.

Inspection Trust Gate의 작동 방식

무엇이 작동할지를 결정하는 것은 모델도 LLM도 아닌 결정론적 게이트입니다.

모든 부품은 동일한 파이프라인을 거칩니다:

이미지 → 물리 + 텍스처 특징 → 엔벨로프 검사(OOD) → 결함 판정 → 결정론적 게이트 → 작동 / 보류 → 감사 기록

1. 검증된 엔벨로프

EnvelopeDetector는 물리 신호 공간(노출, 대비, 다이나믹 레인지, 포커스, 고주파 디테일, 열 색 캐스트, 채도, 글레어 비율)에서 Mahalanobis 거리를 계산하며, 양품 학습 이미지 220장으로 피팅됩니다. 답하는 질문은 하나입니다: 이 이미지가 모델이 검증된 캡처 조건 안에 있는가? 엔벨로프 밖이면 어떤 모델 출력도 신뢰하지 않습니다.

2. 결정론적 게이트

어떤 LLM 밖에 있는 평범한 코드이며, 모델이 재정의할 수 없습니다. 데모 자체 데이터에서 피팅된 보정 신뢰도 임계값(0.948 미만은 자동 통과, 1.30 초과는 자동 리젝트)과 하드 750 ms 스트로크 윈도우 지연 예산입니다. 각 부품은 AUTO_PASS, AUTO_REJECT, 또는 HOLD로 라우팅되며, HOLD는 사람 에스컬레이션 큐로 보냅니다.

3. 감사 리니지

모든 결정은 JSONL 기록을 남깁니다: 부품 id, 스테이션, 모델 id와 버전, 데이터셋 해시, 결함 신뢰도, OOD 점수, 물리 신호, 발동한 게이트 규칙, 예산 대비 지연, 작동 및 MES 로그, 그리고 리스크 태그 high-risk:quality-gate (EU AI Act 부속서 III, 시행 2026-08-02). 한 번의 클릭으로 교대를 내보냅니다.

결함 모델은 의도적으로 제품이 아닙니다

데모의 DefectDetector는 텍스처 공간에서 학습 양품까지의 kNN 거리(PatchCore-lite)이며, 고정 인터페이스 뒤의 NVIDIA Metropolis, Cognex, 또는 커스텀 모델을 대신합니다. 실제 작동하는 대용이며(깨끗한 양품 대 결함에서 AUROC 0.845), 정직하게 보고되고, 제품 주장은 결코 그것에 의존하지 않습니다. 지속되는 가치는 그 주변의 계층입니다: 드리프트 게이팅, 출처, 거버넌스된 작동은 어떤 모델 정확도에서도 유효하므로, 그 계층은 모든 모델 업그레이드를 견딥니다.

에이전트는 조언하고, 코드가 결정합니다

HOLD 큐에 부품이 쌓이면, 에이전트형 Drift Triage 쌍이 이유를 설명합니다. 진단 에이전트는 홀드된 부품의 순위가 매겨진 물리 신호 편차를 읽고 권장 조치와 함께 근본 원인 가설을 제안하며, 크리틱 에이전트는 그 가설을 수치 증거에 비추어 검증하고, 인용된 신호가 실제로 지배적 편차가 아니면 수동 조사로 강등합니다. 에이전트는 Pydantic AI로 구축되어 공급자를 교체할 수 있습니다. API 키가 구성되지 않으면 트리아지는 결정론적 템플릿으로 폴백되어 데모 전체가 오프라인으로 실행됩니다. 어느 쪽이든, 에이전트는 조언만 합니다. 게이트는 이미 결정했습니다.

처음부터 끝까지 재현된 교대 전환

스테이션 Line 3에서 스크립트된 교대로, 실제 MVTec AD metal_nut 홀드아웃 테스트 부품 위에 재생됩니다. 아래 이미지는 모두 실행 중인 앱의 스크린샷입니다.

정상 운영: 깨끗한 부품이 수십 밀리초에 통과합니다

드리프트 전에, 깨끗한 양품은 여유가 있는 시간에 자동 통과합니다. 출시된 감사 로그는 부품 test-good-288이 37.7 ms, test-good-289가 24.4 ms로, 750 ms 스트로크 윈도우 예산에 대해 각각 전체 리니지 기록과 함께 통과했음을 보여줍니다. 대시보드는 부품마다 실시간 결정 파이프라인을 보여주며, 각 단계의 측정된 경과 시간과 그 출력 뒤의 증거를 표시합니다.

정상 운영 중의 Inspection Trust Gate 대시보드: PASS 판정의 깨끗한 부품, 단계별 밀리초를 보여주는 실시간 결정 파이프라인, 공칭 상태의 엔벨로프 모니터. — 자동 통과하는 깨끗한 부품: PASS 판정, 단계별 타이밍, 공칭 상태의 엔벨로프 모니터.

06:00, 교대 전환: 입력이 엔벨로프를 떠납니다

이어서 스크립트된 마커가 발동합니다: SHIFT CHANGE 06:00, 차가운 다이, 베이 라이트 점등. 홀드아웃 양품 12개가 글레어, 디포커스, 열 캐스트로 오염되어 도착합니다(실제 양품 사진에 적용된 정직한 이미지 오염이며, 앱에서도 그렇게 라벨링됩니다). 엔벨로프 모니터가 빨개집니다. 게이트는 모델이 검증된 적 없는 판정으로 액추에이터가 작동하게 두는 대신, 그 전부를 사람 검토를 위해 보류합니다.

드리프트 순간: SHIFT CHANGE 06:00 배너, 증명 필요라고 읽는 HOLD 판정, 부품 주위의 분포 밖 브리치 링, 그리고 순진한 AOI라면 거부했을 것이라는 메모. — 드리프트 순간: 오거부 대신 HOLD. 순진한 AOI 경로라면 이 양품을 스크랩했을 것입니다.

신호별로 설명된 엔벨로프 브리치: 밝기가 플러스 7.6 시그마로 Mahalanobis 거리의 87.1%를 기여. — 엔벨로프가 트리거된 이유: 밝기 +7.6 시그마, 거리의 87.1%. 블랙박스 플래그가 아니라 증거입니다.

동일한 교대, 두 경로에서 측정

비교 패널은 동일한 부품을 엔벨로프 없는 순진한 베이스라인과 Trust Gate로 돌립니다. 베이스라인은 드리프트된 양품을 오거부하고, 게이트는 0개를 자동 스크랩하고 보류하여, 이 스크립트된 교대에서 오거부 KPI를 57.1%에서 0%로 내립니다. 투영 패널은 측정된 순진한 오거부율을 전체 교대로 외삽합니다(분당 40스트로크 × 8시간은 19,200개 부품) 부품당 $2.42, 출처가 있는 자릿수 규모 스크랩 비용(쿠키 제조사 사례: 8.7% 스크랩 폐기 감소로 연 $94K 절감). 달러 수치는 항상 라벨링된 투영이며, 측정된 절감이 아닙니다.

페이오프 패널: 순진한 베이스라인은 양품 12개 스크랩 대 Trust Gate 0, 홀드된 부품의 에스컬레이션 큐, 57.1%에서 0%로 떨어지는 오거부 KPI, 약 $26.5k의 라벨링된 스크랩 비용 투영. — 순진한 쪽 양품 12개 스크랩, 게이트 0. 홀드된 부품은 에스컬레이션 큐에서 대기하며, 달러 카운터는 라벨링된 투영입니다.

실제 결함이 자동 리젝트되며, 정직하게 주석이 달립니다

드리프트 게이팅은 그 아래에 결함이 숨으면 무가치합니다. 실제 거대 구조 결함(MVTec 클래스 flip, 부품 test-flip-264)이 자동 리젝트되며, 시뮬레이션된 액추에이터는 750 ms 예산에 대해 25 ms에 REJECT actuated를 로그합니다. 기하학 드릴인은 이 부품에서 국소화된 것이 없음을 명시합니다: 리젝트는 텍스처 신뢰도에만 의존하며, 존 규칙은 중심 기본값으로 폴백했습니다. 그 텍스트를 보여주는 것은 의도적입니다. 데모는 가장하는 대신 규칙이 기권하는 모습을 표시합니다. 전체 홀드아웃 스플릿에서, 드리프트 중 주입된 결함 부품은 여전히 잡히거나 에스컬레이션되며, 93 of 93, 결코 자동 통과되지 않습니다.

자동 리젝트된 실제 결함 test-flip-264의 전체 결정 트레이스. 시뮬레이션된 액추에이터 로그는 750 ms 예산에 대해 25 ms에 REJECT actuated를 보여줍니다. — 자동 리젝트 트레이스: 실제 결함, 시뮬레이션 어댑터가 로그한 작동.

자동 리젝트된 부품의 정직성 드릴인: 국소화된 이상 없음, 리젝트는 텍스처 신뢰도에만 의존. — 제품 안의 공개: 국소화된 이상 없음, 텍스처 신뢰도만.

영수증, 그리고 설명

어떤 부품이든 클릭하면 감사 드로어가 전체 리니지 기록을 보여줍니다: 모델 id metalnut-defect-knn 버전 v7, 데이터셋 해시 ae95b5b533c8, OOD 점수, 물리 신호, 발동한 규칙, 예산 대비 지연, 작동 및 MES 로그, 그리고 리스크 태그 high-risk:quality-gate (EU AI Act 부속서 III, 시행 2026-08-02). Export Audit은 교대를 inspection_audit.jsonl로 다운로드하며, 감사 완전성은 홀드아웃 스플릿에서 결정된 부품의 100%입니다. Drift Triage를 실행하면 진단 에이전트가 홀드된 부품의 근본 원인을 제안하고, 크리틱 에이전트가 검증 배지를 받기 전에 수치 증거에 비추어 검증합니다.

모델 id와 버전, 데이터셋 해시, OOD 점수, 발동한 게이트 규칙, 지연, EU AI Act 부속서 III 고위험 태그가 담긴 부품별 감사 리니지 JSON. — 고위험 적합성 파일에 제출할 수 있는 증거로 설계된 부품별 리니지 기록.

Drift Triage 출력: 진단 에이전트의 근본 원인 가설과 권장 조치, 크리틱 에이전트의 검증 배지. — Drift Triage: 진단 에이전트가 제안하고, 크리틱 에이전트가 검증합니다. 자문만일 뿐, 게이트는 이미 결정했습니다.

숫자, 정확한 범위와 함께

모든 측정은 MVTec AD metal_nut 공식 홀드아웃 테스트 스플릿(양품 학습 피팅 이미지 220장; 양품 테스트 22개와 결함 테스트 93개)에서 데모의 벤치마크 스크립트가, 동일한 이미지에 대해 엔벨로프 없는 순진한 베이스라인과 Trust Gate를 비교한 결과입니다. 베이스라인은 드리프트 패밀리별로 드리프트된 양품의 95.5~100%를 오거부합니다(평균 98.9%). 게이트는 0.0%를 자동 스크랩하고 그 100%를 보류합니다. 엔벨로프 검출기는 튜닝한 적 없는 홀드아웃 드리프트 패밀리(언더익스포저)에서 AUROC 1.00을 기록합니다. 오염은 전강도이므로 베이스라인의 붕괴는 설계상 거의 전면적입니다. 정직한 주장은 방향입니다. 깨끗하게 검증된 모델은 입력이 엔벨로프를 떠나면 붕괴한다는 것이지, 정확한 퍼센트가 아닙니다. 이들은 연구 벤치마크에 대한 데모 측정이며, 오픈월드 보장이 아닙니다.

순진한 AOI 파이프라인 대 Inspection Trust Gate

데모가 동일한 부품으로 실시간 실행하는 바로 그 비교입니다.

항목	순진한 AOI(엔벨로프 검사 없음)	Inspection Trust Gate
엔벨로프 밖 입력	모델 판정을 그래도 신뢰	어떤 모델 출력도 신뢰하지 않음; 부품은 검토를 위해 HELD
드리프트된 양품(글레어, 디포커스, 열 캐스트)	드리프트 패밀리별 95.5~100% 오거부	0개 자동 스크랩; 100% 보류(MVTec metal_nut 홀드아웃 스플릿)
누가 액추에이터를 작동시키는가	모델의 판정, 직접	모델이 재정의할 수 없는 결정론적 게이트
지연 책임	없음	하드 750 ms 스트로크 윈도우 예산, 부품마다 측정
감사 추적	없음	부품별 JSONL 리니지 기록, 교대마다 내보내기 가능
라인이 드리프트할 때	누군가 알아챌 때까지 스크랩이 쌓임	에스컬레이션 큐와 자문 Drift Triage(진단 에이전트, 크리틱 에이전트)

이 데모가 하지 않는 것

✓ 라이브 라인을 운영하지 않습니다. Allen-Bradley ControlLogix 리젝트 액추에이터로의 EtherNet/IP와 MES 싱크는 할 일을 로그하는 시뮬레이션 어댑터이며, 카메라는 녹화된 이미지 스트림입니다. 스테이션 Line 3와 교대는 스크립트되어 있습니다.
✓ 오픈월드 보장을 주장하지 않습니다. 게이트 오거부 0.0%, 엔벨로프 AUROC 1.00, 93/93 포착률은 전강도 합성 오염 아래 MVTec metal_nut 홀드아웃 스플릿에 대한 측정입니다.
✓ 실제 공장 드리프트를 보여주지 않습니다. 드리프트는 실제 MVTec 사진에 적용된 정직한 이미지 오염(글레어, 디포커스, 열 캐스트)입니다: 실제 사진, 합성 드리프트, 앱에서도 그렇게 라벨링됩니다.
✓ 결함 모델을 팔지 않습니다. kNN 대용은 그 주변 계층을 보여주기 위해 존재합니다. 프로덕션에서 모델은 여러분의 것이며, AOI 벤더를 능가 검출한다고 주장하지 않습니다.
✓ 프로덕션 계측을 출시하지 않습니다. 기하 존 규칙은 홀드아웃 결함 93개 중 33개에서 이상을 국소화하고 93개 중 1개에서 게이트 결과를 바꾸는 거친 대용이며, UI는 이를 부품마다 공개합니다.
✓ 측정된 절감을 보고하지 않습니다. 스크랩 비용 카운터는 부품당 $2.42의 라벨링된 투영이며, 출처가 있는 자릿수 규모이고, 이 데모에 대한 고객, 배포, 사례 연구는 존재하지 않습니다.

구매자가 실제로 묻는 질문

교대 전환 후 비전 시스템이 양품을 거부하는 이유는 무엇인가요?

보통 모델이 나빠져서가 아니라 입력이 드리프트했기 때문입니다. 베이 라이트 글레어, 차가운 다이, 열평형 전 교대 초반 부품이 이미지를 모델이 검증된 분포 밖으로 밀어내며, 검증된 엔벨로프 밖의 입력에서는 어떤 모델도 신뢰할 수 없습니다. 스탬핑 프레스에서 실험실 97% 모델이 프로덕션 오거부율 14%에 이르는 것이 전형적 사례입니다. 지속 가능한 해결책은 엔벨로프 밖 입력을 감지하고 작동하는 대신 그 부품을 검토를 위해 보류하는 게이트입니다.

기존 검사 모델이나 AOI 시스템을 교체해야 하나요?

아니요. Inspection Trust Gate는 고정 인터페이스 뒤에 여러분의 모델을 감쌉니다. 데모의 결함 검출기는 NVIDIA Metropolis, Cognex, 또는 커스텀 엔진을 위한 의도적 대용입니다. 제품은 모델 주변의 계층입니다: 엔벨로프 검사, 결정론적 게이트, 에스컬레이션 큐, 감사 리니지. 그 계층은 모든 모델 업그레이드에서도 가치를 유지합니다. 막는 실패가 모델 실패가 아니라 입력 실패이기 때문입니다.

실제 스탬핑 라인에 충분히 빠른가요?

게이트는 하드 지연 예산을 가진 평범한 코드입니다. 리젝트 결정은 분당 40스트로크로 돌아가는 프레스의 750 ms 스트로크 윈도우 안에 착지해야 합니다. 데모의 출시된 감사 로그에서 결정은 수십 밀리초에 착지합니다. 예를 들어 750 ms 예산에 대해 24.4 ms와 37.7 ms이며, 대시보드는 실시간 p99를 보고합니다. 이들은 데모 측정이지 프로덕션 보장이 아니지만, 예산은 부품마다 강제됩니다.

EU AI Act가 AI 품질 검사에 적용되나요, 무엇을 로그해야 하나요?

안전 필수 품질 결정은 법의 고위험 의무(부속서 III)에 해당하며, 2026년 8월 2일부터 전면 적용되고, 가장 심각한 금지 관행 위반에 대해 최대 3,500만 유로 또는 전 세계 매출의 7%의 벌금이 부과됩니다. 데모는 부품별 리니지 기록을 남깁니다: 모델 id와 버전, 데이터셋 해시, OOD 점수, 발동한 규칙, 예산 대비 지연, 작동 로그, 리스크 태그, JSONL로 내보내기 가능. 그 기록은 고위험 적합성 파일에 제출할 수 있는 증거로 설계되었으며, 인증이 아닙니다.

AI나 LLM이 리젝트 액추에이터를 작동시킬 수 있나요?

아니요. 작동은 결정론적 게이트가 결정합니다. 피팅된 신뢰도 임계값과 지연 예산이 어떤 모델 출력도 어떤 LLM도 재정의할 수 없는 평범한 코드에 있습니다. 에이전트형 부분인 Drift Triage는 라인이 드리프트한 이유를 설명하는 진단 에이전트와 크리틱 에이전트입니다. 조언만 하며 결코 작동하지 않습니다. API 키가 구성되지 않으면 트리아지는 결정론적 폴백으로 저하되고 데모 전체가 오프라인으로 실행됩니다.

드리프트 검출기가 데모에만 튜닝된 것이 아님을 어떻게 알 수 있나요?

그것이 우리가 실행한 독립성 검사입니다. 엔벨로프 검출기는 튜닝한 적 없는 홀드아웃 드리프트 패밀리(언더익스포저)에서 AUROC 1.00을 기록했으며, MVTec metal_nut 홀드아웃 스플릿에서 측정되었습니다. 물리 신호 공간의 알려진 양품 이미지 220장으로 피팅되므로, 우리가 만든 드리프트 패밀리만이 아니라 그 신호를 움직이는 캡처 드리프트를 플래그합니다. 오염은 전강도이므로 분리는 설계상 극명합니다. 정직한 주장은 방향이지, 정확한 퍼센트가 아닙니다.

이것은 라이브 라인인가요, 데모인가요?

메커니즘을 증명하는 실행 가능한 데모입니다. Allen-Bradley ControlLogix 리젝트 액추에이터로의 EtherNet/IP와 MES 싱크는 할 일을 로그하는 시뮬레이션 어댑터이며, 카메라는 실제 MVTec AD metal_nut 사진의 녹화 스트림입니다. 드리프트는 실제 양품 사진에 적용된 정직한 이미지 오염입니다. 엔벨로프 검사, 결정론적 게이트, 에스컬레이션 큐, 감사 내보내기는 실제이며 보여지는 그대로 실행되고, 모든 헤드라인 숫자는 MVTec metal_nut 홀드아웃 테스트 스플릿에서 측정되었습니다.

기술 연구

이 데모의 배경 연구 — 아키텍처, 검증 설계, 그리고 엔터프라이즈 청사진.

전체 솔루션

제조 품질 검사용 엣지 AI 솔루션 살펴보기 →

엣지 검사 배포를 복구하거나 강화하고 계신가요?

모델과 액추에이터 사이의 신뢰 계층이 어려운 부분입니다. 우리가 구축합니다.

교대 전환마다 오거부와 씨름하고 있거나, 분당 40스트로크로 결정하는 라인에 EU AI Act의 고위험 의무가 무엇을 의미하는지 고민하고 있다면, 여러분이 이를 어떻게 생각하고 있는지 진심으로 듣고 싶습니다. 이 문제는 업계 전반의 것이며, 그 답 또한 그러할 것입니다.

엔벨로프 평가

✓ 라인이 모델의 검증된 엔벨로프를 떠나는 지점을 매핑
✓ 캡처 신호 위에 분포 외 검출기를 피팅
✓ 여러분 자신의 데이터로 게이트 임계값과 HOLD 정책을 정의
✓ 적합성 파일이 필요로 하는 리니지 기록을 명세

신뢰 계층 구축

✓ 스트로크 윈도우 예산 안의 결정론적 게이트
✓ 라인 위의 엔벨로프 모니터링과 에스컬레이션 큐
✓ 원클릭 내보내기가 있는 부품별 JSONL 감사 리니지
✓ 조언만 하고 결코 작동하지 않는 한정된 Drift Triage 에이전트

WhatsApp으로 연결하기 저희 팀에 이메일 보내기