자동차 보험 청구용 딥페이크 탐지기를 만들려다, 편집되지 않은 진짜 사진에 졌다.

진짜 사진이 내 탐지기를 그대로 통과해 버린 그 오후

나는 픽셀 포렌식 신호부터 먼저 만들었다. 그게 진짜 엔지니어링처럼 느껴지는 부분이었고, 조용히 자부심을 느꼈기 때문이다. 이 신호는 센서 노이즈와 주파수 영역 아티팩트를 추론하며, 디퓨전 모델이 찌그러진 범퍼를 환각할 때 남기는 흔적을 본다. 데모에서 그 신호는 시뮬레이션으로 표시되어 있다. 아직 학습시키지 않은 생성 아티팩트 모델의 대용이며, 무엇보다 먼저 그걸 분명히 말하고 싶다. 하지만 그 주위를 감싼 로직은 내 것이었고, 작동했다. 디퓨전으로 위조한 범퍼를 넣자 내가 원했던 그대로 불이 켜졌다.

그러고 나서 CLM-C-1044라고 라벨을 붙인 연출 청구—롤리에서의 후방 추돌—를 넣었더니, 사진을 깨끗이 통과시켰다. 일관됨. 아티팩트 없음. 센서 노이즈 존재. 그것이 올바른 답이었고, 바로 그 점이 나를 불안하게 했다. CLM-C는 사기이기 때문이다. 사진은 진짜 카메라 이미지다. 시나리오에서 그 사진은 이미 정산된 이전 청구에서 가져와 새 손해에 다시 제출된 것이었다. 내 최고의 신호가 약했던 게 아니다. 잘못된 질문을 겨냥하고 있었다. 그 질문은 "이 이미지가 가짜인가"였고, 재활용된 진짜 사진에 대한 정직한 답은 아니오다.

재활용된 진짜 사진은 세상의 모든 진위 검사를 통과한다. 진짜이기 때문이다.

그 오후가 내가 결국 만든 것이 탐지기가 전혀 아닌 이유다. 당신은 실행 중인 데모에서 같은 네 건의 청구를 직접 라우팅해 볼 수 있다. 그 안의 모든 청구, 이미지, 보험사, 이력 기록은 합성 데이터라서 실제 계약자나 실제 손해는 없다. 하지만 그것이 극화하는 실패는 지어낸 것이 아니다. 내가 직접 걸어 들어간 실패다.

왜 진짜 사진이 잡기 가장 어려운 사기인가?

나는 첫 설계를 깨뜨린 그 비대칭성으로 자꾸 되돌아온다. 보험 사기 군비 경쟁 전체가 "더 나은 딥페이크 탐지기를 만들어라"로 프레이밍되고, 나는 이제 그 프레이밍이 함정이라고 생각한다. 단일 진위 분류기는 한 번에 두 방향으로 실패한다. 이미지 생성기가 나아지는 순간 낡아 버리고, 구조적으로 맹목하다. 교과서에서 가장 오래된 사기—이전 청구에서 재활용된 진짜 사진—에 대해서 말이다. 그 사진은 진짜이기에 모든 진위 검사를 통과한다.

내 청구가 합성이라도 이 모든 것의 배후에 있는 압력은 실재한다. 보험사의 98%가 조작된 미디어의 급증을 보고하며, 딥페이크 탐지에 "매우 자신 있다"고 느끼는 곳은 32%뿐이다(Verisk, 2026 State of Insurance Fraud). 같은 조사에서 소비자의 36%가 청구 이미지를 변조하겠다고 말한다. 딥페이크 사기 시도는 3년 동안 2,137% 증가했고(Facia.ai), 영국의 한 자동차 보험사는 단 1년 만에 AI로 조작된 차량 이미지가 300% 늘었다고 했다(The Guardian / Milliman). 업계의 반사 반응은 제출 단계에 제3자 탐지기를 붙이는 것이었다. 이제 보험사의 65%가 하나를 돌린다(Verisk, 2026). 그 반사는 뻔한 가짜는 잡고, 재활용된 진짜 사진은 그대로 지급까지 통과시킨다.

화이트보드에 내가 계속 쓰던 문장은, 인증은 보고서가 아니라 게이트여야 한다는 것이었다. 보고서는 돈이 움직인 뒤에 읽힌다. 게이트는 그 전에 돌아간다. 그리고 게이트는 진짜 사진이 정의상 무력화하는 단일 신호에 기댈 수 없다.

에이전트는 조언하고, 코드가 결정한다

나는 규제 당국 앞에서도 주저 없이 옹호할 아키텍처 결정을 초기에 하나 내렸다. 라우팅 결정은 언어 모델의 몫이 아니다. 분석가 네 명과 적대적 Challenger 한 명으로 구성된 포렌식 팀이 청구를 조사하고 타입화된 판정을 낸다. 그다음 결정론적 정책 게이트—에이전트 밖에 앉아 있는 평범한 코드—가 그 판정과 원시 신호를 보험사의 임계값에 맞춰 집계하고, 재현 가능한 라우팅 결정 하나를 내보낸다. AUTO-PROCEED, SIU-REFERRAL, HUMAN-REVIEW, 또는 ABSTAIN. 신뢰 경계는 코드이며, 결코 LLM의 자기 보고가 아니다.

두 추론 역할인 Narrative-Consistency와 적대적 Challenger는 공급업체를 바꿀 수 있는 어댑터를 통해 실행되며, 기본값은 claude-opus-4-8이다. API 키가 없으면 게이트 전체가 결정론적 오프라인 스텁으로 폴백되어도 끝까지 돌아간다. 그 속성이 앉아 곱씹을수록 더 마음에 들었다. 왜냐하면 재현성이야말로 컴플라이언스 담당자가 실제로 필요로 하는 것이기 때문이다. 게이트에 같은 질문을 두 번 하면 같은 방식으로 답하고, 근거를 보여줄 수 있다.

에이전트는 조언한다. 코드가 결정한다. 규제 당국은 규칙을 감사할 수 있다. 아무도 분위기를 감사할 수는 없다.

2026년에 이건 추상적인 선호가 아니다. AI에 관한 NAIC Model Bulletin은 24개 주가 채택했고, 콜로라도 AI법은 2026년 6월 30일에 발효되며, EU AI법의 고위험 기한은 2026년 8월로, 벌금은 최대 €35M 또는 글로벌 매출의 7%에 이른다. 모델을 외주해도 책임은 외주되지 않는다. 보험사가 청구 결정을 자동화한다면 그 결정을 방어할 수 있어야 하며, "모델이 확신했다"는 항변이 될 수 없다.

여기서 "잡았다"는 실제로 무엇을 뜻하는가?

마침내 CLM-C가 잡히는 것을 보았을 때, 정확히 어떤 신호가 일을 했는지 알고 싶었다. 더 이상 내 직감을 믿지 않았기 때문이다. 그래서 결정 분석을 열고 한 줄씩 읽었다. Provenance Analyst는 청구를 통과시켰다. 촬영 GPS가 신고된 손해 위치에서 1.1 km 이내이고, 촬영일이 손해일과 일치했다. 내가 그토록 자랑하던 Pixel-Forensics Analyst도 통과시켰고, 화면에 시뮬레이션이라고 표시되어 있었으며, artifact_score 0.06, 센서 노이즈 존재. "가짜인가" 신호 둘 다 통과시켰고, 그래야 맞다. 사진이 진짜이기 때문이다.

잡은 것은 나머지 둘이었다. Reuse Analyst는 사진의 256비트 지각 해시를 이력 청구 인덱스와 대조해, 몇 달 전에 제출된 정산 완료 이전 청구 HIST-4019를 해밍 거리 0—픽셀 단위로 동일한 쌍둥이—으로 찾아냈다. Narrative-Consistency Analyst는 FNOL 텍스트를 이미지와 대조해 모순을 표시했다. 진술은 측면 스침(사이드 스와이프) 사고을 말하는데 사진은 후방 손상을 보여 준다. 그다음 적대적 Challenger—모든 플래그를 반박하고 청구인을 통과시키려 하도록 내가 특별히 프롬프트한 회의론자—가 두 플래그를 모두 시험했고, 둘 다 살아남았다고 보고했다. 그제야 결정론적 게이트가 청구를 재활용된 증거로 SIU에 라우팅했다.

모두가 곱씹게 만드는 디테일은 이것이다. 잡은 것은 시뮬레이션 픽셀 신호에 전혀 의존하지 않는다. "가짜인가"에 답하도록 만든 에이전트 둘은 이 청구를 모두 통과시켰다. "이 정확한 이미지를 전에 본 적 있는가, 그리고 이야기가 성립하는가"를 물은 둘만이 막았다. 그것이 분류기보다 팀을 써야 한다는 전체 논거이며, CLM-C는 내가 만들 수 있었던 그 논거의 가장 작은 참된 버전이다.

가짜를 잡으려고 만든 신호는 둘 다 통과시켰다. 잡은 쪽은 우리가 이 사진에 대해 이미 한 번 지급한 적이 있는지를 물었다.

내가 앞세우기를 거부하는 숫자

오용하기 아주 쉬운 벤치마크 결과가 있고, 누군가 범위를 벗겨 내게 인용하기 전에 내가 먼저 해체하고 싶다. 라벨링된 120건 합성 세트(정상 47, 디퓨전 가짜 25, 재활용 진짜 20, 모호 13, 메타데이터 스푸핑 15)에서 게이트는 모든 청구를 올바르게 라우팅하고 깨끗이 마무리한다. 정상 청구 100% 자동 통과, 오탐 고발 0%, 검증 가능한 감사 기록을 담은 결정 100%, 라벨 대비 재현율 1.0. 그 숫자들은 실재하며, 동시에 설계상 탐지 가능한 서명을 지닌 사기 등급으로 구성된 구축 세트의 속성이기도 하다. 오픈월드 보장은 아니며, 나는 매번 그렇게 말한다.

내가 실제로 앞세우는 숫자는 커버리지 간극이다. 그 세트에서 진위 아티팩트가 없는 사기 35건—재활용 진짜 20건과 메타데이터 스푸핑 15건—중 단일 신호 진위 기준선은 35건 중 0건을 잡는다. 교차 신호 게이트는 35건 중 35건을 잡는다. 그 간극이 정직한 헤드라인이며, 구축 세트가 쉽게 만들어 주는 것을 치장하는 게 아니라 기존 접근이 하지 못하는 것을 측정하기 때문이다.

인상적인 숫자와 오래가는 숫자의 차이를 나는 안다. 오래가는 주장은 백분율의 크기가 아니라 간극의 형태다.

증거 훼손(spoliation)은 이제 화면의 빨간 행이다

관리 연속성(chain of custody) 조각이 구매자가 기우는 부분이 될 줄은 몰랐지만 그렇게 됐고, 일부러 실패시키는 것을 보고 나서야 이유를 이해했다. 모든 결정은 원본 이미지의 SHA-256을 추가 전용, 해시 체인 원장에 묶는다. verify-chain 단계는 모든 링크를 재계산하고, 디스크에 남아 있는 각 원본을 다시 해시한다. GenAI "개선"이나 업스케일이 원본 청구 이미지를 덮어쓰면, 보험사는 이어질 어떤 소송에서든 갑자기 증거 훼손—증거의 파괴—에 노출된다.

"선택한 원본 변조"를 클릭하고 검증을 돌리자 한 행이 빨개졌다. 변조됨, 증거 훼손 감지. 그것이 전체 가치를 문자 그대로 만든 것이다. 관리 연속성은 컴플라이언스 덱의 문구이기를 멈추고, 자동 파이프라인이 강제하고 변호사가 읽을 수 있는 화면상의 상태가 된다. 정상 운영에서는 원본이 절대 변이되지 않고 사이드카 아티팩트만 생기므로, 누군가 실제로 편집하는 날이면 기록은 이미 알고 있다.

내가 아직 모르는 것

이 게이트가 완성되었다고 생각하지 않으며, 가장 확신하지 못하는 능력이 동시에 가장 자랑하는 것이기도 하다. 기권(abstain) 경로다. 청구가 진정으로 모호할 때—저해상도, 부분 메타데이터, 어느 쪽으로도 결정적이지 않을 때—데모의 CLM-D-1045는 ABSTAIN으로 라우팅된 뒤 HUMAN-REVIEW로 가며, 판정을 강요하지 않는다. 통과나 고발을 허풍으로 내지 않고 기권하며, 적대적 Challenger가 존재하는 까닭은 정당한 청구인이 얇은 신호만으로 SIU에 던져지지 않게 하기 위해서다. 합성 세트에서 그 규율이 오탐 고발을 0%로 유지한다. 실세계에서 기권 임계값이 어디에 있어야 하는지는 아직 모르며, 안다고 가장하는 것 자체가 일종의 사기일 것이다.

일부러 스텁으로 남겨 둔 것이 많다. Guidewire ClaimCenter와 Duck Creek 커넥터, 모바일 가이드 촬영 SDK, 실제 C2PA 검증기, 실제 PRNU 카메라 지문 데이터베이스는 모두 미뤄 두었다. 보험사 자체의 Tractable 또는 CCC 심각도 점수는 여기서 계산하지 않고 입력 필드로 받는데, 이 게이트가 손상 평가 전에 돌아가며 그 시스템들이 이어서 평가할 것을 인증하기 때문이다. 그것들을 대체하지 않으며, 그렇다고 주장하지도 않겠다.

연출된 네 건의 청구는 모두 데모에 있다. 파이프라인을 직접 돌려 영수증을 읽고 싶다면 말이다. 다만 내가 남기고 싶은 것은 데모가 아니다. 롤리의 그 오후, 내 최고의 탐지기가 방금 승인한 진짜 사진을 바라보며 내 사고를 재편한 그 질문이다.

내가 설명하는 글을 읽기보다 보고 싶다면, 여기 게이트 전체가 처음부터 끝까지 돌아가는 모습이 있다.

그래서 청구와 SIU 리더들에게 내가 계속 던지는 질문은 이것이다. 당신이 마주한 가장 비싼 이미지 사기가 이미 한 번 지급한 진짜 사진이라면, 당신의 탐지기는 대체 무엇을 탐지하고 있는가?