당신의 청구 AI는 손상을 완벽하게 잡아낸다. 하지만 그 손상이 진짜인지는 전혀 모른다.

같은 은색 세단 사진 두 장을 한 화면에 띄워 놓고 있었다. 왼쪽 것은 주차장 긁힘으로 생긴 진짜 뒤 펜더 찌그러짐이었다. 오른쪽 것은 사고를 겪은 적이 한 번도 없었다—누군가 멀쩡한 사진을 디퓨전 모델에 넣고 손상을 추가해 달라고 요청한 것이었다. 주름, 립 아래의 그림자, 페인트에 빛이 걸리는 방식까지: 모두 생성된 것이었고, 그 무엇도 물리적으로 존재하지 않았다.

나는 우리가 시범 운영하던 손상 평가 모델에 두 장을 모두 돌려보았다. 둘 다 진짜 손상으로 판정되었다. 둘 다 심각도 점수를 받았다. 둘 다 수리 견적을 받았다. 오히려 가짜 쪽이 살짝 더 깔끔한 판독을 받았는데, 생성된 손상이 실제 세계의 지저분함보다 더 정돈되어 있었기 때문이다.

그날 아침 나는 이런 사실을 깨달았다. 보험 청구 AI와 딥페이크 탐지는 완전히 다른 두 가지 문제이며, 시장의 거의 모든 사람이 두 번째 문제까지 다뤄진다고 은연중에 가정한 채 첫 번째 문제만 풀고 있다는 것이다. 그렇지 않다. 손상 평가 모델은 이렇게 묻는다: 이것은 무엇처럼 보이는가? 이 모델은 이렇게 묻지 않는다: 이것은 진짜였는가? 그리고 2026년, 바로 그 간극에서 돈이 빠져나간다.

당신의 손상 평가 AI는 콘텐츠를 평가한다. 사기는 진위 여부에 존재한다. 이 둘은 같은 축이 아니며, 한쪽의 정확도는 다른 쪽에서 당신에게 아무것도 사주지 못한다.

위협 모델은 조용히 바뀌었지만 도구는 그대로였다

대부분의 청구 AI는 일어날 수 있는 최악의 일이 잘못된 숫자—$400만큼 높거나 낮게 나온 견적—였던 시대에 설계되었다. 그것이 위험 영역의 전부였다: 견적의 정확도. 공급업체들은 그것을 놓고 경쟁했고, 구매팀은 그것을 평가했으며, 모두가 그 부분에서 나아졌다.

그러다 입력값이 공격 가능해졌다. 이제 휴대폰만 있으면 누구나 손상되지 않은 자동차 사진을 찍고, 무료로 이용 가능한 모델에게 그럴듯한 조명과 반사까지 갖춘 찌그러진 범퍼를 삽입해 달라고 요청할 수 있다. 이 규모는 이론에 그치지 않는다. 딥페이크 사기 시도는 3년에 걸쳐 2,137% 증가했으며, 이제 탐지된 전체 신원 사기의 6.5%를 금융 및 결제 분야에서 차지한다. 특히 보험 분야에서 미국의 AI 기반 사기 사례는 2022년 2만 건 미만에서 2025년 8만 건 이상으로 늘었다.

내가 본 가장 구체적인 숫자는 영국에서 나왔다. 2025년 4월, 그곳의 자동차 보험사들은 사기꾼들이 디퓨전 모델을 사용해 멀쩡한 사진에 긁힘과 균열을 삽입하여 평균 지급액을 대략 건당 £13,000만큼 부풀리고 있다고 밝혔다. 이것은 사업 포트폴리오의 반올림 오차가 아니다. 이것은 구조적 누수다.

그리고 소비자들도 딱히 저항하고 있지 않다. Verisk의 2026년 3월 사기 연구에 따르면 소비자의 36%가 청구 이미지를 변조하는 것을 고려하겠다고 밝혔으며, Z세대에서는 그 수치가 55%까지 올라간다. 한편 이제 보험사의 98%가 AI 도구와 연관된 조작된 미디어의 급증을 보고하고 있다. 도구의 공급은 무한하고, 도덕적 해이는 이제 주류가 되었으며, 반대편의 평가 모델은 콘텐츠를 진실로 읽고 있다.

나는 초반 한동안 잘못된 것을 만들었다

여기 내가 자랑스럽지 않은 부분이 있다. 우리가 시작했을 때, 나는 제품을 더 나은 손상 평가 모델로 규정했다. 시장 선두 업체들이 기준선이었고, 나는 그것을 넘어서고 싶었다. $185M를 조달하고 10억 달러가 넘는 청구를 처리하는 Tractable은 약 95%의 정확도를 광고한다. CCC Intelligent Solutions는 125개가 넘는 보험사에 걸쳐 견적-지급 파이프라인을 운영하며 매출 10억 달러를 넘어섰다. 명백한 수순은 그보다 살짝 더 정확해져서 그 차이를 파는 것이었다.

나는 그 관점을 중견 보험사의 청구 책임자와의 대화에 가져갔고, 돌아온 반응은 정중하게 표현하자면 우리는 이미 그런 걸 갖고 있어요. 라는 것이었다. 그리고 그것은 올바른 반응이었다. 손상 평가 정확도 1포인트는 진통제가 아니라 비타민이었다. 그 팀을 걱정시킨 것은 자신들의 견적이 96%가 아니라 94% 정확한지 여부가 아니었다. 애초에 그 견적에 들어가는 사진 중 몇 장이 진짜인가였다.

그 대화는 내게 약 한 달치의 확신을 앗아갔다. 우리는 완전히 잘못된 축을 향해 만들어 온 것이었다. 그 이후의 모든 것을 값어치 있게 만든 깨달음은 단순하고 조금 굴욕적이었다: 더 정확한 콘텐츠 모델은 사기 문제를 더 낫게 만드는 게 아니라 더 나쁘게 만든다. 조작된 이미지에 더 자신감 있는 승인 도장을 찍어주기 때문이다. 당신의 모델이 손상을 잘 읽을수록, 가짜에 대한 지급은 더 깔끔해진다.

그래서 우리는 정확도로 경쟁하기를 멈추고 진위성을 위해 만들기 시작했다. 그것은 모든 청구 사진을 점수를 매길 데이터가 아니라 진위를 인증받아야 할 증거—로, 즉 측정되고 보존되어야 할 것으로 다루는 것을 의미했다.

"그냥 딥페이크 탐지기를 추가하면" 왜 안 되는가?

우리를 포함해 모두가 갖는 첫 번째 본능은 파이프라인 앞단에 딥페이크 탐지기를 붙이는 것이다. PRNU라는 잘 알려진 포렌식 기법이 있는데, photo-response non-uniformity(광반응 비균일성)의 약자다. 모든 카메라 센서는 희미하고 고유한 노이즈 지문을 갖고 있으며, 이미지가 촬영된 것이 아니라 합성된 것이라면 그 지문은 없거나 잘못되어 있다. 실험실에서는 우아한 기법이다.

실제 청구 파이프라인에서는 PRNU만으로는 무너진다. 휴대폰 사진은 당신에게 도달하기도 전에 압축되고, 다시 저장되고, 계약자가 전송에 사용한 메시징 앱을 거치고, 후처리된다. 그 모든 것이 센서 지문을 뭉개고, 게다가 이 기법은 계산 부담도 크다. 단독으로는 현대의 생성 기술과 도저히 경쟁이 되지 않는다. 보험사들은 이것이 어렵다는 것을 알고 있으며, 그렇기 때문에 보험사의 32%만이 딥페이크를 탐지하는 데 매우 자신 있다고 말하고, 76%는 자신들이 접하는 조작된 제출물이 점점 더 정교해지고 있다고 보고한다.

탐지 문제는 "우리에게 딥페이크 모델이 있는가"가 아니다. 문제는 탐지가 평가와는 별도의 제품에 자리하고 있어, 진위 확인과 손상 확인이 실제로는 서로 대화하지 않는다는 것이다.

이것이 내가 어떤 보험사에게든 짚어줄 구조적 간극이며, 우리가 전체 청구-증거 파이프라인을 위한 포렌식 컴퓨터 비전을 독립형 탐지기가 아니라 구축한 이유다. Verisk는 훌륭한 사기 연구를 발표하고 강력한 분석을 운영하지만, 그 탐지는 사후적이다—제출 이후에, 손상 도구와 분리되어 작동한다. VAARHAFT는 메타데이터 분석과 손해사정사용 히트맵을 갖춘 목적 특화 이미지 사기 점수 산출을 하지만, 손상 평가는 전혀 하지 않아서 모델을 공유하지 않는 두 공급업체를 운영하게 된다. Tractable과 CCC는 평가를 아름답게 해내지만 딥페이크 탐지는 전혀 제공하지 않는다. 보험사는 결국 여러 공급업체에 걸쳐 진위성과 평가를 꿰매 붙이게 되고, 그 둘 사이의 이음매가 바로 조작된 이미지가 살아남는 지점이다.

정직한 답은 하나의 탐지기가 아니다. 그것은 앙상블이다—센서 수준의 포렌식, 여기에 손상이 물리적으로 일관되는지를 추론하는 세그멘테이션(깊이 추정 패스가 조명으로는 설명할 수 없는 기하 구조를 가진 찌그러짐을 표시하는 종류의 확인인데, 이것이 바로 깔끔한 디퓨전 가짜가 스스로 정체를 드러내는 지점이다), 여기에 실제 관리 연속성(chain of custody)까지—이 모든 것이 견적을 산출하는 동일한 시스템 안에 있다.

내가 예상하지 못한 위협은 바로 우리였다

한동안 나는 전체 문제가 외부에 있다고 생각했다—바깥의 사기꾼들, 안쪽의 우리 파이프라인, 그 사이의 벽. 그러다 우리는 우리 자신이 손상을 가하고 있는 것을 발견했다.

한 계약자가 모바일 앱을 통해 찌그러진 뒤 펜더 사진을 업로드했다. 많은 파이프라인이 그러하듯, 우리 이미지 파이프라인은 평가 전에 휴대폰 카메라 노이즈를 정리하려고 "개선" 패스를 실행했다. 이미지를 더 좋아 보이게 만들도록 훈련된 업스케일러는 그 찌그러짐을 노이즈로 해석하고 일부를 매끄럽게 지워버렸다. 손해사정사는 계약자가 실제로 촬영한 것보다 더 깨끗하고 덜 손상된 자동차를 보았다. 우리는 공격당한 것이 아니었다. 우리 스스로 조용히 증거를 변조한 것이었다.

바로 그때 법적 차원이 내게 와닿았고, 그것이 이제 내가 모든 보험사와의 대화를 이끄는 전문성이다. 미국 법에 따르면, 법적 절차와 관련된 증거를 변조하는 것은 증거 훼손(spoliation)이며, 의도가 당신을 구해주지 않는다. 기준은 "사진을 개선하면서 선의였는가"가 아니다. 기준은 합성 픽셀—카메라 센서가 결코 촬영하지 않은 픽셀—이 누군가 원본을 보존하기 전에 유입되었는지 여부다. 거부된 청구가 소송으로 가고 당신의 워크플로가 원본을 AI로 수정된 버전으로 덮어썼다면, 당신은 불리한 추정 지시(adverse-inference instructions), 제재, 또는 약식 판결에 직면하게 된다.

생성형 AI가 청구 이미지에 손을 대는—업스케일링, 노이즈 제거, "개선"—어떤 파이프라인이든 이 위험을 안고 있으며, 대부분의 보험사는 이에 대해 한 번도 감사한 적이 없다. 우리 시스템에서의 해결책은 우리가 깨지 않는 규칙이 되었다: 원본, 즉 센서로 촬영된 이미지는 보존되고, 해시 처리되며, 절대 덮어쓰이지 않는다. 모든 변환은 기록된 출처 이력(provenance trail)을 가진 사본에서 이루어진다. 개선은 여전히 이루어질 수 있다. 다만 법원이 요구할 유일한 사본에 대해서는 이루어질 수 없을 뿐이다.

규제 당국은 "공급업체의 블랙박스가 한 일입니다"를 더 이상 받아들이지 않는다

두 가지 위협—들어오는 합성 사기, 내부에서 벌어지는 증거 훼손—은 빠르게 이빨을 갖추게 된 규제 준수 환경과 충돌한다.

현재 24개 주가 채택한 NAIC 모델 회람(Model Bulletin)은 문서화된 AI 거버넌스, 설명 가능한 청구 결정, 그리고 지속적인 모델 모니터링을 요구한다. 콜로라도의 AI법은 2026년 6월 30일에 발효되며, 위반은 불공정하거나 기만적인 거래 관행으로 취급된다. EU AI법은 보험 AI를 고위험으로 분류하고 2026년 8월 시행 기한과 최대 €3,500만 또는 글로벌 매출의 7%에 이르는 벌금을 규정한다. 그리고 NAIC는 올해 제3자 공급업체 감독에 관한 모델법을 도입할 것으로 예상된다.

마지막 것이 바로 조용한 지진이다. 보험사는 제3자 AI의 결과에 대해 책임을 진다—"우리 SaaS 공급업체의 모델이 결정한 것입니다"는 규제 당국이나 법원이 받아들이는 항변이 아니다. 블랙박스 점수를 사용해 청구를 거부하는 보험사는 규제 당국이 이제 요구하는 설명을 내놓을 수 없다. 파이프라인이 증거를 변조한 보험사는 법원이 요구하는 원본을 내놓을 수 없다. 이 둘은 두 가지 의상을 입은 동일한 실패다: 당신은 통제하지 못하고, 설명하지 못하며, 보존하지 않았다.

이것이 또한 대형 시스템 통합업체가 전체를 운영하는 방식에 내가 회의적인 이유다. 대형 업체들은 Guidewire 및 Duck Creek 통합과 위험 프레임워크 작성에 정말로 뛰어나다. 하지만 그들은 플랫폼 공급업체를 추천하고 통합할 뿐, 맞춤형 포렌식 컴퓨터 비전을 구축하지는 않는다. 그들의 AI 작업은 LLM 중심적이다—코파일럿과 에이전트 기반 분류—이고, 프로젝트 하나에 $500K에서 $5M가 들며 어떤 모델이 실제 청구에 손대기까지 6개월에서 18개월의 준비 기간이 필요하다. 1년과 7자리 숫자의 예산을 쓰고도 여전히 콜로라도에 설명할 수 없는 블랙박스를 들고 있을 수 있다.

"하지만 이것이 자동 완결 처리(Straight-Through Processing)를 느리게 하지 않나요?"

이것이 내가 가장 많이 받는 반론이고, 타당한 반론이다. 업계 전체가 자동 완결 처리를 향해 나아가고 있다—선도적인 자동차 보험사들은 기본 개인 자동차 청구에서 70–90%의 STP를 목표로 하고 있으며, IDC는 올해까지 자동차와 주택 소유자 보험 전반에 걸쳐 65%의 STP 비율을 전망한다. 손해사정사는 비싸다; AI의 요점은 일상적인 청구에서 사람을 배제하는 것이다.

사람들은 포렌식 인증이 STP를 다시 끌어내리는 마찰이라고 가정한다. 그 반대다. 자동 완결 프로그램을 가장 빠르게 죽이는 방법은 하나의 공개적으로 알려진 사기 조직 또는 하나의 증거 훼손 제재다—그 후에는 모든 청구가 "만약을 위해" 사람의 재검토를 받게 되고, 당신의 자동화율은 곤두박질친다. 인증이야말로 게이트를 계속 열어둘 수 있게 해주는 것이다. 시스템이 이미지가 진짜이고, 변조되지 않았으며, 출처가 기록되었음을 증명할 수 있을 때, 바로 그것이 당신이 안전하게 자동 승인할 수 있는 청구다. 당신은 검문소를 추가하는 것이 아니다; 당신은 하나를 건너뛸 권리를 얻는 것이다.

진짜임을 증명할 수 있는 청구는 사람이 한 번도 손대지 않고도 안전하게 지급할 수 있는 청구다.

그리고 경제적 효과는 미묘하지 않다. 자동차 사기는 이미 모든 계약자의 보험료에 연간 약 $900를 더하고 있으며, 제대로 구현된 컴퓨터 비전은 청구 처리 비용을 연간 $120억 절감할 것으로 전망된다. 들어오는 이미지가 조작되고 나가는 원본이 변조된다면 그 어느 것도 실현되지 않는다.

청구 책임자는 실제로 무엇을 테스트해야 하는가?

한 청구 담당 부사장이 언젠가 자신의 공급업체 평가표를 내게 설명해 주었다—정확도, 통합, 배포, 가격의 깔끔한 점수표였다. "딥페이크 탐지" 열은 최종 후보에 오른 모든 공급업체에서 비어 있었다. 낮은 점수가 아니라. 비어 있었다. 아무도 그것을 구축하지 않았기에 아무도 그것으로 평가받지 않았고, 그래서 그것은 평가에서 완전히 빠져버렸다. 그것이 바로 함정이다: 엄격한 조달 과정을 진행하면서도 실제로 커지고 있는 위협에 대해서는 단 한 번도 테스트하지 않을 수 있다.

그래서 내가 추가할 열은 정확도 점수가 물을 수 없는 것을 묻는다: 이 도구가 이미지가 진짜인지, 단지 무엇을 묘사하는지가 아니라 알려줄 수 있는가? 거기서부터 질문은 성능에 관한 것이 아니라 증명에 관한 것이 된다. 이 도구가 자신의 추론—세그멘테이션 마스크, 포렌식 신호—을 드러낼 것인가, 아니면 그저 믿으라고 숫자 하나를 건넬 것인가? 원본 센서 이미지는 판사 앞에 내놓을 수 있는 출처 이력과 함께 살아남아야 한다. 그리고 그 모든 것의 밑바탕에는 소유권 문제가 있다: 당신은 자체 모델과 데이터를 운영하고 있는가, 아니면 당신의 포트폴리오에 맞게 튜닝할 수도 없고 규제 당국에 설명할 수도 없는, 공유되고 파인튜닝되지 않은 모델을 임대하고 있는가?

향후 2년을 헤쳐 나가는 보험사는 가장 정확한 손상 견적을 가진 곳이 아닐 것이다. 그들은 규제 당국, 손해사정사, 그리고 결국에는 판사 앞에 서서, 자신들이 지급한 그 픽셀이 셔터가 눌렸을 때 진짜였다는 것—그리고 그 이후로 결코 손대지 않았다는 것—을 증명할 수 있는 곳일 것이다. 우리가 바로 그것을 위한 포렌식 컴퓨터 비전을 어떻게 구축했는지 보고 싶다면, 모든 것이 거기에 있다.

나는 그 은색 세단 사진 두 장을 내 바탕화면에 보관하고 있다. 하나는 실제 사고였다. 하나는 결코 일어나지 않았다. 모델은 그 둘을 구분하지 못했고, 업계 대부분에게는 여전히 구분하지 못한다. 알고 보니, 이 모든 일은 애초에 손상을 더 잘 보는 것에 관한 것이 결코 아니었다. 그것은 어느 쪽이 진실인지 증거를 갖고 말할 수 있는가에 관한 것이었다.