보험 청구 평가를 AI에 맡겨도 될까요?

문제

어느 대형 보험사가 심하게 찌그러진 뒷범퍼 사진을 AI에게 "보정"해 달라고 요청했습니다. AI는 손상을 완전히 지워버리고 흠집 하나 없는 허구의 무손상 차량 이미지를 돌려보냈습니다. 이것이 악명 높은 "프리스틴 범퍼(Pristine Bumper)" 사건입니다. 이 보험사는 Stable Diffusion과 DALL-E의 기반이 된 것과 같은 유형의 기술로 만들어진 생성형 AI 도구를 모바일 청구 앱에 내장해 두었던 것입니다. 피보험자가 충돌 후 사진을 업로드하자 AI는 찌그러진 금속 부분을 시각적 노이즈로 해석했습니다. 그리고 움푹 파인 자국을 디지털 방식으로 말끔히 지운 뒤, 완벽한 펜더의 매끈한 선으로 대체했습니다.

자동화 청구 엔진은 이후 해당 청구를 기각했습니다. 그 이유: 육안으로 보이는 손상 제로. 진입로에 폐차처럼 망가진 차량을 세워두고 있던 피보험자는 고의적 불성실(bad faith)을 이유로 소송을 제기했습니다. 보험사는 물리적 현실과 정면으로 배치되는 디지털 조작 기록을 쥔 채 남겨졌습니다.

이것은 버그가 아니었습니다. AI는 설계된 대로 정확히 작동했을 뿐입니다. 이런 모델은 수십억 장의 이미지로부터 '자동차'는 매끈하고 좌우 대칭인 물체라는 것을 학습합니다. 움푹 파인 자국은 보존해야 할 증거가 아니라 수정해야 할 오류로 보입니다. 여러분의 청구 워크플로가 이미지 처리를 위해 생성형 AI를 사용하고 있다면, 동일한 실패 모드가 지금 이 순간에도 여러분의 시스템 안에 존재합니다. 문제는 그것이 이미 작동했는지, 그리고 작동했다면 여러분이 알아차릴 수 있었는지입니다.

비즈니스에 중요한 이유

여기서의 재무·법적 노출은 가설이 아닙니다. 구조적인 문제입니다. 생성형 AI 도구가 청구 사진을 변경하는 순간마다, 여러분의 조직은 법 제도가 **증거 훼손(spoliation of evidence)**이라 부르는 것, 즉 법적 절차와 관련된 기록의 변경 또는 파괴 위험에 처합니다. 법원은 제재를 가하거나, 배심원단에게 불리한 추론 지시를 내리거나, 증거를 훼손한 당사자에 대해 요약 판결(summary judgment)을 인용할 수 있습니다.

이것이 여러분의 대차대조표와 이사회 회의실에 의미하는 바는 다음과 같습니다:

• 소송 배수 효과. 백서는 보험 업계의 AI 기반 증거 실패와 연결된 72억 달러 규모의 소송 리스크를 지목합니다. 단 한 장의 조작된 사진에서 비롯된 고의적 불성실 소송 한 건만으로도 수백만 달러의 비용이 들 수 있습니다. 이를 하루 수천 건의 청구에 걸쳐 확대해 보면 노출 규모가 짐작될 것입니다.
• 위임할 수 없는 규제 책임. 보험사의 AI 사용에 관한 NAIC 모델 공고(NAIC Model Bulletin)는 이제 보험사들이 서면화된 AI 거버넌스 프로그램을 유지하도록 의무화합니다. 결정적으로, 책임은 AI 벤더에게 외주를 줄 수 없습니다. 서드파티 도구가 환각을 일으키거나 차별한다면 책임지는 것은 보험사입니다. 이미 여러 주가 이 지침을 채택했습니다.
• EU AI법 등급 분류. 글로벌 사업을 영위하는 보험사의 경우, EU AI법은 개인이 관련된 보험 리스크 평가에 사용되는 AI를 **고위험(High Risk)**으로 분류합니다. 이는 데이터 거버넌스, 자동 이벤트 로깅, 인간 감독에 대한 엄격한 요건을 촉발합니다.
• 사기 취약성. 실제 손상을 지워버리는 바로 그 생성형 AI가 사기범들의 가짜 손상 제작도 가능하게 합니다. 범죄자들은 이제 텍스트-이미지 변환 도구를 사용해 멀쩡한 차량 사진에 부서진 범퍼나 화재 피해를 덧씌웁니다. 사람 검토자는 고품질 딥페이크 탐지에서 무작위 확률 이상의 성능을 내지 못합니다. 현재 여러분의 방어 체계는 아마도 불충분합니다.

"프리스틴 범퍼" 사건은 어느 보험사에게 신뢰도와 소송이라는 대가를 치르게 했습니다. 생성형 도구가 증거 체인에 손대는 순간마다 여러분의 노출도 동일합니다.

후드 아래서 실제로 일어나는 일

이런 일이 반복되는 이유를 이해하려면 핵심적인 차이 하나를 알아야 합니다. AI에는 근본적으로 다른 두 종류가 있습니다. **생성형(generative)**과 **판별형(discriminative)**입니다. 생성형 AI는 새로운 콘텐츠를 만듭니다. 판별형 AI는 이미 존재하는 것을 분석합니다. 보험 업계에 필요한 것은 분석인데, 계속해서 생성 도구를 사들이고 있습니다.

이렇게 생각해 보십시오. 생성형 AI는 자동차가 있어야 할 모습을 그리는 초상화 화가와 같습니다. 판별형 AI는 자동차가 실제로 어떻게 생겼는지 측정하는 법의학 감정관과 같습니다. 여러분은 초상화 화가에게 전문가 증인 역할을 맡기지 않을 것입니다. 그러나 생성형 이미지 처리를 청구 파이프라인에 내장하는 순간, 본질적으로 그와 같은 일이 벌어집니다.

기술적 실패 모드의 이름은 **인페인팅(inpainting)**입니다. 생성형 모델은 통계적 패턴을 학습하는 방식으로 작동합니다. 학습 데이터에서 자동차는 압도적으로 매끈하고 끊김 없는 표면을 지닌 채 등장합니다. 모델이 움푹 파인 자국, 즉 기대 패턴에서 벗어난 고주파 교란을 보면 그것을 노이즈로 취급합니다. 모델의 수학적 목표는 '정상적인 자동차 이미지'처럼 보이는 출력을 만들어내는 것입니다. 그래서 움푹 파인 픽셀을 매끈한 픽셀로 채웁니다. 손상을 치유해 버립니다.

이 과정은 확산(diffusion) 수학 위에서 작동합니다. 모델이 노이즈의 도입을 역방향으로 되돌려 '깨끗한' 신호를 복원하는 방식입니다. 이런 모델들에게 움푹 파인 자국은 노이즈처럼 보입니다. 그래서 지워버립니다. 미술 복원에서는 그것이 장점입니다. 보험 청구에서는 자동화된 증거 파괴입니다. 모델은 충돌의 지저분하고 값비싼 현실을 그럴듯하고 값싼 허구로 대체합니다.

서드파티 API 래퍼에 의존하면 문제는 더욱 복합적으로 커집니다. 대부분의 인슈어테크(InsurTech) 도구는 자체 AI를 만들지 않습니다. 이들은 여러분의 데이터를 면책, 충돌 물리학, 법의학 표준에 대한 이해가 전혀 없는 범용 모델로 보냅니다. 모델 제공자가 더 "미적으로" 아름다워지도록 가중치를 업데이트하면, 여러분의 손상 평가 도구가 움푹 파인 자국을 더 공격적으로 지우기 시작할 수 있습니다. 그리고 여러분은 그 변경에 대한 통제권이 전혀 없습니다.

효과가 있는 것(그리고 없는 것)

실무에서 실패하는 것부터 살펴보겠습니다.

범용 생성형 AI 래퍼: 이런 도구들은 손상을 시각적 노이즈로 취급해 제거합니다. 픽셀을 변경하기 때문에 증거 훼손 위험이 생깁니다. 이미지가 만들어진 물리적 과정이 아니라 콘텐츠만 평가하기 때문에 딥페이크 사기에 취약합니다. 이런 도구들이 법의학 작업에 부적합하다는 맥락에서 99% 실패율이 언급됩니다.

단순 이미지 분류기: 표준 분류 모델(예: ResNet)은 이진 답변, 즉 "손상됨" 또는 "손상 없음"만 줍니다. 손상이 어디에 있는지, 움푹 파인 깊이가 얼마나 되는지, 사진이 딥페이크인지는 알려주지 못합니다. 그 수준의 모호함은 법정 공방을 견디지 못합니다.

규모화된 순수 인력 검토: 인간은 AI 생성 가짜 탐지에 서툽니다. 주관적 변동성도 유입됩니다. 같은 움푹 파인 자국을 보고도 두 명의 손해사정인이 서로 다른 중등도 점수를 매길 수 있습니다. 주관성은 감사할 수 없습니다.

효과가 있는 것이 있습니다. 변경 없이 분석하는 결정론적 법의학적 접근법입니다:

1. 입력 — 증거 잠금. 원본 사진은 도착하는 순간 SHA-256 암호화로 해싱됩니다. AI는 이미지를 읽기만 할 뿐 절대 쓰지 않습니다. 메타데이터, 즉 타임스탬프와 GPS 좌표는 파일에 잠깁니다. 이것이 법정에서 통과되는 증거 관리 체인(chain of custody)을 만듭니다.

2. 처리 — 3계층 분석. 첫째, 시맨틱 세그멘테이션, 즉 AI가 모든 픽셀 하나하나를 분류하는 기법이 손상 경계를 식별하고 매핑합니다. 스크래치 길이가 14센티미터이고 움푹 파인 부분이 표면적 45제곱센티미터를 덮는다고 알려줄 수 있습니다. 둘째, 단안 깊이 추정(monocular depth estimation), 즉 2D 사진에서 3D 기하학을 계산하는 기술이 움푹 파인 깊이와 부피를 측정합니다. 가파른 깊이 기울기는 부품 교체가 필요한 날카로운 주름을 가리킵니다. 완만한 기울기는 무도색 판금 수리로 충분할 수 있음을 의미합니다. 셋째, 정반사 분석(specular reflection analysis), 즉 빛이 차량 표면에서 어떻게 반사되는지를 연구하는 기법이 표준 AI가 완전히 놓치는 우박 자국이나 과거 수리 흔적 같은 눈에 보이지 않는 손상을 탐지합니다.

3. 출력 — 구조화된 감사 가능 보고서. 시스템은 구성된 비즈니스 규칙에 따라 손상 부품 목록, 중등도 점수, 수리 vs 교체 권고를 담은 JSON 보고서를 생성합니다. 모든 분석 결과는 원본 이미지 해시와 연결된 별도의 사이드카 파일로 저장됩니다. 원본 증거는 아무것도 변경되지 않습니다.

컴플라이언스 팀이 들어야 할 바로 그 이야기입니다. 분석 오버레이는 켜고 끌 수 있습니다. 손해사정인이 최종 결정 권한을 가진 휴먼 인 더 루프(human in the loop)로 남습니다. EU AI법 하에서 핵심적인 세이프 하버(safe harbor)입니다. 모든 처리 단계는 로깅됩니다. 픽셀 측정치 수준까지 내려가 청구가 승인되거나 기각된 정확한 이유를 설명할 수 있습니다. 규제 검증을 통과하는 시스템과 다음 소송을 만들어내는 시스템의 차이가 바로 여기에 있습니다.

현재 AI 벤더가 "청구용 AI"를 사용한다고 말할 때, 어떤 종류인지 물으십시오. 답변에 생성, 보정 또는 증거에 새 픽셀을 기록하는 어떤 프로세스든 포함되어 있다면, 여러분은 가격에 반영하지 않았을 리스크를 떠안고 있는 것입니다.