AI가 파손된 차를 '수리'하고 보험금 지급을 거절했다. 그 순간, 나는 이 업계에 문제가 있음을 깨달았다.

나는 같은 자동차를 찍은 두 장의 사진을 뚫어지게 바라보았다.

첫 번째 사진은 추돌 사고를 당한 뒤 보험 가입자가 찍은 것이었다. 찌그러진 금속, 맨 강판이 드러날 만큼 벗겨진 도장, 마치 과속 방지턱으로 쓰인 것처럼 보이는 범퍼. 두 번째 사진은 — 같은 차량이라는데, 보험사의 번쩍번쩍한 새 AI 도구로 처리된 것이었다 — 흠 하나 없는 뒷부분을 보여 주었다. 매끄러운 라인, 완벽한 도장, 긁힌 자국 하나 없이. 자동화된 클레임 엔진은 그 두 번째 이미지를 보고 예상 그대로의 일을 했다. 클레임을 거절한 것이다. 눈에 보이는 손상 제로.

누가 봐도 범퍼가 박살 난 차 옆, 자기 집 진입로에 서 있던 그 보험 가입자는 신의성실 위반으로 소송을 제기했다. 그리고 보험사는 물리적 현실과 모순되는, 디지털로 조작된 증거 한 조각을 손에 쥔 채 남겨졌다.

이것이 바로 '깨끗한 범퍼(Pristine Bumper)' 사건이며, 나는 그 상세 내용을 처음 읽었을 때 공포와 정당함이 뒤섞인 감정을 느꼈다. 공포는 AI가 사실상 증거 훼손(evidence spoliation)을 저질렀기 때문이다 — 실존하는 사람에게 해를 끼치는 방식으로 법적 기록을 변조한 것이다. 정당함은 이것이 나와 우리 팀이 수개월 동안 경고해 온 바로 그 실패 양상이었고, 우리가 VeriPrajna를 지금의 방식으로 만든 이유였기 때문이다.

보험 산업은 AI 문제를 안고 있는 것이 아니다. 그들이 안고 있는 것은 진실 문제다. 그리고 대다수 보험사가 앞다투어 도입하고 있는 도구들은 그 문제를 더 악화시키고 있다.

찌그러짐이 사라진 밤

그 범퍼 사건에서 실제로 무슨 일이 벌어졌는지 설명하겠다. 기술적 메커니즘이 중요하기 때문이다.

그 보험사는 생성형 AI 도구를 자사 모바일 클레임 앱에 통합해 두고 있었다. 표방한 목표는 충분히 순수해 보였다. 손해사정사가 손상을 더 명확히 볼 수 있도록 고객이 업로드한 사진의 품질을 '개선'한다는 것이었다. 더 나은 조명, 더 선명한 디테일, 그런 종류의 것 말이다.

하지만 생성형 이미지 모델이 실제로 하는 일은 이렇다. 이들은 수십억 장의 이미지로 학습되어 사물이 마땅히 어떤 모습이어야 하는지를 학습한다. 모델의 수학적 우주, 즉 잠재 공간(latent space)에서 '자동차'는 압도적으로 매끄럽고 대칭적이며 표면이 끊기지 않은 물체로 표상된다. 인터넷에 있는 사진 대다수에서 자동차가 그렇게 생겼기 때문이다.

그래서 이 모델은 찌그러짐을 마주쳤을 때 손상을 본 것이 아니었다. 노이즈를 본 것이다. 통계적 이상치. '자동차'라는 예상 패턴에서의 이탈. 그리고 모델은 설계된 대로 행동했다. 노이즈를 제거한 것이다. 이 모델은 인페인팅(inpainting)이라는 과정을 사용해 찌그러진 금속을 픽셀 하나하나 디지털로 다듬어 완벽한 펜더로 되돌려 놓았다.

찌그러짐은 확산 모델(diffusion model)에게 노이즈처럼 보인다. 모델은 그것을 제거한다. 예술에서는 그것이 장점이다. 보험에서는 그것이 자동화된 증거 훼손이다.

이것은 버그가 아니었다. 모델은 설계된 그대로 작동했다. 바로 그 점이 나를 밤잠 못 이루게 한다.

생성형 AI는 왜 이것을 계속 틀리는가?

초기에 — 아마도 VeriPrajna를 만들기 시작한 지 여섯 달쯤 됐을 때 — 어느 잠재 투자자와 나눴던 대화가 기억난다. 그는 막 다른 인슈어테크 스타트업의 데모를 보고 온 참이었는데, GPT-4 Vision을 사용해 사진으로 차량 손상을 분류하는 곳이었다. "그냥 GPT를 감싸서 쓰면 되지 않나요?" 그가 물었다. "더 빠르잖아요. 더 저렴하고요. 데모도 훌륭해 보였어요."

나는 노트북에 두 장의 이미지를 띄웠다. 하나는 검은색 세단의 우박 손상을 찍은 실제 사진이었다 — 훈련되지 않은 눈에는 보이지 않는 작은 홈들이지만, 보닛에 비친 반사를 분명하게 일그러뜨리고 있었다. 다른 하나는 내가 소비자용 이미지 도구로 약 4분 만에 만들어 낸 딥페이크였다. 앞유리에 디지털로 그려 넣은 균열이 가로지르는, 흠 하나 없는 자동차였다.

나는 그에게 물었다. "어느 쪽이 진짜 손상일까요?"

그는 딥페이크를 가리켰다.

바로 그것이 문제다. 생성형 AI 모델 — 지금 대다수 'AI 클레임' 스타트업을 떠받치고 있는 그 모델들 — 은 의미론적 개연성에 기반해 작동하지, 포렌식적 현실에 기반하지 않는다. 이들은 사물이 어떻게 보이는지를 이해하도록 학습되었을 뿐, 사물이 무엇인지를 이해하도록 학습되지는 않았다. 자동차 이미지를 사진처럼 사실적으로 생성하는 데 뛰어난 모델은, 바로 그 동일한 메커니즘 때문에, 사진 속 손상이 진짜인지, 합성된 것인지, 아니면 디지털로 지워진 것인지 판별하는 데에는 형편없다.

그렇다면 이 모델들 위에 무언가를 쌓아 올리는 회사들은? 그들 대부분은 업계에서 이른바 래퍼(wrapper)라고 부르는 것들이다 — 남의 API 위에 씌운 얇은 인터페이스 계층 말이다. 그들은 모델을 소유하지 않는다. 학습 데이터를 통제하지 못한다. 어떤 결정이 왜 내려졌는지 설명하지 못한다. 만약 OpenAI가 내일 자사 모델 가중치를 더 '미적으로 보기 좋게' 업데이트한다면, 어느 래퍼의 손상 평가 도구가 더 열성적으로 자동차를 수리하기 시작할 수도 있고, 그 인슈어테크 회사는 그런 일이 벌어졌다는 사실조차 알지 못할 것이다.

그러는 동안 보험사는 책임의 100%를 고스란히 떠안는다.

나는 이 종속성 문제를 우리 연구의 인터랙티브 버전에서 더 깊이 다뤘지만, 요점은 이렇다. 당신의 클레임에 관한 결정을 내리는 두뇌를 소유하지 않는다면, 당신은 자신의 리스크를 통제하지 못한다.

사기꾼들이 같은 도구를 손에 넣으면 어떤 일이 벌어질까?

여기서 상황을 한층 더 나쁘게 만드는 반전이 있다.

보험사들이 실수로 AI를 사용해 삭제하는 동안, 사기꾼들은 같은 기술을 사용해 손상을 조작해 낸다. 보험 사기의 진입 장벽은 사실상 붕괴되어 버렸다.

이제 누구나 완벽하게 멀쩡한 차량을 촬영하고, 소비자용 이미지 생성 도구를 열어, '앞 범퍼가 박살 난 모습 추가' 또는 '화재 손상 시뮬레이션'이라고 프롬프트를 넣을 수 있다. 최신 인페인팅은 조명, 그림자, 반사를 소름 끼칠 만큼 사실적으로 처리한다. 표준 AI 이미지 분류기 — 대다수 보험사가 쓰는 종류 — 는 그 딥페이크를 보고 확인해 줄 것이다. 그렇다, 이것은 박살 난 차라고. 그것이 실패하는 이유는 이미지가 어떻게 생성되었는지의 구조적 지문이 아니라 콘텐츠를 평가하기 때문이다.

상황은 더 어두워진다. 범죄 조직들은 생성형 AI를 사용해 합성 신원(synthetic identities)을 만들어 낸다 — 존재하지 않는 사람들의 초사실적인 얼굴, 위조 운전면허증, 날조된 의료 기록. 이 디지털 유령들은 보험에 가입하고, 몇 달 동안 보험료를 내며 정당성을 쌓은 뒤, 파국적인 클레임을 제기한다. 생명보험에서는 AI가 생성한 부고와 검시 보고서. 건강보험에서는 일어난 적 없는 골절을 보여 주는 X선 사진.

그리고 전통적인 방어책들은 무너지고 있다. AI가 생성한 이미지는 메타데이터가 지워졌거나 합성된 경우가 많다. 사람 검토자는 어떤가? 연구에 따르면 이들은 고품질 딥페이크를 탐지할 때 동전 던지기보다 겨우 조금 나은 수준의 성과를 낸다.

보험사가 사진을 '개선'하게 해 주는 바로 그 기술이 사기꾼으로 하여금 사진을 날조하게 해 준다. 그리고 시장에 나와 있는 대부분의 AI 도구는 그 차이를 구별하지 못한다.

이것이 바로 인슈어테크 업계의 누구도 정직하게 이야기하고 싶어 하지 않는 군비 경쟁이다.

붓이 아니라 돋보기

VeriPrajna의 밑바탕이 되는 철학이 내 안에서 또렷하게 굳어진 특정한 순간이 있었다. 나와 우리 팀은 우리의 기술적 접근 방식을 두고 언쟁을 벌이고 있었다 — 목소리를 높여 가며 진심으로 다투고 있었다.

우리 엔지니어 중 한 명은 손상 분류를 위해 대형 비전-언어 모델을 파인튜닝하고 싶어 했다. 그렇게 하면 만들기가 더 빨랐을 것이고, 데모하기도 더 쉬웠을 것이며, 솔직히 투자자들에게 더 인상적으로 보였을 것이다. "시장은 생성형을 원해요," 그가 말했다. "자금이 몰리는 곳이 거기니까요."

나는 회의실 화면에 '깨끗한 범퍼' 사건을 띄웠다. "생성형이 데려가는 곳이 바로 여기예요," 내가 말했다. "소송, 그리고 날조된 기록이죠."

회의실이 조용해졌다. 그때 우리 수석 컴퓨터 비전 연구원 — 합류하기 전 산업 검사 분야에서 수년을 보낸 사람 — 이 내가 결코 잊지 못할 말을 했다. "손해사정사에게 필요한 건 붓이 아니에요. 돋보기가 필요하죠."

그것이 우리의 설계 원칙이 되었다. 우리는 아무것도 생성하지 않는다. 우리는 단 하나의 픽셀도 수정하지 않는다. 우리는 측정한다.

우리 아키텍처는 세 개의 계층으로 이루어져 있으며, 각 계층은 이미지를 원재료가 아니라 증거로 취급한다:

의미론적 분할(semantic segmentation)은 픽셀 단위로 손상을 식별한다. '이 자동차는 손상되었다'가 아니라 — 그런 건 쓸모없다. 우리 모델은 개별 픽셀 하나하나를 분류한다. 이 픽셀은 손상되지 않은 도장, 이 픽셀은 긁힘, 이 픽셀은 찌그러짐, 이 픽셀은 녹. 그 출력은 원본의, 손대지 않은 이미지 위에 겹쳐진 정밀한 마스크다. 우리는 특정 자동차 부품의 물리적 치수를 알기 때문에 — 2024년형 도요타 캠리 범퍼는 너비가 180cm다 — 손상의 정확한 제곱센티미터 면적을 계산할 수 있다. 그 숫자는 수리 견적 소프트웨어로 곧바로 입력된다.

단안 깊이 추정(monocular depth estimation)은 범퍼 사건을 무너뜨린 문제, 즉 평면 사진에서 3D 기하 구조를 이해하는 문제를 해결한다. LiDAR 실측값이 포함된 방대한 자동차 형상 데이터셋으로 학습함으로써, 우리 모델은 휠 아치의 곡률이 어떠해야 하는지, 도어 패널의 평평함이 무엇을 의미하는지를 배운다. 찌그러짐은 깊이 지도에서 싱크홀처럼 나타난다. 우리는 기울기(gradient)를 계산한다 — 가파른 기울기는 패널 교체가 필요할 가능성이 큰 날카로운 접힘을 의미하고, 완만한 기울기는 무도장 덴트 수리(paintless dent repair)로 고칠 수 있는 부드러운 찌그러짐을 의미한다. 우리는 밀려난 금속의 부피를 추정할 수 있다. 어림짐작이 아니다. 측정이다.

정반사 분석(specular reflection analysis)은 내가 가장 자랑스러워하는 계층인데, 다른 모든 것이 놓치는 것을 잡아내기 때문이다. 최신 자동차는 반짝인다. 그 표면은 거울처럼 작동한다. 광택 나는 검은색 차의 찌그러짐은 픽셀의 색을 전혀 바꾸지 않을 수도 있지만 — 반사는 일그러뜨린다. 환경 속의 직선들(지평선, 전선, 건물 모서리)은 반사될 때 차체의 곡률을 따라야 한다. 찌그러짐은 요지경 거울처럼 작동해 그 선들을 오므리거나, 소용돌이치게 하거나, 끊어지게 만든다. 우리는 도장 색을 반사 패턴에서 분리하고 표면 법선 지도(surface normal map) — 모든 픽셀에서 표면의 각도를 나타내는 3D 벡터 — 를 재구성하도록 모델을 학습시켰다. 이것은 육안으로 보이지 않는 우박 손상, 충격 지점에서 멀리 떨어진 구조적 좌굴, 심지어 샌딩 자국이 클리어코트의 반사 특성을 교란하는 이전 수리 흔적까지 탐지한다.

세 계층 모두에 대한 완전한 기술적 분석은 우리 연구 논문을 참고하라.

보험사는 왜 자사의 AI 결정을 설명하지 못하는가?

이것은 지금 규제 당국이 목소리 높여 던지고 있는 질문이며, 대부분의 보험사는 이에 대한 좋은 답을 갖고 있지 않다.

NAIC — 전미보험감독관협회(National Association of Insurance Commissioners) — 는 컴플라이언스 지형을 근본적으로 바꿔 놓은 모델 회람(Model Bulletin)을 발표했다. 그것은 AI가 제3자 도구인 경우에도 AI 결과에 대한 책임을 온전히 보험사에 지운다. 래퍼 핑계 뒤에 숨을 수 없다. 만약 당신의 벤더가 만든 모델이 환각을 일으키거나 차별을 한다면, 당신이 책임을 진다. 이 회람은 문서화된 거버넌스 프로그램, 벤더의 데이터 계보와 모델 아키텍처에 대한 실사, 그리고 — 결정적으로 — AI가 주도한 어떤 결정이든 보험 가입자에게 설명할 수 있는 능력을 의무화한다.

생성형 모델이 작동시킨 클레임 거절을 설명해 보라. "모델의 확률 분포가 매끄러운 범퍼를 선호했습니다"라는 말은 법정에서 살아남지 못할 것이다.

이제 그것을 우리 시스템이 내놓는 결과와 비교해 보라. "이 클레임은 좌측 후방 쿼터 패널의 손상 탐지를 근거로 처리되었습니다. 시스템은 길이 14cm의 긁힘과 표면적 45cm²의 찌그러짐을 식별했으며, 이는 깊이 지도 분석으로 검증되었습니다." 이것은 경험적으로 검증 가능하다. 이것은 증거로 채택될 수 있다.

EU AI법은 한 걸음 더 나아간다. 자연인이 관련된 보험 리스크 평가에 사용되는 AI는 고위험(high-risk)으로 분류되며, 이는 의무적인 데이터 거버넌스, 자동 이벤트 로깅, 인간 감독 요건을 발동시킨다. 손해사정사가 켜고 끌 수 있는 분석 계층과 함께 원본 사진을 보는 우리의 마스크 오버레이 기술은 바로 이를 위해 설계되었다. 우리는 사람을 대체하지 않는다. 우리는 그들을 증강한다. 그들이 여전히 의사결정자로 남으며, 이는 이 법 아래에서 결정적인 안전항(safe harbor)이 된다.

그리고 증거 훼손(spoliation)의 문제가 있다. 미국 법체계에서는 법적 절차와 관련된 증거를 변조하는 것은 — 의도치 않았더라도 — 제재, 불리한 추정 지시(배심원단이 소실된 증거가 당신에게 불리했다고 가정하도록 안내받는 것), 또는 약식판결로 이어질 수 있다. 생성형 AI 도구가 클레임 사진에 합성 픽셀을 집어넣으면, 그것은 기술적으로 변조에 해당한다. 원본이 덮어쓰여졌다면, 그것은 증거 훼손이다.

우리는 모든 원본 이미지를 도착하는 즉시 SHA-256으로 해싱한다. 우리 AI는 이미지 버퍼를 읽지만 결코 거기에 쓰지 않는다. 모든 분석 — 마스크, 깊이 지도, 보고서 — 은 원본 해시에 연결된 별도의 사이드카 파일로 저장된다. 모든 접근은 로그로 기록된다. 증거는 깨끗한 상태로 유지된다.

당신의 AI가 증거를 변조하지 않았음을 증명하지 못한다면, 당신은 재판이 시작되기도 전에 이미 진 것이다.

아무도 대비하지 못한 군비 경쟁

사람들은 이따금 나에게 결정론적 컴퓨터 비전이 '충분한지' — 우리가 생성형 모델 사용을 거부함으로써 지나치게 보수적으로 구는 것은 아닌지 묻는다.

나는 그들이 잘못된 질문을 하고 있다고 생각한다.

올바른 질문은 이것이다. 당신의 클레임 시스템이 진짜 사진과 합성된 사진을 구별하지 못하면 어떤 일이 벌어지는가? 사기꾼의 딥페이크가 정당한 클레임보다 더 높은 신뢰도로 당신의 AI 분류기를 통과하면 어떤 일이 벌어지는가? 당신의 '개선' 도구가 결국 연방 법원까지 가는 사건에서 조용히 증거를 날조하면 어떤 일이 벌어지는가?

그것들은 가정이 아니다. 지금 벌어지고 있는 일이다. 그리고 범용 생성형 모델을 1차 방어선으로 삼는 보험사들은 포렌식 수사 현장에 붓을 들고 오는 셈이다.

우리 모델은 결정론적이다. 의미론적 분할 네트워크에는 프롬프트 인젝션을 할 수 없다. 깊이 추정 모델을 살살 구슬려 찌그러짐을 무시하게 만들 수도 없다. 이 시스템들은 픽셀 강도 기울기와 텍스처 분석에 기반해 작동한다 — 이들은 카메라 센서에 닿는 빛의 물리적 속성에서 특징을 추출한다. 악용할 만한 명령 수행 메커니즘이 존재하지 않는다.

그것은 보수주의가 아니다. 그것은 적이 당신과 똑같은 생성형 도구에 접근할 수 있는 세상을 위한 엔지니어링이다.

손해사정사의 화면

나는 한 가지 이미지로 글을 맺고 싶다 — 사진이 아니라, 내가 생각하는 미래의 모습을 담은 그림이다.

손해사정사가 대시보드를 연다. 그는 '고쳐진' 자동차를 보지 않는다. 그는 사고 전 차가 어떤 모습이었을지에 대한 AI의 추측을 보지 않는다. 그는 보험 가입자가 찍은 실제 사진을, AI가 긁힘과 찌그러짐과 녹을 어디서 탐지했는지를 정확히 보여 주는, 켜고 끌 수 있는 손상 마스크와 함께 본다. 그는 후방 쿼터 패널의 찌그러짐이 가파른 기울기로 12mm 깊이라는 것을 — 날카로운 접힘, 교체가 필요할 가능성이 크다는 것을 — 드러내는 깊이 히트맵을 본다. 그는 어떤 사람의 눈으로도 잡아내지 못할, 충격 지점에서 3인치 떨어진 미세한 좌굴을 짚어 주는 반사 분석을 본다.

그는 모든 발견 사항을 설명하는 감사 추적(audit trail)을 본다. 그리고 그가 판단을 내린다.

AI는 결정하지 않았다. AI는 밝혀 비추었다. 증거는 변조되지 않았다. 증거는 드러났다.

그것이 바로 그럴듯한 허구를 만들어 내는 시스템과 불편한 진실을 측정하는 시스템의 차이다. 보험 산업은 실제로 일어난 일에 대해 보험금을 지급한다는 원칙 위에 세워졌다 — 모델이 아마 일어났을 것이라고 여기는 일에 대해서가 아니라. 클레임 사진의 모든 픽셀은 증거의 한 조각이다. 당신이 AI로 하여금 그중 단 하나라도 바꾸게 허용하는 순간, 당신은 진실의 영역을 떠나 확률의 영역으로 들어선 것이다.

그리고 법정에서 확률이란, 합리적 의심을 달리 부르는 말일 뿐이다.