딥페이크 CFO가 Zoom 통화로 $25 Million을 빼돌렸다: 당신 회사가 다음 차례일 수 있는 이유

나는 잠재 고객 — 중견 제조 기업의 CFO — 과 통화 중이었는데, 그때 그가 나를 순간 얼어붙게 만드는 말을 했다.

"저희는 이미 화상 통화에서 신원을 확인합니다. 서로 얼굴을 볼 수 있으니까요."

나는 그에게 Arup에 무슨 일이 있었는지 들어봤느냐고 물었다. 그는 몰랐다. 그래서 이야기해 주었다. 2024년 2월, 시드니 오페라 하우스를 설계한 글로벌 엔지니어링 기업 Arup의 한 재무 담당 직원이 자사 CFO와 여러 고위 임원이 참여한 화상 회의에 접속했다. 그들은 기밀 거래를 논의했다. CFO는 그에게 자금을 송금하라고 지시했다. 그는 15건에 걸쳐 송금을 실행했고, 총액은 $25.6 million이었다. 자금은 다섯 개 은행 계좌로 흩어졌다. 그 통화에 있던 모든 얼굴은 가짜였다. 모든 목소리는 합성된 것이었다. CFO는 AI가 생성한 딥페이크였다. 다른 임원들도 마찬가지였다. 그 직원은 그 방 안의 유일한 진짜 인간이었다.

10초쯤 통화가 조용해졌다. 그러더니 그가 말했다. "그게 사실일 리가 없어요."

사실이다. 그리고 그것이 지난 얼마간 내가 Veriprajna에서 우리가 만드는 모든 것을 다시 생각해 온 이유다. Arup 침해 사건은 단순히 사이버 보안의 허점을 드러낸 것이 아니기 때문이다. 그것은 대부분의 기업이 아직 마주할 엄두조차 내지 못한 신뢰 아키텍처 문제를 드러냈다.

"보는 것이 믿는 것"이 죽었음을 깨달은 밤

나는 어느 늦은 저녁, 집 서재에 앉아 Arup 침해 사건의 포렌식 분석을 처음 읽었다. 두 번째 페이지를 다 넘기기도 전에 차이 한 잔이 식어버렸다. 나를 충격에 빠뜨린 건 액수가 아니었다 — $25.6 million이 아연실색할 금액이긴 하지만. 그것은 공격의 우아함이었다. 악성코드는 없었다. 자격 증명 탈취도 없었다. 무단 데이터베이스 접근도 없었다. Arup의 디지털 인프라는 애초에 단 한 번도 뚫리지 않았다.

공격자들은 시스템을 해킹하지 않았다. 그들이 해킹한 것은 인간이었다.

CFO의 얼굴과 목소리를 완벽하게 위조할 수 있게 되면, 신뢰의 전통적인 신호는 무너진다. 약해지는 것이 아니라 — 무너진다.

그들은 몇 달에 걸쳐 YouTube, 콘퍼런스 강연, 기업 녹화 영상에서 공개된 Arup 임원들의 영상을 긁어모았다. 그리고 생성적 적대 신경망(GAN) — 서로 경쟁하는 두 개의 신경망으로, 하나는 가짜 콘텐츠를 만들고 다른 하나는 그것을 탐지하려 하며, 가짜가 현실과 구별되지 않을 때까지 수백만 번을 반복한다 — 을 학습시켜 포렌식 전문가들이 "고충실도 합성 쌍둥이(high-fidelity synthetic twins)"라고 부르는 것을 만들어냈다. 얼굴만이 아니었다. 말투. 억양. 질문에 답하기 전에 잠시 멈추는 방식까지.

그다음 그들은 "CFO"를 사칭해 기밀 거래를 도와달라고 요청하는 스피어 피싱 이메일을 보냈다. 그 직원은 의심했다. 좋은 직감이었다. 하지만 공격자들에게는 두 번째 수가 있었다. 그들은 그를 실시간 화상 통화에 초대했고, 그 자리에서 익숙한 여러 얼굴이 실시간으로 그 요청을 확인해 주었다.

그의 의심은 녹아내렸다. 당연한 일이다. 화면 너머에서 네 명의 동료가 자신을 바라보고 있는데, 자기 두 눈으로 본 증거를 의심할 이성적인 사람이 어디 있겠는가?

이사회실 전체를 어떻게 딥페이크할까?

이것이 우리 팀이 계속 되돌아온 질문이다. 한 사람을 대상으로 한 딥페이크는 전에도 본 적이 있다 — 여기서는 복제된 목소리, 저기서는 얼굴을 바꿔치기한 영상. 하지만 여러 명이 참여하는 실시간 화상 회의라니? 그건 비약처럼 느껴졌다.

알고 보니 기술적 장벽은 대부분의 보안 팀이 짐작하는 것보다 훨씬 빠르게 무너져 있었다.

공격자들이 사용한 기법은 영상 주입(video injection)이었다. 카메라 앞에 화면을 들이대는 더 단순한 "프레젠테이션 공격"이 아니었다. 주입 공격은 가상 카메라 소프트웨어를 이용해 합성 영상을 화상 회의 소프트웨어의 데이터 스트림에 직접 밀어 넣는다. Zoom이든 Teams든, 애플리케이션은 AI가 생성한 피드를 물리적 웹캠에서 들어오는 것처럼 취급한다. 탐지할 화면 테두리도 없고, 이상 징후로 표시할 깊이 왜곡도 없다. 연구에 따르면 신원 확인 제공업체를 겨냥한 주입 공격은 2023년에 255% 증가했고, 얼굴 교체 공격은 704% 증가했다.

우리 팀 회의에서 엔지니어 한 명이 오픈소스 도구로 실시간 얼굴 교체를 시연하던 자리가 기억난다. 설정하는 데 40분쯤 걸렸다. 결과가 완벽하지는 않았다 — 턱선 주위에 미세한 떨림이 있었다 — 하지만 압축된 Zoom 피드에서라면? 알아채지 못했을 것이다. 그것도 무료 소프트웨어에, 학습 데이터도 없이 만든 결과였다. Arup을 공격한 자들에게는 몇 달의 준비 기간과, 짐작건대 자원도 있었다.

우리 CTO가 테이블 너머로 나를 보며 말했다. "이걸 사이버 보안 문제로 생각하는 걸 그만둬야 합니다. 이건 인식론의 문제예요. 대체 무엇이 진짜인지 누가 어떻게 압니까?"

그의 말이 옳았다. 그리고 그 깨달음은 우리가 만드는 모든 것에 대한 내 생각을 다시 빚어냈다.

당신의 "AI 전략"은 왜 상황을 더 나쁘게 만드는가?

Arup 침해 사건을 다룬 대부분의 보도가 완전히 놓치는 지점이 여기 있다. 대부분의 기업이 AI를 도입해 온 방식은 실제로 이런 종류의 공격에 대한 취약성을 증가시킨다는 것이다.

내가 말하는 건 "LLM 래퍼(wrapper)" — 지금 기업 AI의 지배적인 아키텍처다. OpenAI나 Anthropic의 공개 API를 가져다 그 위에 얇은 소프트웨어 계층을 두르고, 몇몇 업무 프로세스에 연결한 다음, 그걸 AI 전략이라고 부른다. 배포는 빠르다. 비용은 싸다. 그리고 중요한 일에는 근본적으로 부적합하다.

이유는 세 가지다.

첫째, 데이터 유출(egress)이다. 래퍼 기반 배포에서는 재무 스프레드시트, 내부 메모, 임원 커뮤니케이션 같은 가장 민감한 데이터가 회사의 경계를 벗어나 제3자 클라우드에서 처리된다. 제공업체가 그 데이터로 학습하지 않겠다고 약속하더라도, 그 데이터는 미국 CLOUD Act의 적용을 받고, 불투명한 하위 처리자 관계에 노출되며, 모델을 통한 유출 가능성까지 있는 외부 환경에 존재한다. 공격자가 당신의 임원을 그럴듯하게 딥페이크하는 데 필요한 바로 그 정보를 당신의 담장 밖으로 보내고 있는 셈이다.

둘째, 신뢰성 격차다. LLM은 확률적이다. 당신 회사의 현실에 대한 근거 있는 이해가 아니라 통계적 패턴에 기반해 가장 그럴듯한 다음 단어를 예측한다. AI 에이전트가 가격을 알려주거나, 할인을 승인하거나, 정책을 해석할 때, 그것은 검증된 사실을 가져오는 것이 아니라 그럴듯한 답을 생성하는 것이다. 위험이 큰 환경에서는 "그럴듯함"과 "참" 사이의 그 간극이 바로 사기가 사는 곳이다.

셋째 — 그리고 이것이 나를 가장 괴롭힌다 — "몸 없는 조언자(unembodied advisor)" 문제다. Arup 같은 엔지니어링 기업에게, 텍스트 기반 LLM 래퍼는 물리적·생물학적 안전을 검증할 통합 피드백 루프 없이 조언을 생성한다. 구조 공학이나 화학에서는 계산의 사소한 변화가 파국적으로 다른 결과로 이어질 수 있다. 물리 법칙이 아니라 의미적 거리(semantic distance)에 기반해 작동하는 래퍼는 이런 치명적인 편차를 식별하지 못한다. 자신이 무엇을 모르는지조차 모른다.

나는 이 아키텍처적 취약성을 우리 연구의 인터랙티브 버전에서 깊이 있게 다뤘다 — 핵심 논지는, 래퍼가 지능이라는 착시를 만들어내면서 정작 조직은 구조적으로 노출된 채로 남겨둔다는 것이다.

Arup 공격을 실제로 막을 수 있었던 것은 무엇일까?

이것이 내가 스스로에게 계속 던진 질문이다. "Arup이 무엇을 다르게 했어야 하는가"가 아니라 — 그건 뒷북일 뿐이다. 그게 아니라, 어떤 아키텍처가 이런 공격을 실패하게 만들 수 있는가?

답은 단일 기술이 아니다. 스택이다. 그리고 그 출발점은 시각적 확인이 곧 신원 확인이라는 생각을 버리는 것이다.

위조할 수 없는 심장 박동

내가 접한 탐지 접근법 중 가장 흥미로운 것 하나는 얼굴색의 "심박 유도(heartbeat-induced)" 변화라는 것을 분석한다. Intel의 FakeCatcher 같은 기술은 심혈관 활동에 대응하는, 사람 눈에는 보이지 않는 피부 톤의 미세 변화를 관찰한다. 살아 있는 사람의 얼굴은 심장이 뛸 때마다 미묘하게 색이 변한다. 딥페이크는 그렇지 않다. 설령 변한다 해도 타이밍이 어긋난다.

처음 이걸 알게 됐을 때는 공상과학처럼 들린다고 생각했다. 그러다 그 방에 있던 모든 사람을 속인 고품질 딥페이크를 시스템이 정확히 잡아내는 시연을 봤다. 그 합성 얼굴은 피부 질감도 완벽했고, 립싱크도 완벽했고, 눈동자 움직임도 완벽했다. 하지만 맥박이 없었다.

딥페이크는 당신의 얼굴과 목소리, 몸짓까지 복제할 수 있다. 하지만 당신의 심장 박동은 복제할 수 없다.

당신이 타이핑하는 방식이 곧 당신의 서명이다

행동 생체 인식은 내가 가장 흥분하는 계층이다. 위조가 거의 불가능하기 때문이다. 타이핑의 속도, 리듬, 압력 같은 키 입력 동역학은 오직 당신에게만 고유한, 식별 가능한 패턴을 만든다. 마우스 움직임도, 모바일에서의 스와이프 속도도, 심지어 애플리케이션 사이를 오가는 방식까지도 마찬가지다.

모든 고위 임원에 대해 행동 기준선을 구축한다고 상상해 보라. 화상 통화 중에 시스템은 채팅창에 타이핑하는 "CFO"가 실제 CFO처럼 행동하는지 지속적으로 관찰한다. 이례적인 금융 요청이 오가는 동안 타이핑 리듬이 과거 프로필에서 벗어난다면, 시스템은 자동으로 이를 표시한다. 사람의 판단은 필요 없다.

이것이 지속적 인증(continuous authentication)의 모습이다 — 로그인 시점의 일회성 비밀번호가 아니라, 지금 대화하고 있는 상대가 정말 본인이 맞는지를 끊임없이, 보이지 않게 검증하는 것이다.

영상이 진짜라는 암호학적 증거

가짜를 그저 탐지하려고만 하는 대신, 우리는 원천에서 진정성을 검증하기 시작해야 한다. C2PA 표준 — Coalition for Content Provenance and Authenticity — 은 영상이 촬영되는 순간에 기기, 시간, 위치, 그리고 변조를 드러내는 관리 연속성 기록 같은 암호학적 메타데이터를 심는다. Teams나 Zoom 통화의 영상 피드에 이런 자격 증명이 없다면, 서명되지 않은 소프트웨어 패키지와 똑같은 의심의 눈으로 다뤄야 한다.

이것은 사고방식의 전환이다. 우리는 수년간 "이게 가짜인가?"라고 물어왔다. 더 나은 질문은 이것이다. "이것이 진짜임을 증명할 수 있는가?"

우리가 실제로 구축하고 있는 아키텍처

Veriprajna에서 우리는 우리의 접근법을 Deep AI라고 불러왔다 — 마케팅 용어라서가 아니라, 조직과 그 AI 인프라 사이의 근본적으로 다른 관계를 설명하기 때문이다. 공개 API를 통한 "서비스로서의 AI" 대신, 우리는 조직 자체의 보안 환경 안에 "인프라로서의 AI"를 구축한다.

세 개의 기둥이 있다.

첫 번째는 인프라 소유권이다. 우리는 완전한 추론 스택 — 프라이빗 엔터프라이즈 LLM — 을 고객사의 가상 사설 클라우드(VPC)나 온프레미스 Kubernetes 클러스터에 직접 배포한다. 민감한 데이터는 결코 경계를 벗어나지 않는다. 이것은 단순한 보안 조치가 아니다. 고객사에 귀속되는 맞춤형 모델 자산을 만들어낸다. 그들의 지능은 주권을 유지한다.

두 번째는 우리가 Private RAG 2.0이라고 부르는 것이다 — 내부 보안과 네이티브하게 통합된 검색 증강 생성(Retrieval-Augmented Generation)이다. 직원이 SharePoint의 어떤 문서를 볼 권한이 없다면, AI는 그의 질문에 답하기 위해 그 문서를 가져오지 않는다. 당연한 얘기처럼 들리겠지만, 대부분의 RAG 구현은 지식 베이스를 평평한 웅덩이처럼 취급한다. 우리의 것은 조직의 나머지를 규율하는 것과 동일한 접근 제어를 존중한다.

세 번째는 — 그리고 내가 가장 자랑스러워하는 것은 — 뉴로-심볼릭 샌드위치다. 우리는 신경망(창의적인 언어 능력을 가진 LLM)을 결정론적 심볼릭 로직 두 개 층 사이에 끼워 넣는다. 아래층은 프롬프트 인젝션을 막기 위해 입력이 모델에 도달하기 전에 정제한다. 위층은 모델의 출력을 가로채, 미리 정의된 엄격한 함수를 통해 실행한다 — SQL 데이터베이스를 조회하고, ERP 시스템을 확인하고, 검증된 가격을 가져오는 식이다. AI가 숫자를 보고할 때, 그것은 예측한 것이 아니라 사실을 끌어온 것이다.

뉴로-심볼릭 샌드위치는 AI가 가격이나 승인 상태를 보고할 때, 토큰 확률에 기반해 예측한 값이 아니라 데이터베이스에서 결정론적인 값을 가져오도록 보장한다.

이게 과잉 설계라고 말하는 사람들도 있었다. 언젠가 한 투자자는 송금에 책임져 본 적이 없는 사람 특유의 자신감으로 내게 말했다. "그냥 GPT에 좋은 프롬프트 쓰면 되잖아요." 나는 그 Arup 직원을 생각한다 — 합리적으로 보이는 모든 일을 다 한 유능한 전문가였다 — 그리고 걸린 판돈이 수백만 달러 단위로 측정될 때 "괜찮은 정도의" 프롬프트는 결코 괜찮지 않다는 것을 안다.

뉴로-심볼릭 설계 패턴과 RBAC를 인지하는 검색을 포함해 이 아키텍처의 완전한 기술적 해설은 우리의 상세 연구 논문에서 확인할 수 있다.

CIO가 개인적으로 책임을 지게 되면 어떤 일이 벌어질까?

Arup 침해 사건에는 대부분의 기술자들이 추적하지 않는 법적 차원이 있는데, 이 글을 읽는 모든 CIO와 CTO를 오싹하게 만들어야 마땅한 대목이다.

법원은 송금 사기에 대해 "위장자 원칙(Impostor Rule)"을 점점 더 많이 적용한다. 손실은 사기를 막을 수 있는 최적의 위치에 있던 당사자가 부담해야 한다는 것이다. Arup 사건에서는 직원이 속은 것은 맞지만, 고액 거래에 대해 다중 채널 검증을 구현하지 않은 회사의 실패가 1차적 실패 지점으로 간주될 수 있다.

CIO와 CTO는 수탁 의무를 지는 회사의 임원이다. 딥페이크를 이용한 사기가 알려지고 문서화된 위험이 되면서 — Arup 이후로는 명백히 알려진 위험이다 — 딥페이크를 염두에 둔 통제를 구현하지 않는 것은, 회사가 주주로부터 과실 소송을 당할 경우 개인 책임으로 이어질 수 있다. 이건 가정이 아니다. 캘리포니아 소비자 프라이버시법(CCPA), EU AI Act, 그리고 NIST의 AI 위험 관리 프레임워크 같은 체계들은 모두 조직이 합성 미디어 공격에 대한 구체적이고 문서화된 방어를 갖추고 있으리라는 기대로 수렴하고 있다.

나는 이제 모든 미팅에서 CIO들에게 간단한 질문을 던지기 시작했다. "내일 공격자가 화상 통화에서 당신의 CEO를 딥페이크했고 누군가 $10 million을 송금했다면, 당신은 합리적인 안전장치를 갖추고 있었다는 것을 법정에서 입증할 수 있겠습니까?"

뒤따르는 침묵이 모든 것을 말해준다.

그냥 사람들에게 딥페이크를 알아보도록 교육하면 되지 않을까?

사람들이 이 질문을 끊임없이 한다. 그 직감은 이해한다. 가장 값싼 해법이니까. 무엇을 봐야 하는지 — 깜빡이는 턱선, 이상한 귀, 살짝 어긋난 조명 — 모두에게 가르치기만 하면 된다.

문제는 이것이다. 사람 눈으로 하는 탐지는 이미 진 군비 경쟁이다. 2023년 딥페이크에서 탐지 가능했던 흔적들은 2025년 딥페이크에서는 대부분 사라졌다. 기술은 인간의 지각이 적응하는 것보다 빠르게 개선된다. 그리고 조명은 그저 그렇고 대역폭은 끊기는 압축된 화상 통화에서 — 대부분의 회사 Zoom 통화가 바로 그렇다 — 현재 세대의 딥페이크는 기능적으로 보이지 않는다.

교육은 도움이 된다. 다만 대부분이 생각하는 방식으로는 아니다. 목표는 직원을 딥페이크 탐지기로 만드는 것이 아니다. 내가 권한이 부여된 회의주의 문화라고 부르는 것을 만드는 것이다 — 수상한 요청에 이의를 제기하는 사람에게, 그 요청이 CEO에게서 온 것처럼 보일 때조차 보상하는 문화다. Arup 직원의 첫 직감은 그 피싱 이메일을 의심하는 것이었다. 그 직감은 옳았다. 그것을 무너뜨린 건 익숙한 얼굴들이 나온 화상 통화라는 사회적 증거였다.

해법은 지각이 아니라 절차에 있다. 고액 거래에는 대역 외(out-of-band) 검증이 필요하다. 사전에 확인된 전화번호로 직접 전화하기, 별도의 채널로 공유한 사전 합의된 인증 코드, 또는 원래 통화에 없던 사람의 이중 승인 같은 것들이다. 화상 회의는 금융 거래의 신원 인증에서 더 이상 최고의 기준일 수 없다. 그걸로 끝이다.

$25 Million짜리 청사진

Arup 이야기가 보통 어떻게 전해지는지에 대해 나를 불편하게 하는 지점이 계속 떠오른다. 그것은 경고성 우화로 틀지어진다 — "악당들이 얼마나 정교해졌는지 보라." 그 말은 사실이지만, 불완전하다.

더 깊은 교훈은 아키텍처에 관한 것이다. Arup의 디지털 시스템은 멀쩡했다. 방화벽은 버텼다. 암호화도 작동했다. 공격이 성공한 이유는 그 조직의 신뢰 아키텍처 — 신원이 어떻게 확인되고 결정이 어떻게 승인되는지에 관한 일련의 전제들 — 가 합성 미디어가 값싸고 설득력 있고 실시간으로 가능한 세상에 맞게 진화하지 않았기 때문이다.

내가 대화해 본 대부분의 조직도 같은 처지에 있다. 그들은 경계 방어에 막대한 투자를 하면서, 정작 송금을 승인하고 계약을 결재하고 엔지니어링 사양에 서명하는 인간 계층은 얼굴과 목소리는 위조하기 어렵다는 가정 하나에만 의지한 채 방치해 두었다.

그 가정은 2024년 2월 홍콩의 한 회의실에서 죽었다. 문제는 당신의 조직이 자기 몫의 $25 million짜리 수업료를 치르기 전에 신뢰 아키텍처를 갱신할 것인가, 아니면 그 후에 할 것인가다.

Arup 침해는 사이버 보안의 실패가 아니었다. 그것은 신뢰 아키텍처의 실패였다 — 그리고 대부분의 조직은 얼굴을 위조할 수 없던 시대 이후로 자신들의 신뢰 아키텍처를 갱신하지 않았다.

나는 이 문제에 대해 애매하게 말하지 않겠다. 지금 움직이는 조직 — 주권적 AI 인프라를 배포하고, 행동 생체 인식을 구현하고, 영상 피드에 암호학적 출처 증명을 요구하고, 모든 고액 의사결정에 절차적 회로 차단기를 심는 조직 — 이 기업 보안의 다음 시대를 정의할 것이다. 기다리는 쪽은 사례 연구가 될 것이다.

당신의 재무 팀을 속일 수 있는 딥페이크를 만드는 비용은 0을 향해 떨어지고 있다. 속는 비용은 그렇지 않다.