화상 회의에서 2,500만 달러를 편취한 딥페이크 CFO, 다음 차례는 귀사입니까?

문제점

2024년 2월, 글로벌 엔지니어링 기업 Arup의 한 직원이 자사 CFO 및 여러 고위 임원들과의 화상 회의에 참석했습니다. 모든 얼굴이 낯익었고, 모든 목소리가 진짜 같았습니다. CFO는 5개의 서로 다른 은행 계좌로 15건의 계좌 이체를 지시했습니다. 직원은 그 지시에 따랐습니다. 총 피해액: 2,560만 달러.

정말 끔찍한 부분은 바로 이것입니다. 그 회의에 참석한 사람 중 누구도 진짜가 아니었습니다. 해당 화상 회의의 모든 임원은 AI가 생성한 딥페이크 — 즉, 대중에게 공개된 YouTube 동영상과 컨퍼런스 영상으로 구축된 합성 복제본이었습니다. 공격자들은 수개월 동안 실제 Arup 경영진의 영상과 음성 데이터를 수집했습니다. 이들은 얼굴뿐만 아니라 특유의 말투와 미세 표정까지 복제하도록 AI 모델을 훈련시켰습니다. 그 결과 실시간 회의에서 훈련된 재무 전문가조차 감쪽같이 속일 만큼 정교한 "고정밀 합성 트윈(high-fidelity synthetic twins)" 출연진이 만들어졌습니다.

악성코드는 전혀 사용되지 않았습니다. 비밀번호가 도난당하지도 않았습니다. 데이터베이스가 침해되지도 않았습니다. 사건이 진행되는 내내 Arup의 디지털 인프라는 완벽하게 온전했습니다. 공격자들은 회사의 시스템을 해킹한 것이 아니라 — 직원이 보고 들은 것에 대한 신뢰를 해킹했습니다. 이 사기 행각은 직원이 나중에 런던에 있는 실제 CFO 사무실에 연락했을 때에야 비로소 드러났습니다. 그런 회의는 열린 적조차 없었습니다.

이것은 귀사의 방화벽 결함이 아니었습니다. '보는 것이 믿는 것'이라는 전제가 무너진 실패였습니다.

이것이 귀사의 비즈니스에 중요한 이유

Arup이 입은 2,560만 달러의 손실은 충격적이지만, 진정한 위협은 구조적인 데 있습니다. 귀사의 조직 또한 매일 신원을 확인하고 고액의 의사결정을 승인하기 위해 화상 회의에 의존하고 있을 가능성이 높습니다. 그 전제가 이제 깨졌습니다.

수치들은 급격히 고조되는 위협의 실상을 보여줍니다:

• 인젝션 공격(Injection attacks) — 공격자가 Zoom이나 Teams 같은 화상 회의 소프트웨어에 가짜 영상을 직접 주입하는 공격 — 은 2023년에 255% 증가했습니다.
• 페이스스왑 공격(Face-swap attacks) — 공격자의 실시간 웹캠 피드가 프레임 단위로 딥페이크로 대체되는 공격 — 은 동일한 기간 동안 704% 급증했습니다.
• 설득력 있는 딥페이크를 생성하는 데 드는 비용은 약 15달러와 45분의 노력 수준으로 떨어졌습니다.

직접적인 재정적 타격을 넘어, 경영진이 직면하는 개인적 책임 노출도 커지고 있습니다. CIO와 CTO는 이제 딥페이크 인식 통제 장치와 관련하여 더 높은 수준의 수탁자 책임(fiduciary care)을 요구받습니다. 주주나 고객이 과실(negligence)을 이유로 소송을 제기할 경우, 합리적인 보안 절차를 이행하지 않은 데 대해 개인적 법적 책임을 지게 될 수 있습니다. 법원은 사기를 방지할 수 있는 가장 유리한 위치에 있었던 당사자에게 손실 책임을 귀속시키는 "사칭자 원칙(Impostor Rule)"을 점점 더 많이 적용하고 있습니다.

귀사의 컴플라이언스 의무 또한 확대되고 있습니다. EU AI 법(EU AI Act), NIST AI 리스크 관리 프레임워크, 그리고 생체 공격 탐지를 위한 ISO/IEC 30107-3과 같은 표준들은 이제 모두 조직이 합성 미디어 위협에 방어할 것을 요구합니다. 귀사의 검증 프로세스가 여전히 화상 회의를 신원 증명으로 취급하고 있다면, 규제 당국과 원고 측 변호사가 반드시 찾아낼 보안 공백을 안고 있는 것입니다.

이것은 IT 팀만을 위한 기술 문제가 아닙니다. 귀사 이사회가 해결해야 할 재무 내부통제 문제입니다.

실제로 내부에서 벌어지고 있는 일

이 공격이 왜 성공했는지 이해하려면, 완벽한 위조지폐를 떠올려 보십시오. 위조범은 조폐국을 털 필요가 없습니다 — 그저 계산원이 받아들일 만큼 정교한 위조지폐를 만들기만 하면 됩니다. Arup을 공격한 자들도 인간의 얼굴과 목소리를 이용해 정확히 똑같은 일을 했습니다.

그들은 서로 협력하는 두 가지 유형의 AI 모델을 사용했습니다. 생성적 적대 신경망(Generative Adversarial Networks, GAN) — 두 AI 모델이 가짜를 생성하고 탐지하며 서로 경쟁하는 시스템 — 이 실시간 얼굴 교체(face swapping)를 처리했습니다. 한 모델이 가짜 얼굴을 생성하면, 다른 모델은 이를 포착하려 시도합니다. 수백만 번의 반복을 거치며 생성 모델은 탐지 모델조차 진짜와 구별할 수 없는 얼굴을 만들어냅니다. 확산 모델(Diffusion models) — 무작위 노이즈로부터 선명한 이미지를 구축하도록 학습하는 AI — 은 움직임 중에도 딥페이크 얼굴이 깜빡이거나 왜곡되지 않도록 보장했습니다. 사람의 눈은 시각적 이상 현상에 극도로 민감하기 때문에 이러한 "시간적 일관성(temporal consistency)"은 매우 중요합니다.

가장 중요한 기술적 세부 사항은 가짜 영상이 화상 회의에 어떻게 도달했는가입니다. 공격자들은 카메라 앞에 화면을 들이댄 것이 아니었습니다. 이들은 "영상 주입 공격(video injection attack)"을 사용하여 합성 영상 패킷을 화상 회의 소프트웨어의 데이터 스트림에 직접 공급했습니다. 애플리케이션은 이 디지털 피드를 실제 카메라에서 들어오는 것처럼 취급했습니다. 깊이감과 물리적 경계선을 확인하는 표준 라이브니스 검증(liveness checks) 방식은 분석할 물리적 인공물이 존재하지 않기 때문에 이러한 수법을 탐지할 수 없습니다.

이것이 바로 구체적인 실패 모드입니다: 귀사의 화상 회의 도구는 수신되는 모든 영상 스트림을 신뢰합니다. 해당 스트림이 실제 사람을 비추고 있는 실제 카메라에서 오는 것인지 검증할 방법이 전혀 없습니다.

무엇이 효과가 있고 (무엇이 없는가)

먼저 이 문제를 해결하지 못하는 세 가지 접근법부터 살펴보겠습니다:

표준 다중 요소 인증(MFA). Arup 공격자들은 로그인 자격 증명을 표적으로 삼지 않았기 때문에 MFA를 완전히 우회했습니다. 그들은 실시간 통화에서 인간의 판단력을 표적으로 삼았습니다. 귀사의 MFA는 계정을 보호할 뿐, 사람의 눈을 보호하지는 못합니다.

공개 API 기반의 범용 AI 챗봇. 데이터를 처리를 위해 타사 클라우드로 전송하는 얇은 소프트웨어 계층인 이른바 "LLM 래퍼(wrapper)" 도구들은 순전히 확률론적으로 작동합니다. 이들은 귀사의 실제 기록과 사실을 대조하여 검증하는 대신 그저 가장 그럴듯한 다음 단어를 예측할 뿐입니다. 이들은 딥페이크를 탐지할 수 없으며, 민감한 재무 데이터를 네트워크 외부로 전송함으로써 새로운 리스크를 초래합니다.

전통적인 피싱 교육. 대부분의 교육 프로그램은 직속 상사와 5명의 동료를 정교하게 복제한 실시간 화상 회의가 아니라, 의심스러운 이메일에 대비하도록 직원을 훈련시킵니다. Arup의 직원은 처음에 피싱 이메일에 회의적인 반응을 보였습니다. 화상 회의는 바로 그 회의감을 무너뜨리기 위해 정밀하게 설계된 것이었습니다.

실제로 효과가 있는 것은 — AI가 아직 위조할 수 없는 신호를 통해 신원을 검증하는 다층 방어 체계입니다:

1. 입력 검증 — 보이지 않는 수호자 역할을 하는 행동 생체인식(Behavioral biometrics). 고액 거래가 이루어지기 전에, 시스템은 해당 인물이 기기와 상호작용하는 방식을 지속적으로 분석해야 합니다. 키 입력 속도, 마우스 이동 패턴, 터치스크린 압력은 각 경영진마다 고유한 행동 프로필을 형성합니다. 이러한 신경생물학적 패턴은 위조가 거의 불가능합니다. 만약 화상 회의 속 "CFO"가 2,500만 달러($25M) 송금을 요청하면서 타이핑 동작이 기존 프로필에서 벗어난다면, 시스템은 해당 상호작용을 자동으로 위험 표시해야 합니다.

2. 처리 — 별도 채널을 통한 대역 외(Out-of-band) 확인. 화상 회의는 더 이상 금융 거래에서 신원에 대한 최종 확인 수단이 될 수 없습니다. 모든 고액 지시사항은 사전 검증된 전화번호, Signal과 같은 암호화된 메시징 플랫폼, 또는 비디지털 채널을 통해 사전에 합의된 확인 코드를 통한 독립적 검증을 거쳐야 합니다. 또한 원래 화상 회의에 참석하지 않은 제2의 승인자를 필수로 지정해야 합니다.

3. 출력 — 암호학적 출처 증명(Cryptographic provenance) 및 생리적 검증. C2PA 표준은 영상 촬영 순간에 암호학적 메타데이터를 삽입하여 모든 프레임에 대해 위변조 방지 관리 연속성(chain of custody)을 생성합니다. Teams나 Zoom 통화의 영상 피드에 이러한 자격 증명이 없다면 서명되지 않은 계약서를 대하듯 의심해야 합니다. 여기에 사람의 눈에는 보이지 않는 심장 박동에 따른 얼굴 색상 변화를 모니터링하는 기술인 생리적 신호 분석(physiological signal analysis)을 결합하십시오. 합성 영상에는 이러한 생물학적 신호가 결여되어 있습니다.

컴플라이언스 및 감사 팀을 위한 결정적 이점은 이 계층화된 아키텍처가 모든 단계에서 검증 가능한 감사 추적 경로를 생성한다는 점입니다. 귀사의 보안 평가 및 강화 실무 는 이러한 통제 항목들을 NIST AI 리스크 관리 프레임워크의 4단계 프로세스 — 거버넌스(Govern), 매핑(Map), 측정(Measure), 관리(Manage) — 및 생체 공격 탐지를 위한 ISO/IEC 30107-3 인증 요건에 직접 매핑할 수 있습니다.

다음에 해당하는 금융 서비스 분야의 조직의 경우, 이 아키텍처는 귀사의 기존 규제 리스크 및 소송 대비 의무와도 직접 연결됩니다. 모든 검증 이벤트가 기록됩니다. 모든 오버라이드(수동 개입)가 문서화됩니다. 감사관이나 규제 당국이 합성 미디어 사기로부터 어떻게 보호하고 있는지 물을 때, 교육용 슬라이드 자료를 제시하는 대신 논리적 추적 경로를 직접 보여줄 수 있습니다.

귀사는 전체 기술 분석 읽기 를 통해 완전한 아키텍처 사양을 확인하거나, 인터랙티브 버전 살펴보기 를 통해 방어 프레임워크의 시각적 설명을 확인할 수 있습니다.