AI 딥페이크, 전화 한 통으로 $25M 탈취

문제 상황

한 CFO의 딥페이크 음성 복제본이 단 한 번의 실시간 전화 통화로 2,500만 달러($25 million)를 훔쳐냈습니다. 복제된 음성은 실시간으로 오가는 지시를 처리할 만큼 충분히 설득력이 있었습니다. 전화 반대편의 재무 담당자가 자신의 상사와 완전히 똑같이 들리는 목소리를 들었기 때문에 여러 인간 검증 절차를 우회했습니다. 이것은 공상 과학이 아니었습니다. 2025년 초 유럽의 한 에너지 회사에서 실제로 일어난 일입니다.

이 공격이 성공한 이유는 최신 음성 복제 기술이 설득력 있는 복제본을 만드는 데 단 3~5분 분량의 녹음 음성만 필요로 하기 때문입니다. 원본 소재는 어디에나 있습니다. 실적 발표 콜, 웨비나, 팟캐스트, 심지어 소셜 미디어 클립까지. 공격자는 경영진의 목소리 샘플을 확보해 무기로 바꿔 놓았습니다.

그리고 음성 사기는 문제의 일부일 뿐입니다. 2025년 1분기에만 문서화된 딥페이크 사건이 179건 발생했습니다. 이는 이미 2024년 연간 전체 기록을 19% 넘어선 수치입니다. 한편, 클론된 음성을 이용한 음성 피싱인 비싱(vishing) 공격은 2024년 말 대비 2025년 초 1,600% 이상 급증했습니다.

귀사의 보안 팀은 '가짜란 눈에 띄는 것'이라는 세계를 전제로 구성되었습니다. 그 세계는 사라졌습니다. 직원들이 귀로 "듣고" 수상함을 알아차리는 데 의존하고 있다면, 방어 모델에는 치명적인 공백이 있는 것입니다.

귀사 비즈니스에 중요한 이유

금전적 피해는 모든 채널에서 가속화되고 있습니다. 다음 이사회 슬라이드에 올려야 할 숫자들입니다:

• $2.77 billion — 2024년 한 해에만 FBI에 신고된 비즈니스 이메일 침해(BEC) 총 손실액입니다. BEC는 여전히 재정적으로 가장 파괴적인 사이버 사기 형태입니다.
• $16.6 billion — 2024년 FBI IC3에 신고된 사이버 연계 사기 총 손실액이며, 전체 신고 손실의 83%를 차지합니다.
• $4.88 million — 피싱 이메일로 시작된 데이터 유출 사고의 평균 비용입니다. 북미 조직의 경우 이 수치가 $10.22 million까지 치솟습니다.
• 54% — AI 생성 피싱 이메일의 클릭률로, 기존 캠페인의 12% 기준치의 거의 5배에 달합니다.

이 숫자들은 여러 경로로 귀사의 손익계산서(P&L)에 타격을 줍니다:

• 직접 사기 손실 — 무단 이체와 BEC로 인한 손실입니다.
• 규제 리스크 — EU AI Act에 따른 노출로, 비준수 AI 시스템에는 최대 €35 million 또는 글로벌 매출의 7%에 달하는 벌금이 부과될 수 있습니다.
• 사고 대응 비용 — 2024년 BEC는 전체 사이버보안 사고 대응 건의 27%를 차지했으며, 랜섬웨어에 이어 두 번째였습니다.
• 평판 훼손 — 고객, 파트너, 규제기관이 복제된 음성이 귀사 계좌에서 수백만 달러를 이체했다는 사실을 알게 되는 순간 발생합니다.

귀사가 민감한 데이터나 고가치 거래를 다룬다면, 이러한 위협은 결코 추상적인 것이 아닙니다. 이 위협들은 비즈니스가 작동하는 기반인 신뢰 — 즉, 전화기 너머의 사람이 자칭하는 바 그 사람이 맞다는 가정 — 를 겨냥합니다.

내부에서 실제로 일어나는 일

빠르게 AI를 도입한 대부분의 기업은 업계에서 '래퍼(wrapper)'라고 부르는 방식을 통해 그렇게 했습니다. 래퍼는 통제할 수 없는 업체로부터 차를 빌리는 것과 같습니다. 멋진 인터페이스에 질문을 입력하지만, 데이터 — 모든 프롬프트, 모든 문서 조각, 모든 기밀 정보 — 는 처리를 위해 공용 인터넷을 가로질러 타인의 서버로 전송됩니다.

이는 세 가지 구체적인 문제를 낳습니다.

첫째, 데이터가 사외로 나갑니다. '데이터 무보관'을 약속하는 엔터프라이즈 API 등급조차 남용 모니터링을 위해 최대 30일간 데이터를 보관하는 경우가 많습니다. 헬스케어, 방위, 금융 기업에게 그 30일의 기간은 잠재적 책임 요인입니다.

둘째, 법적 주권을 잃습니다. 주요 AI 제공업체 대부분은 미국 기반으로 미국 CLOUD Act의 적용을 받습니다. 이 법은 데이터가 유럽이나 아시아의 서버에 있더라도 미국 법집행기관이 해당 데이터에 대한 접근을 강제할 수 있게 합니다. 이는 GDPR 및 각국의 데이터 레지던시 법률과 정면으로 충돌합니다.

셋째, AI는 실제로 귀사의 비즈니스를 모릅니다. 래퍼는 근본적으로 상태 비저장(stateless) 방식입니다. 대규모 내부 문서 집합을 다루는 데 어려움을 겪으며, 귀사의 독점 데이터에 대해 물으면 높은 오류율 — 이른바 환각(hallucination) — 을 보입니다. 공식 도구가 부족하면 직원들은 몰래 우회합니다. 2023년 삼성 엔지니어들이 실수로 반도체 소스 코드를 ChatGPT에 유출한 후, 연구자들은 공개 AI 도구에 소스 코드가 붙여넣어지는 사례가 485% 증가했음을 발견했습니다. 그 사용량의 72%는 IT 팀이 볼 수 없는 개인 계정을 통해 이루어졌습니다.

이것이 이른바 '섀도우 AI(Shadow AI)' 문제입니다. 그리고 이는 가장 민감한 데이터가 이미 귀사가 통제할 수 없는 시스템으로 흘러들고 있을 수 있음을 의미합니다.

효과 있는 것과 없는 것

먼저 실패하는 사례부터 살펴보겠습니다.

기존 이메일 필터: 패턴 매칭에 의존합니다. AI 생성 피싱은 대상 목록의 수신자 한 명 한 명마다 고유한 변형을 만들어 냅니다. 차단할 서명이 두 이메일 간에 겹치지 않습니다. 다형적(polymorphic) 공격의 90% 이상이 필터를 통과합니다.

보안 인식 교육만으로는: 기준선을 세우는 데는 도움이 됩니다. 하지만 이제 피싱 이메일의 82.6%가 정당한 기업 어조를 모방한 AI 생성 콘텐츠를 포함하는 만큼, 훈련된 직원들도 놀라운 비율로 클릭합니다.

래퍼 기반 AI 보안 도구: 데이터를 제3자 인프라로 보내고, 주권 리스크를 초래하며, 내부 컨텍스트를 깊이 이해할 수 없습니다. 이는 남의 집 경보 시스템 — 검사할 수 없는 경보 시스템 — 으로 자신의 집을 지키는 격입니다.

그럼 실제로 효과가 있는 것을 보겠습니다. 핵심 원칙은 주권적 배포(sovereign deployment)입니다. 즉, 귀사의 AI를 귀사의 환경 안에서, 귀사의 인프라 위에서, 귀사의 데이터로 학습시켜 운영하는 것입니다.

1. 데이터 외부 유출이 전혀 없는 프라이빗 인프라. 귀사의 AI는 자체 클라우드 환경 내부의 전용 GPU 하드웨어나 온프레미스에서 실행됩니다. 모든 프롬프트와 응답은 방화벽 안에 머뭅니다. 어떤 데이터도 공용 인터넷을 넘지 않습니다. 키는 귀사가 통제합니다.

2. 귀사의 비즈니스를 아는 파인튜닝 모델. 범용 모델을 빌리는 대신, 실제 모델 파일을 귀사가 소유하는 오픈 웨이트(open-weights) 모델을 조직의 고유 문서, 용어, 표준으로 학습시킵니다. 연구에 따르면 파인튜닝된 모델은 래퍼 방식의 8590%와 비교해 9899.5%의 출력 일관성을 달성합니다. 모델이 이미 컨텍스트를 '알고' 있기 때문에 규모가 커질수록 요청당 비용도 50~90% 절감됩니다.

3. 권한 인식 검색과 런타임 가드레일. 귀사의 AI는 검색 증강 생성(RAG)이라는 기법을 통해 내부 문서에 연결됩니다. 즉, AI가 추측하게 하는 대신 실제 원본 문서를 제공하는 방식입니다. 그러나 결정적인 추가 요소는 이를 기존 접근 권한 제어와 연동하는 것입니다. 직원이 귀사의 파일 시스템에서 문서를 볼 수 없다면, AI 역시 그 문서를 검색할 수 없습니다. 여기에 더해, 런타임 가드레일이 모든 입력과 출력을 실시간으로 스캔하여 프롬프트 인젝션 시도를 차단하고, 민감한 개인 데이터가 모델에 도달하기 전에 삭제하며, AI가 승인된 업무에 집중하도록 유지합니다.

감사 추적(audit trail) 이점은 컴플라이언스 팀과 법무팀을 설득하는 결정적 요소입니다. 모든 프롬프트와 모든 응답이 변조 불가능한 기록으로 남습니다. 규제기관이나 감사인이 의사결정이 어떻게 이루어졌는지 묻는다면, AI가 사용한 정확한 데이터, 산출한 정확한 결과물, 통과한 정확한 가드레일 검사를 보여줄 수 있습니다. 이는 이론상의 이점이 아니며, 실제로 EU AI Act는 규제 산업의 고위험 AI 시스템에 대해 바로 이러한 수준의 문서화와 추적성을 요구합니다.

고가치 거래의 마지막 계층은 암호학적 출처 증명(cryptographic provenance)입니다. 경영진은 검증된 신원 자격 증명을 사용해 영상 또는 음성 승인에 디지털 서명할 수 있습니다. 공격자는 음성을 복제할 수 있지만, 경영진의 검증된 신원에 묶인 암호화 서명은 위조할 수 없습니다. 이것이 바로 유럽 에너지 회사에 2,500만 달러의 손실을 안겨준 취약점을 정확히 제거합니다.

조직이 AI 배포 옵션을 평가하고 있다면, 질문은 AI가 필요한지 여부가 아닙니다. 진짜 질문은 현재의 셋업이 안전한 배포를 위한 주권적 인프라와 통제권 을 갖추고 있는지입니다. 그리고 귀사의 보안 태세가 검증되었는지 , 2025년에 실제로 존재하는 위협을 상대로 말입니다.

전체 기술 아키텍처와 상세한 위협 데이터가 필요하시면, 전체 기술 분석 전문을 읽어보세요 또는 대화형 버전을 살펴보세요.