2025년 AI 보안 침해 사고가 폭로한 1조 달러짜리 거짓말 — 그래서 저는 대안을 직접 만들었습니다

GitHub Copilot RCE 공개가 터졌을 때 저는 중견 금융 서비스 기업의 CISO와 통화 중이었습니다. 말이 채 끝나기도 전이었죠 — 그는 자기 팀이 방금 개발자 400명에게 Copilot을 배포한 이유를 설명하던 참이었습니다 — 그런데 그의 Slack이 알림으로 번쩍이기 시작하자 표정이 바뀌는 것이 보였습니다. 그는 자기 마이크를 음소거했습니다. 90초 뒤에 돌아와 아주 조용히 이렇게 말했습니다. "CVE-2025-53773이 우리에게 무슨 의미인지 설명해 주실 수 있나요?"

그 의미는 이랬습니다. README 파일에 심어 둔 숨은 명령 하나 — 한낱 텍스트 파일 — 이 Copilot을 실행하는 모든 개발자 워크스테이션에서 완전한 원격 코드 실행으로까지 확대될 수 있다는 것이었습니다. 버퍼 오버플로를 통해서가 아닙니다. 커널의 제로데이를 통해서도 아닙니다. 바로 대화를 통해서였습니다. 상대는 AI 어시스턴트였고요.

그 통화는 이후 6개월간 제 행보의 방향을 바꿔 놓았습니다. 하지만 솔직히 말하면, 1년도 더 전부터 조짐은 이미 뚜렷했습니다.

저는 Veriprajna의 창업자 아슈토시(Ashutosh)입니다. 라틴어 Veri(진리)와 산스크리트어 Prajna(지혜)에서 따온 이름이죠. 저희는 제가 Deep AI라고 부르는 것을 만듭니다. 설계상 결정론적이고, 요구사항에 의해 감사 가능하며, 인프라 차원에서 주권적인 시스템입니다. 저희는 래퍼를 만들지 않습니다. 그리고 2025년은 그 구분이 왜 중요한지를 파국적으로 증명했습니다.

래퍼 경제는 애초에 붕괴할 수밖에 없었다

약 2년 동안 엔터프라이즈 AI 시장은 솔깃한 전제 위에서 돌아갔습니다. 파운데이션 모델 — GPT-4, Claude, Gemini — 을 가져다가 그럴듯한 인터페이스로 감싸고, 프롬프트 엔지니어링을 조금 얹은 다음, 그것을 "솔루션"이라고 파는 것이었죠. 수천 개의 스타트업이 정확히 이 일을 했습니다. 그중 다수는 그렇게 해서 상당한 자금을 유치했습니다.

그 매력은 저도 이해합니다. 데모까지 걸리는 시간이 놀라울 만큼 짧았으니까요. 일주일이면 이사회 앞에서 자기 회사 비즈니스를 "이해하는" AI를 시연할 수 있었습니다. 하지만 저는 업계 행사에서 저를 인기 없게 만든 질문 하나를 계속 던졌습니다. 이게 실제 권한을 쥐고, 실제 인프라 위에서, 프로덕션에서 돌아가면 무슨 일이 벌어지는가?

답은 2025년에 도착했습니다. 그것도 아주 난폭하게.

세 건의 사고 — GitHub Copilot 원격 코드 실행 취약점, Microsoft Bing 캐시를 통한 "좀비 데이터" 노출, 그리고 Amazon Q의 공급망 오염 — 는 도합 16,000개가 넘는 조직과 100만 명에 가까운 개발자에게 영향을 미쳤습니다. 이것들은 예외적인 엣지 케이스가 아니었습니다. 그것들은 예견된 결과였습니다. 확률론적 시스템을 마치 결정론적 인프라인 것처럼 배포한 데 따른 귀결이었죠.

AI가 관리자 권한을 가진 채 감시받지 않는 에이전트로 작동하면, 그 실패는 인프라의 속도로 전파됩니다.

이 침해 사고들의 전체 기술적 해부는 저희 연구의 인터랙티브 버전에 써 두었습니다. 하지만 저를 밤에 잠 못 들게 하는 것은 그 숫자들 뒤에 있는 이야기입니다.

프롬프트가 무기가 되면 어떤 일이 벌어지는가?

Copilot 사고를 하나씩 짚어 보겠습니다. 그 작동 방식이 정말이지 섬뜩하기 때문입니다.

CVE-2025-53773은 CVSS 심각도 척도에서 7.8점 — "높음(High)" — 을 받았습니다. 이 취약점 유형은 업계가 새로 이름을 붙여야만 했던 종류였습니다. 바로 Prompt-to-RCE입니다. 언어적 명령이 바이너리 코드 실행으로 확대되는 현상이죠.

작동 방식은 이렇습니다. 공격자가 README 파일이나 코드 주석, 심지어 GitHub 이슈 안에 숨은 명령 — 크로스 프롬프트 인젝션 — 을 심어 둡니다. 겉보기에 수상한 점은 전혀 없습니다. 개발자가 Copilot에게 "코드를 리뷰해 줘" 또는 "이 프로젝트를 설명해 줘"라고 요청하면, AI는 그 숨은 명령들을 그대로 삼킵니다. 그런 다음 워크스페이스 설정 파일을 수정해, 구체적으로 다음 한 줄을 추가합니다. "chat.tools.autoApprove": true.

보안 커뮤니티는 이것을 이렇게 부르기 시작했습니다. "YOLO 모드." 일단 활성화되고 나면, AI 어시스턴트는 셸 명령을 실행하고, 웹을 탐색하고, 로컬 파일 시스템과 상호작용할 수 있었습니다 — 그것도 개발자에게 허락을 구하지 않고 말이죠. 거기서부터 멀웨어를 내려받거나, 자격 증명을 유출하거나, 워크스테이션을 봇넷에 편입시키는 일은 식은 죽 먹기였습니다.

전체 공개 내용을 다 읽고 나서 사무실에 앉아 수석 보안 엔지니어에게 고개를 돌려 이렇게 말했던 게 기억납니다. "이건 버그가 아니야. 이건 설계된 대로 작동하고 있는 아키텍처야." AI에게는 행위 주체성이 주어졌습니다. 권한도 주어졌습니다. 그리고 충분히 설득력 있는 프롬프트에 "아니오"라고 말할 수 있는 시스템은 아무도 만들지 않았습니다.

저를 계속 괴롭힌 건 바로 그 지점이었습니다. 전통적인 접근 제어는 행위자가 사람이거나, 아니면 동작이 고정된 소프트웨어라고 전제합니다. AI 에이전트는 둘 중 어느 쪽도 아닙니다. 사용자의 모든 권한을 물려받으면서도 언어적 조작에는 반응합니다. 누군가에게 집 열쇠를 맡겨 놓고, 사기꾼이 그를 구슬려 문을 열게 했다고 놀라는 것과 같습니다.

죽은 데이터는 왜 되살아났는가?

두 번째 침해 사고는 더 기이했고, 어떤 면에서는 더 불안했습니다.

2025년 2월, Lasso Security의 연구원들은 Microsoft의 Copilot이 비공개로 전환되거나 삭제된 — 때로는 몇 달 전에 그렇게 된 — GitHub 저장소의 데이터를 노출하고 있다는 사실을 발견했습니다. 그들은 이것을 "좀비 데이터(Zombie Data)"라고 불렀고, 정확한 이름이었던 탓에 그대로 굳어 버렸습니다. 죽어 있어야 마땅한 데이터였습니다. 그런데 죽지 않았습니다.

그 메커니즘은 민망할 만큼 단순했습니다. Bing 검색 엔진이 수천 개의 공개 저장소를 크롤링해 캐시에 담아 두었던 것입니다. 이후 그 저장소들이 비공개로 전환되었을 때 — 대개 누군가 API 키나 내부 문서, 독점 코드를 실수로 커밋했다는 사실을 뒤늦게 깨달았기 때문이죠 — 캐시된 버전은 Bing의 검색 증강 생성(RAG) 시스템 안에 그대로 남아 있었습니다. Copilot을 쓰는 사람이라면 누구나 그 삭제되었다고 여겨지던 정보를 질의할 수 있었습니다.

노출 규모는 충격적이었습니다. IBM, Google, Tencent, PayPal의 비공개 저장소. AWS, GCP, OpenAI, Hugging Face 같은 서비스의 비공개 토큰과 API 키 300개 이상이 추출되었습니다. 의존성 혼동(dependency confusion) 공격에 취약한 내부 패키지도 100개가 넘었습니다.

그 무렵 한 잠재 고객과 이야기를 나눴습니다. 어느 헬스케어 기업의 엔지니어링 VP였는데, 자기 팀은 "모든 것을 제대로 했다"고 하더군요. 자격 증명을 교체했고, 저장소를 비공개로 돌렸고, 표준 절차를 그대로 따랐다고요. 그런데 그중 어느 것도 소용이 없었습니다. AI의 기억이 그들의 보안 대응보다 더 길었기 때문입니다.

래퍼 모델에서 데이터 주권과 AI의 편의성은 근본적으로 충돌합니다. AI의 컨텍스트 윈도가 남의 검색 캐시일 때, 여러분은 자기 데이터의 생애주기를 통제할 수 없습니다.

이 침해 사고는 제가 한동안 주장해 온 것을 또렷하게 만들어 주었습니다. AI가 서드파티 검색 시스템 — 공개 검색 엔진, 외부 API, 남의 인덱스 — 에 의존한다면, 여러분은 이미 자기 데이터에 대한 통제권을 잃은 것입니다. 내부 정책이 아무리 훌륭해도 소용없습니다. 데이터는 여러분이 닿을 수 없는 곳, 비울 수 없는 캐시 안에 살면서, 여러분이 승인한 적 없는 질문에 답을 내놓고 있습니다.

AI의 제안을 대규모로 오염시키는 방법은 무엇인가?

세 번째 사고는 저희 팀 전체를 분노하게 만든 사건이었습니다.

2025년 7월, 한 공격자가 Visual Studio Code용 Amazon Q Developer 확장 프로그램을 침해했습니다. 설치 수가 950,000회를 넘는 확장이었죠. 진입점은 CI/CD 서비스에 있던, 범위 설정이 잘못된 GitHub 토큰이었습니다. 이 토큰 덕분에 공격자는 cleaner.md라는 파일을 소스 저장소에 직접 커밋할 수 있었습니다.

그 파일은 프롬프트 템플릿이었습니다. 무해해 보였죠. 하지만 그것은 AI에게 "시스템 클리너"처럼 행동하라고 지시했습니다 — 사용자의 홈 디렉터리를 지우고, EC2 인스턴스를 종료하고, S3 버킷을 삭제하고, IAM 사용자를 제거하는 Bash 명령을 제안하도록 말입니다.

잠깐 곱씹어 보시죠. 한낱 텍스트 파일 하나가, 신뢰받는 저장소 안에 들어앉아 공식 마켓플레이스 업데이트를 통해 배포되면서, AI 코딩 어시스턴트를 로컬 머신과 프로덕션 클라우드 인프라 양쪽을 겨눈 무기로 바꿔 놓았습니다.

저희가 이 사건을 해부하던 팀 회의 자리였습니다. 보안 업계에 15년을 몸담은 저희 엔지니어 한 명이 이렇게 못 박더군요. "우리는 수십 년 동안 바이너리와 컨테이너, 네트워크 경계를 지키는 데 매달렸어. 그런데 아무도 지키지 않은 게 있어. 바로 제안이야."

그의 말이 옳았습니다. Amazon Q 침해 사고는 이 사실을 증명했습니다. 프롬프트가 곧 새로운 코드다. 컴파일된 명령이 CPU의 동작을 결정짓듯, 프롬프트도 그만큼 확실하게 AI의 행동을 규정합니다. 그런데도 업계 전반에서 프롬프트 템플릿은 평문으로 저장되고, 리뷰 없이 커밋되고, 암호학적 서명 없이 배포되고 있었습니다.

사람들은 가끔 이 사고들이 정말 그렇게까지 심각했느냐고 묻습니다. 어차피 발견됐고 패치도 됐으니까요. 하지만 그건 요점을 완전히 놓친 것입니다. 패치는 특정 취약점들을 고쳤습니다. 정작 그 취약점들을 불가피하게 만든 아키텍처는 고치지 못했습니다.

고위험 환경에서 확률론적 AI가 갖는 근본적 문제

래퍼 경제가 결코 마주하려 하지 않았던 불편한 진실이 여기 있습니다. 대규모 언어 모델은 확률적 엔진입니다. 학습 데이터의 통계적 패턴을 근거로 다음에 올 가능성이 가장 높은 토큰을 예측합니다. 유창하고 그럴듯하게 들리는 텍스트를 만들어 내는 데는 대단히 뛰어납니다. 하지만 진리라는 개념은 갖고 있지 않습니다. 안전이라는 개념도 없습니다. "이 작업은 프로덕션 데이터베이스를 파괴할 것이다"라는 개념 또한 없습니다.

확률론적 모델을 얇은 인터페이스로 감싸고 거기에 관리자 권한을 쥐여 주었다면, 여러분이 만든 것은 엔터프라이즈 솔루션이 아닙니다. 대단히 말주변 좋은 부채(liability)를 만든 것입니다.

LLM은 진리를 이해하지 못합니다 — 그럴듯함을 이해할 뿐입니다. 프로덕션 환경에서 그 구분은 감사 추적과 침해 사고 보고서를 가르는 차이입니다.

이것이 제가 Veriprajna를 창업해 풀고자 한 문제입니다. 신경망을 버리는 방식이 아닙니다 — 신경망은 자연어 이해와 패턴 인식, 창의적 추론에서 진짜로 강력하니까요. 다만 신경망이 혼자서 작동하도록 내버려 두기를 거부하는 방식이죠.

뉴로-심볼릭 아키텍처는 실제로 어떤 모습인가?

저희는 서로 다른 두 가지 지능 양식을 융합한 하이브리드 시스템을 설계합니다. 저는 그것들을 목소리(Voice)와 두뇌(Brain)라고 생각합니다.

신경망 시스템 — 목소리 — 은 지각을 담당합니다. 개발자가 무엇을 묻는지 이해하고, 자연어를 해석하고, 패턴을 인식합니다. 인터페이스 계층이며, 자기가 맡은 일에는 탁월합니다.

심볼릭 시스템 — 두뇌 — 은 추론을 담당합니다. 결정론적 논리와 감사 가능한 계산, 도메인 특화 제약을 강제합니다. 이것은 예측하지 않습니다. 이것은 증명합니다.

핵심 통찰은 분리(decoupling)에 있습니다. 목소리가 어떤 작업을 제안하면 — 이를테면 셸 명령을 생성하면 — 두뇌는 실행 전에 그것을 엄격한 논리 규칙에 비추어 검사합니다. 신경망 모델이 프로덕션 VPC의 데이터베이스를 삭제하자고 제안하면, 심볼릭 엔진이 거부권을 행사합니다. 누군가 "데이터베이스를 삭제하지 말아 주세요"라는 프롬프트를 써 두었기 때문이 아닙니다. 그 작업이 물리적으로 차단되기 때문입니다 — 아키텍처 수준에서 말이죠.

저희는 이것을 헌법적 가드레일(Constitutional Guardrails)이라고 부릅니다. 이것은 업계가 의존하는 언어적 가드레일과 근본적으로 다릅니다. 언어적 가드레일은 지시문입니다 — "도움이 되고 해롭지 않게 행동하라" 같은 것이죠. 이런 가드레일은 탈옥(jailbreaking)으로, 간접 프롬프트 인젝션으로, 다시 말해 2025년 침해 사고들을 가능하게 한 바로 그 기법들로 우회됩니다. 아키텍처적 가드레일은 런타임에 새겨 넣은 제약입니다. 방화벽을 말로 구슬려 포트 차단을 그만두게 할 수 없듯이, 이것들도 말로 구슬려 규칙 집행을 멈추게 할 수 없습니다.

저희가 사용하는 구체적인 메커니즘 하나가 KG-Trie 검증입니다. 신경망 모델의 출력이 검증된 지식 그래프(Knowledge Graph)에 의해 제약됩니다. 모델이 검증된 그래프 안에 존재하지 않는 사실이나 인용, 명령을 생성하려 하면, 시스템은 해당 토큰들이 생성되지 못하게 막습니다. AI는 검증된 지식의 경계 밖에서는 말 그대로 환각을 일으킬 수 없습니다.

엣지 네이티브 배포와 물리 정보 신경망(physics-informed neural networks)에 대한 저희 접근법을 포함해 이 아키텍처의 전체 기술적 해설을 보시려면 다음을 참고하세요 — 저희 기술 심층 분석.

주권적 인프라가 더 이상 선택 사항이 아닌 이유

좀비 데이터 침해 사고는 제가 이제 모든 엔터프라이즈 잠재 고객에게 되풀이해 말하는 교훈을 남겼습니다. AI 모델이 남의 인프라 위에서 돌아간다면, 여러분의 데이터 주권은 점잖은 허구일 뿐이라는 것입니다.

Veriprajna에서는 전적으로 고객사 자체 환경 안에 배포합니다. 외부 검색 캐시에 대한 의존은 0입니다. 검색을 위한 서드파티 API 호출도 0입니다. AI의 컨텍스트가 정확히 — 그리고 오직 — 조직이 명시적으로 제공한 것뿐인 폐쇄 루프 시스템입니다.

이것은 편집증이 아닙니다. "좀비 데이터" 노출을 기술적으로 불가능하게 만드는 유일한 아키텍처입니다. 외부 캐시가 없다면 캐시 잔존 문제 자체가 생길 수 없으니까요.

초창기에 한 투자자와 격론을 벌인 적이 있습니다. 그는 이 접근법이 "너무 무겁다"고 했습니다. 시장이 원하는 건 가볍고 빠른, API 호출 기반 솔루션이라고요. 저는 시장이 원하는 건 제대로 작동하는 솔루션이라고 답했습니다 — 그리고 주권적 배포의 무게란, 삭제했다던 자격 증명이 어째서 남의 AI를 통해 여전히 질문에 답하고 있는지를 규제 기관에 해명해야 하는 무게에 비하면 아무것도 아니라고요.

그는 투자하지 않았습니다. 그 일로 그를 원망하지는 않습니다. 다만 그가 더 이상 그런 주장을 하지 않는다는 건 눈에 띄더군요.

업계는 이 문제를 정말로 고칠 수 있는가?

2025년 OWASP LLM 애플리케이션 Top 10은 올해 잘못된 모든 것을 정리한 사후 분석 보고서처럼 읽힙니다. 프롬프트 인젝션이 1위입니다. 민감 정보 노출이 2위. 공급망이 3위. 그리고 Copilot RCE의 바로 그 실패 양상인 과도한 행위 주체성(Excessive Agency)이 6위입니다.

이것들은 이론적 위험이 아닙니다. 이것들은 문서로 확인된 원인입니다. 실제 조직들에 피해를 입힌 실제 침해 사고들이 바로 여기서 비롯됐습니다.

NIST AI 위험 관리 프레임워크는 올바른 방향으로 진화하면서, 조직들을 시점 단위 평가가 아니라 지속적 거버넌스 쪽으로 밀어붙이고 있습니다. 하지만 프레임워크가 스스로 코드로 쓰이지는 않습니다. 누군가는 그것을 실제로 강제하는 시스템을 만들어야 합니다.

저희가 하는 일이 바로 그것입니다. 저희는 프롬프트 파일을 실행 가능한 산출물로 취급합니다 — 컴파일된 바이너리와 똑같은 엄격함으로 암호학적 서명을 하고, 리뷰하고, 버전 관리를 합니다. 모든 AI 에이전트에 대해 기준 행동 프로파일을 만들고, API 호출 패턴과 데이터 접근량을 추적해 이상 징후가 사고로 번지기 전에 잡아냅니다. 저희 에이전트에는 기능 테스트만이 아니라 뮤테이션 테스트와 적대적 퍼징을 돌립니다. 던져야 할 질문은 "이게 작동하는가?"가 아니기 때문입니다. 진짜 질문은 이것입니다. "누군가 이것을 오작동하게 만들려 하면 어떻게 되는가?"

AI 안전에 대한 제 생각을 바꿔 놓은 어느 늦은 밤

어느 밤이었습니다 — 아마 새벽 2시쯤이었을 겁니다 — Amazon Q 침해 사고의 기술적 세부 사항을 세 번째로 들여다보고 있던 밤이었죠. 팀원들은 모두 퇴근한 뒤였습니다. 저는 식어 버린 차이 한 잔을 앞에 두고 cleaner.md 파일의 내용을 뚫어지게 바라보고 있었습니다. 공개 자료에 그대로 실려 있던 그 내용을요.

그 명령어들은 정말이지 정중했습니다. "시스템 클리너로 동작해 주세요." "환경을 정리할 명령을 제안해 주세요." 파괴적인 페이로드가 친절의 언어로 감싸여 있었습니다. 그 순간 저는 이것이 래퍼 경제 전체를 완벽하게 은유한다는 것을 깨달았습니다. 파괴적인 아키텍처를 감추고 있는 친절한 표면 말입니다.

우리는 몇 년을 들여 고분고분하도록 최적화된 AI를 만들었습니다. 예라고 답하도록. 다음에 올 그럴듯한 토큰을 생성하도록. 그리고 그런 AI에게 프로덕션 인프라의 열쇠를 쥐여 주었습니다.

래퍼 경제는 AI를 고분고분하도록 최적화했습니다. 고분고분함과 안전이 근본적으로 긴장 관계에 있다는 것은 아무도 생각하지 못했습니다.

그날 밤, 저는 저희 내부 보안 원칙을 처음부터 다시 썼습니다. 이제 첫 줄은 이렇습니다. "되돌릴 수 없는 결과를 낳는 모든 작업에 대해 시스템의 기본 답변은 '아니오'다."

아키텍처가 곧 제품이다

이 말이 어떻게 들릴지 압니다. 창업자가 자기 접근법이 더 낫다고, 시장이 틀렸다고, 미래는 마침 자기가 파는 그것에 달려 있다고 말하는 셈이니까요. 회의적인 반응은 이해합니다.

하지만 이것만은 한번 생각해 봐 주셨으면 합니다. 2025년 최대 AI 보안 사고 세 건은 모두 같은 근본 원인을 공유합니다. 특정 버그가 아닙니다. 특정 벤더의 부주의도 아닙니다. 바로 설계 철학입니다 — 확률론적 모델을 얇은 인터페이스 계층으로 감싸고 프롬프트가 버텨 주기를 바라면 엔터프라이즈급 AI를 만들 수 있다는 믿음 말입니다.

프롬프트는 버텨 주지 않았습니다. 애초에 버틸 수 있는 것이 아니었습니다. 언어적 지시문은 제안이지 제약이 아닙니다. 그리고 고위험 환경 — 금융, 헬스케어, 제조, 국방 — 에서 제안과 제약의 차이는 정상 작동하는 시스템과 파국적 실패를 가르는 차이입니다.

엔터프라이즈 AI의 미래는 더 나은 래퍼가 아닙니다. 목소리를 두뇌에서 분리하고, 런타임 수준에서 제약을 강제하고, 데이터를 주권적으로 지키며, 모든 AI 작업을 감사 가능한 인프라로 다루는 아키텍처입니다 — 로그 파일 속으로 사라져 버리는 채팅 메시지가 아니라요.

저는 래퍼 경제가 붕괴할 거라고 생각해서 Veriprajna를 만든 게 아닙니다. 그것이 붕괴할 수밖에 없다는 것을 알았기 때문에 만들었습니다.