당신의 직원들은 이미 ChatGPT에 회사 기밀을 흘리고 있다 — 금지는 상황을 더 악화시켰을 뿐이다

저는 어느 대형 금융 서비스 기업의 CISO와 마주 앉아 있었는데, 그가 몇 주 동안 제 머릿속을 떠나지 않은 말을 했습니다. 그는 의자에 등을 기대고 관자놀이를 문지르며 이렇게 말했습니다: "우리는 우리가 관리하는 모든 기기에서 ChatGPT를 차단했습니다. 사용 정책도 갱신했죠. 전사 이메일도 세 번이나 보냈습니다. 그런데 지난주 화요일, 우리 M&A 팀 전원이 점심시간에 개인 휴대폰으로 Claude에 거래 조건을 붙여넣고 있었다는 걸 알게 됐습니다."

그는 화가 난 게 아니었습니다. 그는 지쳐 있었습니다. 사이버보안 지침서가 하라는 모든 것을 다 했지만, 그것은 효과가 없었습니다.

그 대화는 Veriprajna의 우리 팀이 맡았던 모든 엔터프라이즈 프로젝트에서 제가 목격해 온 무언가를 명확하게 만들어 주었습니다: 생성형 AI를 금지한다고 해서 사람들이 그것을 사용하지 않게 되는 것은 아닙니다 — 단지 그것을 숨기게 만들 뿐입니다. 그리고 숨겨진 사용은 눈에 보이는 사용보다 무한히 더 위험합니다. 데이터도 같은 이야기를 들려줍니다. 직원의 46퍼센트가 회사가 명시적으로 금지하더라도 AI 도구를 계속 사용할 것이라고 말합니다. 38퍼센트는 이미 아무에게도 알리지 않고 민감한 업무 데이터를 공개 AI 플랫폼에 공유한 적이 있다고 인정합니다. 생성형 AI 앱으로 흘러 들어가는 데이터의 양은 전년 대비 30배 증가했습니다. 이것은 정책의 문제가 아닙니다. 이것은 아키텍처의 문제입니다.

삼성이 모든 것을 바꿔 놓은 그 밤

2023년 5월, 삼성 반도체 사업부의 엔지니어 세 명이 완전히 합리적인 일을 했습니다. 그들은 독점 칩 제조 코드를 디버깅하고 있었습니다 — 두 번째 의견 하나가 며칠의 노력을 아낄 수 있는, 복잡하고 이해관계가 큰 작업이었죠. 그래서 그들은 자신들의 코드를 ChatGPT에 붙여넣었습니다.

한 명은 반도체 측정 데이터베이스의 소스 코드를 업로드했습니다. 다른 한 명은 수율 결함을 식별하는 프로그램 로직 — 삼성의 주가에 직접적으로 영향을 미치는 종류의 데이터 — 을 공유했습니다. 세 번째 사람은 회의록을 생성하기 위해 내부 회의 녹음을 업로드했습니다.

그들 중 누구도 회사에 해를 끼치려던 것이 아니었습니다. 그들은 자신의 일을 잘하려고 했을 뿐입니다. 그들은 ChatGPT를 계산기 다루듯 대했습니다: 무언가를 넣고, 무언가를 얻고, 넘어가는 것이죠. 그들이 온전히 파악하지 못한 것은 당시 OpenAI의 서비스 약관이 입력 데이터의 보존을 허용했다는 점이었습니다 — 잠재적으로 모델 학습에 사용되고, 확실하게는 삼성의 통제 밖에 있는 서버에 저장되는 것이었죠.

저는 그 뉴스 보도를 읽으며 속이 뒤틀리는 기분을 느꼈던 것을 기억합니다. 그 유출이 놀라워서가 아니라 — 저는 바로 이 시나리오에 대해 고객들에게 경고해 왔으니까요 — 삼성의 대응이 너무나 예측 가능했기 때문이었습니다. 그들은 전사 금지령을 내렸습니다. 위반 시 해고하겠다고 위협했습니다. 네트워크를 봉쇄했습니다.

그리고 저는 그것이 효과가 없으리라는 것을 절대적인 확신을 가지고 알고 있었습니다.

AI 금지는 왜 항상 역효과를 낳는가?

대부분의 보안팀이 잘못 짚는 지점은 이것입니다: 그들은 직원을 적으로 간주하고 위협을 모델링합니다. 더 높은 벽을 쌓으면 문제가 사라진다는 식이죠. 하지만 ChatGPT로 데이터를 유출하는 사람들은 적이 아닙니다. 그들은 여러분의 최고 성과자들입니다.

직장에서 실제로 AI 도구를 사용하는 사람이 누구인지 생각해 보십시오. 하루를 대충 흘려보내는 사람이 아닙니다. 금요일까지 출시해야 한다는 압박에 시달리는 엔지니어입니다. 아침까지 40페이지 분량의 실사 자료를 요약해야 하는 분석가입니다. 수동으로 찾으면 한 시간이 걸릴 버그를 AI가 몇 초 만에 잡아낼 수 있다는 것을 아는 개발자입니다.

여러분이 그 도구를 금지하면, 가장 생산적인 사람들에게 이렇게 말하는 셈입니다: "더 느려지세요. 덜 효과적으로 일하세요. 경쟁사가 여러분을 앞질러 가는 것을 지켜보고, 그것을 받아들이세요." 당연히 그들은 따르지 않습니다. 그들은 그저 개인 휴대폰으로 전환합니다. 회사 네트워크를 우회하기 위해 4G 핫스팟을 사용합니다. Netskope가 엔터프라이즈 환경에서 추적한 317개 이상의 서로 다른 생성형 AI 앱 중 하나를 찾아냅니다 — 여러분이 OpenAI, Google, Anthropic을 차단하더라도, 더 작고 덜 안전한 대안이 수백 개나 기다리고 있기 때문입니다.

보안이 조력자가 아니라 방해물로 인식될 때, 가장 성실한 직원들이 여러분의 주요 정책 위반자가 됩니다.

저는 우리 팀과의 대화에서 이것을 "붙여넣기 격차(Paste Gap)"라고 부르기 시작했습니다. 데이터는 보안이 적용된 회사 노트북을 떠나, 개인 기기로 이동한 뒤, 공개 클라우드 서비스에 붙여넣어집니다. 어떤 방화벽도 그것을 잡아내지 못합니다. 어떤 CASB도 그것을 기록하지 못합니다. 그것은 보이지 않습니다. 그리고 이 일은 정책 메모로 이 문제를 해결하려 한 모든 조직에서 지금 이 순간에도 벌어지고 있습니다.

수치는 충격적입니다: 독점 소스 코드가 AI 도구에 붙여넣어지는 사례가 485퍼센트 증가했습니다. 엔터프라이즈 AI 사용의 72퍼센트가 개인 계정을 통해, IT의 가시성에서 완전히 벗어난 채 이루어집니다. 이것은 가느다란 물줄기가 아닙니다. 그것은 홍수이며, 제방은 종이로 만들어져 있습니다.

"엔터프라이즈" AI 등급에 대해 제가 잘못 알고 있던 것

솔직히 말하겠습니다 — OpenAI가 ChatGPT Enterprise를 출시했을 때, 저는 그것으로 충분할지도 모른다고 생각했습니다. 데이터 보존 제로. 비즈니스 데이터로 학습하지 않음. SOC 2 준수. 요건을 다 갖춘 것처럼 보였죠.

그러다 우리가 고객을 위해 더 깊이 있는 실사를 시작하자, 균열이 드러났습니다.

엔터프라이즈 계약조차도 대개 남용 모니터링을 위해 짧은 데이터 보존 기간 — 흔히 30일 — 을 포함합니다. 그것은 여러분의 가장 민감한 프롬프트가 남의 서버에 놓여 있는 30일입니다. 그리고 그 "남"은 미국에 본사를 둔 기업이며, 이는 우리를 유럽의 CISO들이 밤잠을 이루지 못하게 하는 문제로 이끕니다.

미국 CLOUD Act — Clarifying Lawful Overseas Use of Data Act — 는 미국 법 집행 기관이 미국 기술 기업들로 하여금 자사 서버에 저장된 데이터를 넘기도록 강제할 수 있게 하며, 이는 그 서버가 물리적으로 어디에 위치해 있는지와 무관합니다. 독일의 한 은행이 프랑크푸르트 데이터 센터가 있는 Azure OpenAI를 사용한다면, 데이터는 EU 내에 "저장(at rest)"되어 있을 수 있지만, 이를 통제하는 법적 주체는 여전히 미국 영장의 대상이 됩니다. 추론(inference) 중에는 — 모델이 실제로 여러분의 데이터를 처리할 때 — 여전히 미국이 통제하는 인프라를 거칠 수 있습니다.

저는 이 내용을 하나하나 설명하는 동안 방 안 가득한 컴플라이언스 담당자들의 얼굴이 창백해지는 것을 지켜보았습니다. 그들은 엔터프라이즈 계약에 서명하며 주권 문제를 해결했다고 생각했습니다. 그들은 그 문제를 긁어 보지조차 못한 것이었습니다.

저는 이 아키텍처 문제 — 그리고 완전한 위협 모델 — 에 대해 Shadow AI와 프라이빗 엔터프라이즈 LLM에 관한 저희 인터랙티브 백서에서 다뤘습니다. 이 백서는 바로 이런 대화들에서 탄생했습니다.

래퍼의 함정

비슷한 시기에, 제 받은편지함은 AI 컨설팅 업체들의 제안으로 가득 차기 시작했습니다. "맞춤형 AI 솔루션을 구축해 드리겠습니다!" 그들 대부분은 래퍼(wrapper)였습니다 — OpenAI API 위에 그럴듯한 인터페이스를 덧붙인 것, 어쩌면 "당신은 도움이 되는 법률 보조원입니다"라고 말하는 시스템 프롬프트를 곁들인 정도였죠.

저는 한 데모를 끝까지 지켜보았는데, 그 업체는 계약 분석용 "독점 AI 플랫폼"을 자랑스럽게 선보였습니다. 저는 한 가지 질문을 던졌습니다: "사용자가 계약서를 업로드하면 데이터는 어디로 갑니까?" 침묵. 그리고: "음, OpenAI API로 가긴 하지만, 저희는 BAA를 체결해 두었습니다."

그것은 솔루션이 아닙니다. 그것은 여러분의 데이터 유출에 지연 시간을 더하는 중간 상인일 뿐입니다.

래퍼는 데이터 주권 문제를 해결하지 못합니다. 그것은 단지 데이터 유출(egress)의 인터페이스를 예쁘게 꾸밀 뿐입니다.

래퍼는 세 가지 구체적인 방식으로 기업에 실패를 안깁니다. 첫째, 그것은 손쉽게 복제됩니다 — 여러분의 "AI 솔루션"이 프롬프트 하나에 API 키 하나라면, 여러분의 인턴이 오후 한나절이면 다시 만들 수 있습니다. 둘째, 그것은 여러분의 실제 데이터와 깊이 통합되어 있지 않아, 회사 고유의 용어, 레거시 코드베이스, 접근 제어의 미묘함을 제대로 다루지 못합니다. 셋째 — 그리고 이것이 결정타인데 — 그것은 여전히 여러분의 데이터를 공개 인터넷을 거쳐 제3자 공급업체로 전송합니다. 보안 위험은 전혀 바뀌지 않았습니다. 여러분은 거기에 로고 하나를 덧붙였을 뿐입니다.

"인텔리전스를 소유한다"는 것은 실제로 무엇을 의미하는가?

Veriprajna에서 우리의 접근 방식이 명확해진 특정한 순간이 있었습니다. 우리는 규제 산업에 속한 한 고객과 일하고 있었는데 — 어느 산업인지는 말할 수 없지만, "유출되면 저녁 뉴스에 나오는 종류의 데이터"라고 생각하시면 됩니다. 그들의 법무팀은 공개 API에 의존한다는 이유로 유망한 AI 파일럿을 막 무산시킨 참이었습니다. 엔지니어링 팀은 격분했습니다. 사업부는 독자적으로 움직여 개인 계정으로 자기들만의 것을 만들겠다고 위협하고 있었습니다.

저는 수석 아키텍트와 통화 중이었는데, 그가 단순한 말을 했습니다: "우리가 왜 어떤 API를 쓸지를 두고 논쟁하고 있죠? 그냥 우리가 직접 모델을 돌리면 됩니다."

바로 그때 우리는 제가 지금 Deep AI라고 부르는 것에 온전히 전념하게 되었습니다 — 오픈소스 대규모 언어 모델을 클라이언트 자체 인프라 내부에 직접 배포하는 것 말입니다. 다른 누군가의 모델을 감싸는 것이 아닙니다. 토큰 단위로 인텔리전스를 빌리는 것이 아닙니다. 실제로 그것을 소유하는 것입니다.

실제로는 이런 모습입니다. 여러분은 고성능 오픈 웨이트 모델 — 예를 들어 Meta의 Llama 3, 그중 70B 파라미터 버전은 여러 벤치마크에서 GPT-4에 필적합니다 — 을 가져와, 클라이언트의 가상 사설 클라우드(Virtual Private Cloud) 내부의 GPU 인스턴스에 배포합니다. 모델 가중치는 클라이언트가 통제하는 하드웨어 위에 존재합니다. 추론 엔진은 회사 방화벽 뒤에서 실행됩니다. 개발자가 독점 코드로 모델에 프롬프트를 입력하면, 그 코드는 자신의 노트북에서 내부 서버로 이동하고, 메모리에서 처리된 뒤, 되돌아옵니다. 그것은 결코 공개 인터넷에 닿지 않습니다. 그것은 결코 제3자 서버에 도달하지 않습니다.

우리는 여기에 우리가 Private RAG라고 부르는 것 — 동일한 보안 환경 내부에 배포된 벡터 데이터베이스 위에 구축된 검색 증강 생성(Retrieval-Augmented Generation) — 을 결합합니다. 회사의 문서들이 수집되고, 임베딩되어, 로컬에 저장됩니다. 그리고 결정적으로, 이 시스템은 기존의 접근 제어를 존중합니다. 여러분이 SharePoint에서 어떤 문서를 볼 권한이 없다면, AI 역시 여러분의 질문에 답하기 위해 그 문서를 검색해 오지 않습니다. 챗봇이 누구든 묻기만 하면 실수로 기밀 데이터를 노출하는 "평면적 권한(flat authorization)" 문제는 이 아키텍처에서는 아예 존재하지 않습니다.

가공되지 않은 모델을 어떻게 엔터프라이즈급으로 만드는가?

우리가 초기에 얻은 가장 어려운 교훈 중 하나는 이것입니다: 모델을 배포하는 것은 전체 작업의 어쩌면 30퍼센트에 불과합니다. 수천 명의 직원이 매일 안전하게 사용할 수 있도록 만드는 것 — 그것이 나머지 70퍼센트입니다.

가공되지 않은 언어 모델은 예측 불가능합니다. 그것은 다뤄서는 안 될 주제를 아무렇지 않게 논하고, 회사 정책을 위반하는 콘텐츠를 생성하며, 안전 프로토콜을 우회하도록 설계된 교묘한 프롬프트 인젝션에 반응하기도 합니다. 여러분에게는 가드레일(guardrails)이 필요합니다 — 본질적으로 프롬프트를 위한 방화벽이죠.

우리는 모델을 둘러싼 프로그래밍 가능한 계층으로 NVIDIA NeMo Guardrails를 구현합니다. 프롬프트가 모델에 도달하기 전에, 그것은 스캔됩니다. 누군가 사회보장번호나 신용카드 번호를 입력하면, 가드레일이 그것을 잡아냅니다. 누군가 HR 봇에게 데이터베이스 비밀번호를 물으면, 시스템은 의도의 불일치를 인식하고 거부합니다. 누군가 탈옥(jailbreak) 공격 — 저 "이전의 모든 지시를 무시하라"는 수법 — 을 시도하면, 방어 계층이 그것을 가로챕니다.

저는 우리의 초기 배포 중 하나에 대해 실시한 침투 테스트를 기억합니다. 우리 레드팀은 이틀 동안 학습 데이터를 추출하거나 주제 제한을 우회하려고 시도했습니다. 그들은 창의력을 발휘했습니다 — 중첩된 역할극 프롬프트, 인코딩된 지시, 온갖 수법을 다 동원했죠. 가드레일은 버텨 냈습니다. 우리 아키텍트는 새벽 2시에 차단된 시도 로그의 스크린샷을 단 한 줄의 메시지와 함께 제게 보냈습니다: "벽은 견고합니다." 그날 밤은 기분 좋은 밤이었습니다.

이 아키텍처에 대한 완전한 기술적 분석 — 추론 스택, 벡터 데이터베이스 구성, 가드레일 구현 — 에 대해서는 엔터프라이즈 AI 보안에 관한 저희 기술 심층 분석을 참고하십시오.

"하지만 GPU는 비싸고 API는 저렴하잖아요"

이것은 제가 CFO들에게서 가장 자주 듣는 반론인데, 짚고 넘어갈 가치가 있는 방식으로 틀렸습니다.

그렇습니다, API 요금은 표면적으로는 저렴해 보입니다 — 토큰당 1센트의 몇 분의 일이죠. 하지만 엔터프라이즈 RAG 애플리케이션은 토큰을 게걸스럽게 먹어 치웁니다. 단 하나의 질문에 답하기 위해, 시스템은 열 페이지 분량의 맥락을 입력 토큰으로 검색해 올 수 있습니다. 이것을 하루에 열 개의 질문을 하는 천 명의 직원에 걸쳐 곱하면, 하루에 $1,000에서 $3,000에 이르게 됩니다. 그것은 잠재적으로 연간 백만 달러이며, 선형적으로 증가합니다. 도입이 두 배가 되면, 청구서도 두 배가 됩니다.

자체 호스팅 모델은 다르게 작동합니다. 여러분은 하드웨어 — GPU 임대 또는 구매 — 와 전기 요금을 지불합니다. 잘 구성된 노드 하나가 초당 수천 건의 요청을 처리할 수 있습니다. 그 노드가 포화 상태에 이르기 전까지, 다음 토큰의 한계 비용은 사실상 0입니다. 월 10억 토큰을 처리하는 중견 기업의 경우, 저희는 자체 호스팅이 50~70퍼센트 더 저렴하다는 것을 확인했습니다 — 동등한 API 비용과 비교해서 말이죠 — 게다가 프라이버시는 공짜 덤으로 따라옵니다.

그리고 API에는 청구서에 결코 드러나지 않는 숨은 비용이 있습니다. 전사 배포 중에 서비스 중단을 일으키는 속도 제한(rate limit). 공급업체가 특정 버전을 폐기할 때 모든 프롬프트와 워크플로를 다시 테스트하도록 강요하는 모델 지원 중단(deprecation). 자체 호스팅 모델의 경우, 여러분이 업그레이드하기로 결정하지 않는 한 아무것도 바뀌지 않습니다. 여러분은 안정성을 얻습니다. 여러분은 예측 가능성을 얻습니다. 여러분은 OpenAI의 가격 책정 위원회가 다음 분기에 무엇을 결정할지 걱정하는 일을 그만둘 수 있습니다.

엔터프라이즈 규모에서 자체 호스팅은 비싼 선택지가 아닙니다. 그것은 도입이 성공했을 때 여러분을 파산시키지 않는 선택지입니다.

왜 아직 모두가 이렇게 하고 있지 않은가?

사람들이 제게 이것을 묻는데, 솔직한 답은: 어렵기 때문입니다. 개념적으로가 아니라 — 논리는 단순합니다 — 운영적으로 어렵죠. 여러분에게는 Kubernetes로 GPU 오케스트레이션을 이해하는 사람, 최적의 처리량을 위해 vLLM을 구성할 수 있는 사람, RBAC를 인식하는 검색 파이프라인을 구축할 줄 아는 사람, 오용을 막을 만큼 엄격하면서도 사용자를 답답하게 하지 않을 만큼 유연한 가드레일을 구현할 수 있는 사람이 필요합니다.

대부분의 기업에는 그런 팀이 없습니다. 대부분의 AI 컨설팅 업체도 마찬가지입니다 — 그들은 API를 호출할 줄은 알아도, 추론 스택을 배포할 줄은 모릅니다. 그것이 바로 Veriprajna에서 우리가 채우는 격차입니다. 우리는 모델에 대한 접근 권한을 판매하지 않습니다. 우리는 모델을 독립적으로 운영할 수 있는 역량을 구축합니다. 우리가 떠날 때, 클라이언트는 모든 것을 소유합니다 — 파인튜닝된 모델 가중치, 벡터 인덱스, 오케스트레이션 인프라까지. 그것은 그들의 것입니다. 그것이 핵심의 전부입니다.

도입을 늦추는 또 다른 요인은 관성입니다. ChatGPT를 차단한 CISO는 자신이 뭔가를 했다고 느낍니다. 그 금지가 효과가 없었음을 인정한다는 것은 지난 한 해의 정책 집행이 연극에 불과했음을 인정하는 것이죠. 그것은 이사회와 나누기 어려운 대화입니다. 하지만 그 대안 — 직원들이 개인 AI 계정에 소스 코드를 붙여넣는 동안 문제가 존재하지 않는 척하는 것 — 은 더 나쁩니다. 다음번 삼성 규모의 유출이 일어날지 여부의 문제가 아닙니다. 그것은 언제 일어나느냐, 그리고 그것이 여러분에게 일어나느냐의 문제입니다.

섀도우 AI(Shadow AI)에 숨겨진 신호

섀도우 AI 확산에 대해 대부분의 사람들이 놓친다고 제가 생각하는 지점은 이것입니다: 그것은 단지 보안 문제가 아닙니다. 그것은 신호입니다. 여러분의 인력이 더 나은 도구를 절실히 원하고 있으며 그것을 얻기 위해 자신의 일자리를 걸 각오가 되어 있다는, 크고 명백한 신호죠.

직원의 46퍼센트가 명시적인 금지에도 맞서겠다고 말합니다. 그것은 단지 반항을 위한 반항이 아닙니다. 그것은 사람들이 자신의 행동을 통해, AI가 자신이 일하는 방식에 필수적인 것이 되었다고 여러분에게 말하는 것입니다. 문제는 여러분의 조직이 생성형 AI를 사용할 것이냐가 아닙니다. 그 결정은 이미 내려졌습니다 — 여러분의 직원들에 의해, 여러분의 허락 없이, 그들의 개인 기기에서, 점심시간에 말이죠.

남은 유일한 질문은 그들이 이미 안전하지 않게 하고 있는 일을 안전하게 할 방법을 여러분이 제공할 것이냐입니다.

섀도우 AI는 여러분의 인력이 자신의 키보드 입력으로 투표하는 것입니다. 그들은 AI를 선택했습니다. 이제 여러분이 선택할 차례입니다: 눈에 보이고 안전하거나, 아니면 눈에 보이지 않고 데이터를 흘리거나.

우리는 "안 된다"는 것이 용인 가능한 AI 전략이던 시대를 이미 지나왔습니다. 오픈소스 모델은 충분히 뛰어납니다. 배포 인프라는 충분히 성숙했습니다. 경제성도 성립합니다. 대부분의 기업과 주권적 AI 역량 사이를 가로막는 유일한 것은 금지가 효과가 있는 척하기를 멈추려는 의지뿐입니다.

여러분은 AI를 금지할 필요가 없습니다. 여러분은 그것을 소유해야 합니다.