우리 사내 프라이빗 AI가 어느 직원에게 보여선 안 될 급여를 건넨 날
작동하지 않는 메모
지금 이 순간에도 당신 회사 어딘가에서, 누군가는 고객 계약서를 요약하려고 챗봇에 붙여 넣고 있다. 그들은 허락을 구하지 않았다. 악의가 있는 것도 아니다. 마감이 있었고 잘 작동하는 도구가 있었을 뿐인데, 그 도구가 마침 그 계약서를 다른 대륙에 있는 어느 회사 소유의 서버로 보내버린 것이다.
내가 이걸 아는 이유는, 함께 일해 본 모든 CISO가 똑같은 대시보드를 가지고 있고 그 대시보드가 똑같은 이야기를 들려주기 때문이다. 그중 한 명이 회의에서 Netskope를 띄워, 자기 조직 전반에서 활발히 사용 중인 317개의 서로 다른 생성형 AI 앱을 보여주었다. 그가 정식으로 승인한 것은 그중 손에 꼽을 정도였다. 나머지는 직원들이 붙여 넣기 한 번씩 하며 각자의 문제를 스스로 해결하고 있던 것이었다.
그 간극 — 당신이 승인한 AI와 당신 직원들이 실제로 쓰고 있는 AI 사이의 간극 — 이 바로 내가 지난 몇 년간 커리어를 바쳐 Veriprajna를 세워 해결하려는 문제다. 우리가 하는 일은 프라이빗 LLM 배포다. 우리는 유능한 대규모 언어 모델을 당신 자신의 인프라 안에, 당신 자신의 통제 아래에 두어, 직원들이 이미 AI로 하고 있는 업무가 건물 옆구리로 새어 나가지 않게 한다. 소버린 AI는 국가 기술 독립에 관한 철학적 구호가 아니다. 이는 모든 보안 책임자가 이미 답하지 못하고 있는 질문에 대한 실무적 해답이다. 우리 데이터는 어디로 가고 있으며, 우리는 그것을 증명할 수 있는가?
그 대시보드를 처음 봤을 때의 본능은 메모를 돌리는 것이다. 도구를 금지하는 것. 나도 초기에 그 발상을 한번 시험해 봤는데, 그것이 왜 무너지는지 정확히 말해 주고 싶다 — 그 실패가 바로 이 회사가 존재하는 이유 전부이기 때문이다.
AI를 금지한다고 회사에서 AI가 사라지는 것은 아니다. 그저 그것에 대한 당신의 가시성만 사라질 뿐이다.
숫자가 내가 하는 것보다 더 잘 설명해 준다. IBM의 2025년 데이터 유출 비용 보고서는 다음을 밝혀냈다. 다섯 조직 중 하나가 이미 섀도 AI와 관련된 유출을 겪었다 — IT의 인지 없이 사용된 비승인 도구들이다. 그러한 유출은 전통적 사고보다 평균 670,000달러 더 많은 비용이 들었고, 탐지하는 데 247일이 걸린 반면 다른 모든 사고는 241일이 걸렸다. 별도의 설문조사는 이를 직설적으로 표현했다. 직원의 43%가 고용주가 승인한 적 없는 AI 도구에 민감한 업무 정보를 공유한 적이 있다고 인정한다. 금지는 그 행동을 바꾸지 못한다. 일이 잘못됐을 때 당신이 가장 늦게 알게 될 것을 보장할 뿐이다.
왜 프라이빗 챗봇으로는 섀도 AI가 해결되지 않는가?
그러니 금지할 수 없다면, 안전한 대안을 만드는 것이다. 내부 챗봇을 세우고, 좋은 모델에 연결하고, 모두에게 대신 그것을 쓰라고 하는 것이다. 바로 여기서 나는 가장 값비싼 실수를 저질렀고, 거의 모두가 이 실수를 저지르기 때문에 곱씹어 볼 가치가 있다.
내가 가까이서 지켜본 첫 내부 배포는 시연에서는 훌륭해 보였다. 깔끔한 인터페이스, 빠른 응답, 회사 문서를 알고 있는 모델. 우리는 그것을 자랑스러워했다. 그런데 파일럿 중에, 주니어 직급의 누군가가 보상 계획에 관한 질문을 던졌고 — 챗봇이 답했다. 완전하게. 정확하게. 그 사람이 읽을 자격이 전혀 없던 문서에서 끌어온 세부 사항까지 담아서.
해킹된 것은 아무것도 없었다. 검색 시스템은 우리가 만든 그대로 정확히 동작했다. 가장 관련성 높은 문서를 찾아 모델에 먹인 것이다. 우리는 그저 그것에게 관련성과 권한이 서로 다른 것임을 결코 가르치지 않았을 뿐이었다. 그 챗봇은 건물 안 잠긴 모든 방의 마스터 키를 받아 든 성실한 사서였다.
그날 오후는 내게 문제 전체를 다시 규정해 주었다. 모델은 결코 어려운 부분이 아니었다. 어려운 부분은 권한이다.
벤더 시연에서는 아무도 말해 주지 않는 것이 있다. 대부분의 기업은 Active Directory 속에 파묻힌 수년간 누적된 접근 로직을 안고 있다 — 중첩된 보안 그룹, 상속된 권한, 배포 목록, 그리고 오래전 떠난 사람들이 서로 겹겹이 쌓아 올린 조직 단위들. 검색 시스템을 만들 때 순진한 접근은 각 텍스트 청크에 누가 볼 수 있는지를 담은 평평한 목록을 태깅하는 것이다. 그런데 그것은 현실 세계의 그룹 중첩에 부딪히는 순간 무너진다. 어떤 문서는 한 그룹으로부터 접근 권한을 상속하고, 그 그룹은 또 다른 그룹에서 상속하며, 그 그룹에는 한 외주 계약자가 수년 전 단 하나의 프로젝트를 위해 추가되어 있었다.
이것을 제대로 해내는 것이 실제 작업이다. 우리는 아이덴티티 제공자 — Active Directory, Okta, Azure AD — 와 문서가 있는 벡터 데이터베이스 사이에 위치하는 동기화 계층을 만들었다. 그것은 그룹 멤버십을 재귀적으로 해석하고, 그 상속 사슬을 평평하게 펴며, 촘촘한 주기로 접근 메타데이터를 갱신한다. 대부분의 배포에서 우리는 60초에서 90초마다 동기화한다. 그러나 밤잠을 설치게 하는 경우는 해고다. 누군가가 오전 9시에 밖으로 안내되어 나가는데, 시스템이 오전 9시 5분에도 여전히 그 사람의 접근 권한으로 답하고 있어서는 안 된다. 그래서 권한 취소는 다음 동기화를 기다리지 않는다 — 계정이 비활성화되는 즉시 Okta나 Azure AD 웹훅이 발동하여 즉각적인 삭제를 실행한다.
관련성과 권한은 같은 것이 아니며, 둘을 혼동하는 검색 시스템은 정확히 엉뚱한 사람에게 올바른 답을 건네주게 된다. 어떤 주요 RAG 플랫폼도 이것을 기본 제공으로 해결하지 못한다 — 나는 직접 찾아봤다.
그것은 마케팅용 자신감이 아니다 — 내가 직접 찾아보고 발견한 것이다. TrueFoundry, Databricks, 클라우드 네이티브 검색 제품들 모두 부분적인 답을 가지고 있다. 읽기 전용 권한 검사, 주기적 동기화. 그중 어느 것도 규제 대상 기업이 실제로 운영하는 그룹 정책과 속성 기반 규칙 — 시간 제한 접근, "관리되는 기기에서만", 분류 등급 — 의 전체 그림을 상속하지는 못한다. 그래서 우리는 그 정책 엔진을 맞춤 작업으로 구축한다. 거기에는 지름길이 없기 때문이다. 이 권한 시행이 처음부터 끝까지 어떻게 작동하는지 전체 아키텍처를 보고 싶다면, 우리의 소버린 AI 및 프라이빗 LLM 배포 페이지에 정리되어 있다.
프랑크푸르트 데이터 센터가 당신의 AI를 유럽산으로 만들어 주는가?
두 번째 함정이 있는데, 이것은 규정 준수처럼 보이기 때문에 더 미묘하다. 많은 기업이 관리형 옵션 — Azure OpenAI, AWS Bedrock — 을 택하고 안전하다고 느낀다. 데이터는 그들의 클라우드 테넌트 안에 남는다. VPC 엔드포인트, 프라이빗 네트워킹, 겹겹의 인증이 있다. 상당수의 기업에게 그것은 진정으로 옳은 답이며, 그럴 때는 고객 앞에서도 그렇게 말한다.
그러나 그 기술적 사실 밑에는 사람들이 끊임없이 놓치는 법률적 사실이 하나 있다. 당신의 AI를 프랑크푸르트 데이터 센터에 호스팅한다고 해서 그것이 유럽산이 되는 것은 아니다. Microsoft와 Amazon은 미국에 본사를 둔 기업이며, 그로 인해 이들은 미국 CLOUD Act의 적용 대상이 된다. 이 법은 미국 법 집행기관이 미국 기업에게 전 세계 어디에 저장된 데이터든 넘겨주도록 강제할 수 있게 한다. GDPR 제48조는 외국 법원의 명령이 국제 협정이 있을 때만 여기서 유효하다고 규정한다. 이 두 법은 서로 반대 방향을 가리키고, 당신의 데이터는 그 틈에 놓여 있다.
이것은 2026년 3월에 더 이상 이론이 아니게 되었다. 오스트리아 데이터 보호 당국은 미국 기반 AI API를 통해 신용 평가를 수행한 빈의 한 핀테크 기업에 45만 유로의 벌금을 부과했다 — 이를 GDPR상 불법적인 데이터 이전으로 판정한 것이다. 그 회사는 거의 모두가 그러하듯, 유럽 지역 호스팅이면 충분하다고 가정했다. 그렇지 않았다. 나는 그 판정을 북마크에 담아 두는데, 대부분의 이사회가 스스로 지고 있는지도 모르는 리스크를 내가 찾아낸 것 중 가장 명확하게 보여주는 사례이기 때문이다.
그 거울상 사례는 미국의 한 병원 체인이다. 거기서는 CLOUD Act가 거의 문제가 되지 않지만, HIPAA의 비즈니스 협력사 요건과 — 연방 계약에 손대는 순간 — NIST AI 리스크 관리 프레임워크 및 FedRAMP High가 대신 당신이 그어야 할 경계선이 된다. 관할권 문제는 같은 형태를 유지하며, 벽에 걸린 법령만 바뀔 뿐이다.
유럽 고객이 없는 미국 금융 회사에게는 이 중 어느 것도 문제가 되지 않으며 Azure OpenAI가 대개 정확히 옳은 선택이다. 자기 고객의 데이터를 처리하는 유럽 은행에게는 그 셈이 뒤집힌다 — 그리고 CLOUD Act 노출을 완전히 제거하는 유일한 구성은, 그 운영자가 미국 관할권의 적용을 받지 않는 인프라 위에서 오픈 웨이트 모델을 자체 호스팅으로 배포하는 것이다. 그것이 바로 유럽 소버린 클라우드 제공자들 — OVHcloud, Scaleway, 그리고 유럽에서 새로 가동되는 Blackwell 용량 — 의 실제 기능이다. 애국심이 아니다. 관할권이다.
그리고 마감은 실제다. EU AI Act 제50조의 투명성 의무는 2026년 8월 2일에 집행 가능해진다. AI Act의 벌칙을 GDPR의 벌칙 위에 쌓으면 합산 상한은 5,500만 유로, 또는 전 세계 연간 매출의 11%에 이른다. 그것은 감당하고 넘어가는 벌금이 아니다. 그것은 커리어를 끝장내는 숫자다.
"그냥 API를 쓰면 되잖아" — 내가 매달 나누는 대화
내가 가장 자주 듣는 반론은 재정적인 것이고, 그럴 만하다. 자체 호스팅은 비싸게 들린다. API가 신용카드 결제 한 번이면 되는데 왜 GPU를 사고 팀을 고용하는가?
왜냐하면 셈이 뒤집히기 때문이며, 그것이 뒤집히는 지점은 사람들이 예상하는 것보다 더 구체적이다. 자체 호스팅하는 700억 파라미터 모델의 경우, 추론 비용은 대략 1,000토큰당 0.013달러 정도다. GPT-4o mini 같은 호스팅형 API를 통한 동일한 작업은 1,000토큰당 0.15달러에서 0.60달러가 든다. 그것은 반올림 차이가 아니다. 하지만 그것은 일정 볼륨 이상에서만 의미가 있는데, 자체 호스팅 GPU는 사용하든 놀리든 비용이 들기 때문이다.
손익분기점은 대략 하루 200만 토큰 근처에 있다. 그 선 아래에서는 API가 이긴다 — 놀고 있는 하드웨어에 비용을 내지 않으니, 나는 눈 하나 깜짝 않고 고객에게 API를 계속 쓰라고 말한다. 그 위에서는 자체 호스팅이 추론 비용의 60~85%를 절약한다. 내가 아는 어느 핀테크는 하이브리드 자체 호스팅으로 옮겨 월간 AI 청구액을 47,000달러에서 8,000달러로 줄였다.
그러나 — 그리고 이것이 GPU 가격표가 감추는 부분인데 — 하드웨어가 가장 큰 항목인 경우는 드물다. 오늘날 가격으로 H100은 시간당 2.50달러에서 3.50달러에 임대되며, Llama 3.3 70B 같은 오픈 웨이트 모델을 구동하는 단 한 대가 2초 미만의 지연 시간으로 30~50명의 동시 사용자를 처리한다. 비싼 부분은 사람이다. MLOps 엔지니어가 필요하다 — 프로덕션 안정성을 위해 최소 두 명 — 각 20만~35만 달러, 여기에 모니터링, 평가 파이프라인, 롤백 전략이 더해진다. 모델 운영이 처음인 팀의 경우, 총소유비용은 첫해에 순수 API 비용의 약 3.2배에 이른다. 기존 도구를 갖춘 성숙한 팀의 경우 약 1.8배로 떨어진다.
그토록 극적으로 청구액을 줄인 그 핀테크? 그것이 통한 것은 왜냐하면 그들에게 이미 Kubernetes 팀과 18개월의 운영 상흔이 있었기 때문이었다. 똑같은 조치가 현장에서 배우며 하는 팀이었다면 파산시켰을 것이다.
GPU는 자체 호스팅에서 가장 저렴한 부분이다. 그것을 돌아가게 유지하는 두 명의 엔지니어야말로 셈이 실제로 맞아떨어지는지를 결정하는 항목이다 — 그리고 "자체 호스팅해야 할까?"라는 질문에 "당신의 볼륨과 팀에 달려 있다"보다 빠르게 답하는 사람은 누구든 당신에게 무언가를 팔고 있는 것이다.
이 모든 것 밑에 깔린 좋은 소식은, 오픈 웨이트 모델이 이 질문을 던져 볼 가치가 있을 만큼 충분히 좋아졌다는 것이다. Llama 3.3 70B는 MMLU 벤치마크에서 86%를 기록하며 자체 호스팅 시 동등한 API보다 대략 25배 저렴하게 구동된다. DeepSeek-V3는 88.5%를 기록한다 — 그 지표에서 최전선 독점 모델을 근소하게 앞선다. 기업 업무의 대다수에 대해, 당신 자신의 벽 안에서 구동할 수 있는 모델은 2년 전과 같은 타협이 더 이상 아니다.
AI가 단지 말하는 것을 멈추면 무슨 일이 벌어지는가
한 가지 발전이 이 모든 것을 신중한 사안에서 긴급한 사안으로 바꾼다. 당신 회사의 AI는 곧 챗봇이기를 멈추고 에이전트가 되려 하고 있다 — 질문에 답하기만 하는 것이 아니라, 당신 시스템에 상시 접근 권한을 가지고 행동을 취하는 소프트웨어 말이다.
Gartner는 2026년 말까지 기업 애플리케이션의 40%가 AI 에이전트를 내장할 것으로 예상하는데, 이는 1년 전의 5% 미만에서 오른 수치다. 그러나 실제로 에이전트를 파일럿에서 프로덕션으로 옮긴 기업은 약 5%에 불과하며, 보안 상황은 진정으로 우려스럽다. 보안 책임자의 92%가 자기 환경에서 이미 작동 중인 AI 아이덴티티에 대한 완전한 가시성이 부족하다고 말한다. 당신의 CRM을 읽고, 티켓을 발행하고, 돈을 옮길 수 있는 에이전트는 PDF를 요약할 수 있는 챗봇과는 매우 다른 리스크다.
내가 설명한 모든 것 — 권한 시행, 관할권 통제, 프롬프트 인젝션을 잡아내는 런타임 가드레일 — 은 당신의 AI가 행동할 수 있게 되는 순간 있으면 좋은 정도의 것이기를 멈춘다. 엉뚱한 문서를 검색해 오는 챗봇은 창피한 일이다. 상시 접근 권한을 가졌으되 권한 경계가 없는 에이전트는 날짜만 기다리고 있는 사고다.
이것이 내가 당신에게 남기고 싶은 재규정이다. 가드레일 계층도 여기서 중요하다 — 그리고 NVIDIA의 NeMo Guardrails 같은 기성 옵션은 호출당 100~300밀리초의 실질적인 지연을 더한다는 점을 알아 둘 가치가 있다. 그래서 우리는 범용 필터를 덧붙이는 대신 정책 로직을 특정 규정 준수 패턴에 맞춰 튜닝한다. 하지만 더 깊은 요점은 아키텍처적이다. 당신은 통제하지 않는 인프라 위에 에이전트를 올려놓고 그것을 거버넌스된 것이라 부를 수 없다.
사람들이 늘 반발하는 대목
사람들은 내게 정말로 선택을 해야만 하는지 묻는다 — 일부 클라우드 API를 유지하면서도 여전히 스스로를 소버린이라 부를 수 있는지. 그렇다. 내가 권하는 대부분의 배포는 하이브리드이며, 민감한 워크로드는 프라이빗 인프라에, 저위험 워크로드는 관리형 API에 두고, 어느 것이 어느 쪽인지 결정하는 명확한 정책 경계를 둔다. 소버린티는 결코 전부 아니면 전무의 서약이 아니었다. 그것은 올바른 자리에 선을 긋고 그 선이 어디에 있는지 증명할 수 있는 것이다.
또 다른 질문은 타이밍이다 — 너무 이르지 않은가? 오스트리아의 벌금은 이미 떨어졌다. 제50조 마감은 달력에 적혀 있다. 당신이 이 글을 읽는 동안에도 당신 직원들은 당신이 승인하지 않은 수백 개의 도구에 데이터를 붙여 넣고 있다. 일찍 움직이는 비용은 하나의 프로젝트다. 늦게 움직이는 비용은 매출의 11% 상한에 견주어 측정된다.
내가 Veriprajna를 시작한 것은, 성실한 작은 챗봇이 한 주니어 직원에게 결코 보여줘서는 안 될 급여를 건네는 것을 지켜봤기 때문이며, 그때 업계 전체가 모델을 팔고 있는 반면 실제 문제는 통제였음을 깨달았기 때문이다. 모델은 쉬운 부분이다. 언제나 그랬다.
당신의 직원들은 AI를 쓰기 위한 허락을 기다리고 있지 않다. 남은 유일한 질문은, 그들이 쓰고 있는 그 AI가 당신에게 응답하는가 하는 것이다.
특정 리스크 프로파일에 맞춰 우리가 그 통제를 어떻게 설계하는지 — 프라이빗과 관리형 사이의 선이 어디에 놓여야 하는지, 권한 계층이 어떻게 구축되는지, 당신 팀에게 실제 총비용이 어떻게 보이는지 — 를 보고 싶다면, 그것이 바로 우리가 정직하게, 그리고 벤더 중립적으로 정리해 둔 내용이다. 우리의 Veriprajna 소버린 AI 페이지에서 확인할 수 있다. 당신의 대시보드를 가져오라. 나는 이미 그것이 대략 무엇을 말하는지 알고 있다.
