AI에 350억 달러를 쏟아붓고, 우리가 돌려받은 것은 거의 없습니다
전화는 화요일 저녁에 걸려 왔습니다. 저희가 자문해 오던 중견 헬스케어 기업 한 곳이 방금 주력 AI 프로젝트를 접었다고 했습니다. 9개월의 작업. 여섯 자리 숫자의 지출. CTO의 목소리는 화가 났다기보다 지쳐 있었습니다. "데모에서는 완벽하게 작동했습니다." 그가 제게 말했습니다. "매번 그랬죠. 그런데 실제 환자 데이터에 연결하자마자 보험 코드를 환각하기 시작했습니다."
무슨 말을 해야 할지 몰랐습니다. 그 분기에만 이런 이야기의 여러 버전을 열 번도 넘게 들었기 때문입니다. 회의실에서는 눈부시게 빛나다가 프로덕션에서는 무너져 내리는 AI. 첫 달에는 흥분을 자아내고 여섯 번째 달에는 예산 검토를 부르는 파일럿. 생성형 AI가 약속하는 것과 실제로 내놓는 것 사이의 간극은 실제 기업 안에서 지금 이 시점의 기술을 규정하는 핵심 긴장입니다.
그리고 이제 그것을 증명할 숫자가 나왔습니다. MIT NANDA 이니셔티브는 2025년 중반에 수류탄처럼 떨어진 연구를 발표했습니다. 기업들이 생성형 AI에 쏟아부은 것으로 추정되는 300억~400억 달러 가운데, 대략 파일럿의 95%가 손익계산서에 측정 가능한 영향을 주지 못했습니다. 맥킨지의 2025년 자체 설문조사도 같은 이야기를 합니다 — 조직의 88%가 어딘가에서 AI를 쓰고 있다고 답하지만, EBIT 영향을 조금이라도 짚어낼 수 있는 곳은 39%뿐입니다.
저는 기업을 위한 딥 AI 시스템을 구축하는 Veriprajna를 운영하고 있습니다. 이 문제에서 저는 중립적인 관찰자가 아닙니다. 하지만 그 잔해에 — 그리고 드문 성공 사례에 — 충분히 가까이 있었기에, 실제로 무엇이 잘못되고 있는지에 대한 분명한 그림을 가지고 있습니다. 그리고 그것은 대부분의 사람들이 생각하는 것과 다릅니다.
데모는 훌륭했습니다. 그리고 현실이 나타났습니다.
그 헬스케어 CTO의 경험은 특이한 사례가 아니었습니다. 사실상 중간값에 해당하는 결과였습니다.
MIT의 데이터는 잔혹한 퍼널을 그려냅니다. 조직의 80%가 생성형 AI 도구를 탐색합니다. 파일럿까지 가는 곳은 20%뿐입니다. 그리고 측정 가능한 비즈니스 성과와 함께 프로덕션에 도달하는 곳은 단 5%입니다. 연구진은 이를 "학습 격차"라고 부르는데, 이는 대부분의 기업이 자신들이 무엇을 샀는지 이해하지 못한다는 말을 점잖게 표현한 것입니다.
MIT 보고서 전문을 읽고 나서 사무실에 앉아, 95%라는 숫자가 지나치게 극적인 것 아니냐고 공동 창업자와 논쟁했던 기억이 납니다. 그렇지 않았습니다. 오히려 문제를 축소한 쪽에 가까웠습니다. "성공한" 5% 중 상당수가 성공의 기준을 아래로 재정의했기 때문입니다 — 실제 매출 영향 대신 도입률이나 사용자 만족도를 측정한 것이죠.
제가 계속 목격하는 패턴은 이렇습니다. 한 팀이 주요 LLM을 사용해 개념 증명을 만듭니다. 열 개의 샘플 쿼리를 훌륭하게 처리합니다. 경영진이 흥분합니다. 예산이 승인됩니다. 그런 다음 그 시스템이 실제 세계를 만납니다 — 지저분한 데이터, 엣지 케이스, 모호한 입력, 그리고 "이 정도면 충분하다"가 곧 소송이 되는 규제 요건들 — 그리고 무너집니다.
데모용 AI와 프로덕션용 AI 사이의 간극은 간극이 아닙니다. 협곡입니다. 그리고 대부분의 기업은 이미 뛰어내린 뒤에야 자신들이 잘못된 쪽에 서 있었다는 걸 깨닫습니다.
MIT 연구에서 사용자의 60%는 모델이 시간이 지나도 피드백으로부터 학습하지 못한다고 보고했습니다. 55%는 프롬프트 하나하나마다 컨텍스트를 제공하는 데 과도한 노력을 쏟는다고 답했습니다. 40%는 비표준 입력을 만나면 모델이 그냥 "고장 났다"고 말했습니다. 이것들은 이국적인 실패 모드가 아닙니다. 그냥 평범한 화요일입니다.
왜 기업들은 모래늪 위에 시스템을 짓고 있을까?
지금 엔터프라이즈 시장이 "AI 제품"이라고 부르는 것의 대부분은 래퍼입니다 — GPT-4나 Claude, Gemini에 대한 API 호출 위에 얹힌 얇은 사용자 인터페이스죠. 무언가를 입력하면 모델로 넘어가고, 모델이 응답하고, 래퍼가 그것을 보기 좋게 포맷합니다.
한 잠재 고객이 자신들의 "AI 기반 컴플라이언스 엔진"을 보여주던 피칭 미팅이 생생하게 기억납니다. 저는 제공업체 업데이트 이후 기반 모델의 동작이 바뀌면 어떻게 되느냐고 물었습니다. 방 안이 조용해졌습니다. 그들은 그 점을 고려하지 않았습니다. 그들의 제품 전체는 프롬프트 템플릿과 예쁜 대시보드였습니다. 그들이 팔고 있던 "지능"은 전부 빌려온 것이었습니다.
이것이 래퍼의 오류이고, 어디에나 있습니다. 이 접근법은 대개 업계에서 "메가 프롬프트"라고 부르는 것에 의존합니다 — 규칙, 데이터, 컨텍스트, 지시사항을 하나의 거대한 상호작용에 밀어 넣고 모델이 알아서 정리해 주기를 바라는 것이죠. 이 아키텍처 문제는 저희 연구의 인터랙티브 버전에서 더 깊이 다뤘습니다. 다만 짧게 말하자면, 메가 프롬프트는 세 가지 치명적인 문제를 만들어냅니다:
감사할 수 없습니다. 모델이 지시를 올바른 순서로 따랐는지 검증할 방법이 없습니다. 규제 준수 부담이 큰 산업에서는 시작조차 불가능한 조건입니다.
경제적으로 취약합니다. 긴 컨텍스트 윈도와 재시도는 토큰을 태워 없앱니다. 그리고 제가 처음 보고 충격을 받았던 숫자가 하나 있습니다. 효율적인 토크나이저와 비효율적인 토크나이저의 차이는 450%의 비용 편차를 같은 작업량에서 만들어낼 수 있습니다. 하루 10만 건의 고객 문의를 처리하는 기업이라면, 다국어 사용 사례에 잘못된 모델을 고르는 것만으로 연간 비용이 36,500달러에서 164,000달러 이상으로 뛸 수 있습니다.
깨지기 쉽습니다. 프롬프트에서 단어 세 개만 바꿔도 완전히 다른 출력이 나옵니다. 그 위에 SLA를 세워 보십시오.
경제적 함정은 기술적 함정보다 더 나쁩니다. OpenAI나 Anthropic이 API 가격을 낮추면 — 그리고 그들은 계속 낮출 것입니다 — 래퍼 회사들의 마진은 증발합니다. 그들은 데이터를 소유하지 않습니다. 워크플로도 소유하지 않습니다. 남의 지능에 마진을 붙여 되파는 것뿐이고, 집주인이 모두에게 임대료를 내리는 순간 전대인에게는 사업이 남지 않습니다.
"딥 AI"란 실제로 무엇을 뜻하는가?
이 개념이 제 머릿속에서 딱 맞아떨어진 순간을 말씀드리겠습니다.
저희는 물류 고객사를 위한 문서 처리 시스템을 작업하고 있었습니다. 초기 접근법은 단순했습니다. 선적 문서를 LLM에 보내고, 관련 필드를 추출하게 하고, 결과를 받는 것이었죠. 표준 양식에서는 잘 작동했습니다. 그러다 동남아시아 항구에서 온 컨테이너 적하목록을 만났습니다. 여러 언어가 섞인 주석, 손으로 쓴 정정 표시, 그리고 학습 데이터의 어떤 것과도 맞지 않는 형식이었습니다. 모델은 자신 있게 쓰레기를 반환했습니다.
일주일 동안 프롬프트 엔지니어링을 하며 새로운 실패 모드만 계속 만들어내던 저희 리드 엔지니어가 결국 이렇게 말했습니다. "우리는 하나의 뇌에게 일곱 가지 일을 시키고 있어요. 각 일을 전문가에게 맡기면 어떨까요?"
그것이 한 문장으로 표현한 딥 AI입니다. LLM을 모든 것을 처리하는 신탁으로 취급하는 대신, 더 큰 시스템의 한 구성 요소로 취급하는 것입니다. 문제를 분해합니다. 한 에이전트는 쿼리 이해를 담당합니다. 다른 에이전트는 구조화된 데이터베이스에서 데이터를 가져옵니다. 세 번째 에이전트는 알려진 규칙에 비추어 출력을 검증합니다. 네 번째는 응답을 포맷합니다. 각 에이전트에는 정의된 책임이 있고, 그들 사이의 워크플로는 결정론적입니다 — 즉, 순서와 로직, 검사 지점을 여러분이 통제한다는 뜻입니다.
딥 AI는 언어 모델을 CEO가 아니라 재능 있는 인턴으로 대합니다. 건물 열쇠를 넘기는 것이 아니라, 통제된 구조 안에서 구체적인 과업을 맡기는 것입니다.
이것을 가능하게 하는 에이전틱 설계 패턴들은 이론이 아닙니다. 지금 실제로 배포되고 있습니다:
하나는 리플렉션 패턴입니다. 에이전트가 사용자에게 보내기 전에 자신의 출력을 스스로 비평하는 방식이죠. 또 하나는 도구 사용 패턴입니다. 에이전트가 기억에서 답을 계산하려 하는 대신 외부 계산기나 API, 데이터베이스를 호출하는 방식이죠. 또 하나는 계획 수립 패턴으로, 복잡한 목표를 순차적인 단계로 분해합니다. 그리고 오케스트레이션 패턴은 감독자 에이전트가 전체 워크플로를 관리하며 각 작업을 적합한 전문가 에이전트에게 라우팅하는 방식입니다.
저희가 그 물류 시스템을 멀티 에이전트 오케스트레이션으로 재구축했을 때, 비표준 문서에 대한 추출 정확도는 약 60%에서 95% 이상으로 올라갔습니다. 더 중요한 것은, 시스템이 실제로 실패했을 때 어디서 왜 실패했는지 정확히 볼 수 있었다는 점입니다 — 시스템이 더 이상 블랙박스가 아니었기 때문입니다. 관찰 가능하고 감사 가능한 단계들로 이루어진 파이프라인이었습니다.
왜 토큰 비용이 엔터프라이즈 AI의 ROI를 죽이는가?
이 부분이 충분한 주목을 받지 못하는 지점입니다.
모두가 모델 정확도를 이야기합니다. 이 시스템들을 대규모로 운영할 때의 단위 경제성을 이야기하는 사람은 거의 없습니다. 하지만 저는 그 외에는 완벽하게 작동하던 AI 프로젝트의 사업 타당성을 토큰 비용이 조용히 살해하는 것을 지켜봐 왔습니다.
계산은 간단하지만 잔인합니다. 모델마다 텍스트를 토큰화하는 방식이 다릅니다 — 특히 영어가 아닌 텍스트와 복잡한 문자 체계에서요. 어떤 모델에서 800토큰이 드는 쿼리가 다른 모델에서는 4,500토큰이 들 수도 있습니다. 여기에 하루 수십만 건의 상호작용을 곱하면, AI가 가져다주기로 했던 효율성 이득을 통째로 지워버리는 비용 차이가 나옵니다.
타밀어와 영어로 운영하는 고객사를 위해 토큰화 분석을 돌렸을 때 저는 진짜로 놀랐습니다. 현재 모델과 더 효율적인 대안 사이의 비용 차이는 4.5배였습니다. 그들은 모든 상호작용마다 돈을 흘리고 있었고, 그것을 예산에서 "인프라 비용"으로 처리하고 있었습니다. 아무도 토크나이저를 들여다볼 생각을 하지 않았던 겁니다.
딥 AI 시스템은 비싼 LLM 토큰을 언제 쓸지에 대해 외과적으로 접근함으로써 이 문제를 해결합니다. 대량이면서 복잡도가 낮은 작업은 더 작은 모델이나 결정론적 로직이 처리합니다. 값비싼 추론 능력은 실제로 그것이 필요한 단계에만 남겨 둡니다. 모든 전화를 시니어 컨설턴트가 받게 하는 것과, 판단이 필요한 결정에만 그를 집중시키는 것의 차이입니다.
아무도 따르지 않는 10-20-70 법칙
AI 프로젝트가 왜 멈춰 섰는지 경영진과 이야기하면, 그들은 거의 언제나 기술을 지목합니다. 모델이 충분히 좋지 않았다. 데이터가 깨끗하지 않았다. 통합이 너무 복잡했다.
그 말들이 틀린 건 아닙니다. 하지만 진짜 비율을 놓치고 있습니다. 실제로 EBIT 영향을 보고 있는 기업들은 — 맥킨지에 따르면 AI로 전체 EBIT의 5% 이상을 얻는 곳은 6%에 불과합니다 — 대부분의 기술자들을 놀라게 할 자원 배분을 따릅니다:
노력의 10%는 알고리즘을 선택하고 튜닝하는 데 들어갑니다. 20%는 데이터와 기술 인프라를 구축하는 데 들어갑니다. 70%는 사람과 프로세스, 그리고 문화적 전환을 관리하는 데 들어갑니다.
70퍼센트입니다. 기술이 아니라. 사람들이 일하는 방식을 바꾸게 만드는 데 말입니다.
저는 이 생각에 필요 이상으로 오래 저항했습니다. 저는 본능적으로 엔지니어입니다. 더 나은 시스템을 만들면 도입은 따라올 거라고 믿고 싶었습니다. 기술적으로 훌륭한 솔루션을 납품했는데 아무도 그 주변의 워크플로를 재설계하지 않아 석 달 동안 쓰이지 않고 방치된 고통스러운 프로젝트를 겪고 나서야, 기술이 쉬운 쪽이라는 걸 체득했습니다.
10-20-70 원칙을 따르는 중견 기업들은 24개월 안에 EBITDA를 160~280베이시스포인트 개선합니다. 기술에 70%, 변화 관리에 10%를 쓰는 기업들은 값비싼 셸프웨어를 얻습니다.
성과들은 화려하지 않습니다. 수익 주기 관리. 현금 적용 자동화. 클라우드 비용 최적화. 퇴원했지만 최종 청구되지 않은 클레임 백로그를 줄이는 일에 대해 숨 가쁜 링크드인 게시물을 쓰는 사람은 없습니다. 하지만 Inova Health System은 그 백로그를 50% 줄여 연간 130만 달러를 절감했습니다. OSF HealthCare의 AI 가상 비서는 120만 달러를 절감했고, 여기에 더해 증가시킨 매출이 추가로 120만 달러였습니다. UPS는 AI 기반 경로 최적화로 연간 4억 달러를 절감합니다.
이것들은 파일럿 결과가 아닙니다. 래퍼로는 건드릴 수 없는 수준의 깊은 통합으로 구축되어 대규모로 운영되는 프로덕션 시스템들입니다.
AI 에이전트가 스스로 행동하기 시작하면 무슨 일이 벌어지는가?
AI가 질문에 답하는 단계에서 AI가 행동을 취하는 단계로 넘어가면 보안 계산법 자체가 완전히 달라집니다.
저는 이 문제를 많이 생각해 왔습니다. 부분적으로는 테스트 중에 있었던 아슬아슬한 일 때문입니다. 저희는 고객사의 ERP에 접근해 재고 데이터를 가져와야 하는 에이전틱 시스템을 만들고 있었습니다. 테스트 실행 중에 그 에이전트는 — 기술적으로는 논리적이지만 맥락상으로는 잘못된 추론 사슬을 따라 — 구매 주문을 읽기만 하는 대신 수정하려고 시도했습니다. 저희에게는 안전장치가 있었습니다. 실행되지는 않았습니다. 하지만 그 뒤 책상에 앉아, 만약 저희가 덜 조심스러웠다면 어떤 일이 벌어졌을지 생각했습니다.
그래서 Model Context Protocol(MCP)이나 NANDA 프레임워크 같은 표준이 그토록 중요합니다. Anthropic이 개발한 MCP는 AI 에이전트와 기업 데이터 소스 사이의 표준화된 통합 계층 역할을 합니다. 사람들은 이를 "AI의 USB-C"라고 부르는데 적절한 비유입니다. 모든 연결마다 맞춤형의 취약한 통합을 만들 필요가 없다는 뜻이니까요. NANDA는 거버넌스 계층을 제공합니다 — 암호학적으로 검증 가능한 역량 증명(에이전트가 무엇을 하도록 허용되고 허용되지 않는지를 증명할 수 있다는 뜻), 자율 에이전트까지 확장된 제로 트러스트 접근 제어, 그리고 중앙화된 감사 추적입니다.
이러한 아키텍처 패턴들과 그것들이 어떻게 맞물리는지에 대한 완전한 기술적 분석은 저희 연구 논문에서 확인하실 수 있습니다.
요점은 에이전틱 AI가 위험하니 속도를 늦춰야 한다는 것이 아닙니다. 요점은, 모델이 무엇을 왜 하고 있는지에 대한 가시성이 거의 없는 래퍼 방식이 모델이 현실 세계에서 행동을 취할 수 있게 되는 순간 진정으로 무모해진다는 것입니다. 관찰 가능하고 통제되는 워크플로를 갖춘 딥 AI 시스템은 단지 더 나은 엔지니어링이 아닙니다. 기업에서 자율 에이전트를 배포하는 유일하게 책임 있는 방법입니다.
"그냥 GPT 쓰세요"와 그 밖의 값비싼 조언들
사람들은 늘 제게 모델이 더 좋아질 때까지 그냥 기다리면 되지 않느냐고 묻습니다. "GPT-5가 이걸 해결할 겁니다." 어느 저녁 식사 자리에서 한 투자자가 이렇게 말하는 걸 들었습니다. "다음 모델 버전이 네이티브로 처리해 줄 텐데 왜 이 모든 인프라를 만듭니까?"
이 주장의 매력은 이해합니다. 깔끔합니다. 힘든 일을 요구하지 않습니다. 그리고 틀렸습니다.
더 좋은 모델은 래퍼 문제를 고치지 못합니다. 오히려 악화시킵니다. 메가 프롬프트 아키텍처에 더 강력한 모델을 넣는 것은 핸들 없는 자동차에 포뮬러 1 엔진을 다는 것과 같습니다. 잘못된 방향으로 더 빨리 갈 뿐입니다. 엔터프라이즈 AI를 죽이는 문제들 — 감사 가능성의 부재, 취약한 프롬프트, 피드백 루프의 부재, 비즈니스 컨텍스트의 결여, 통제되지 않는 비용 — 은 역량의 문제가 아니라 아키텍처의 문제입니다.
섀도 AI 경제가 이를 증명합니다. 직원의 90% 이상이 회사의 공식 AI 도구가 너무 경직되어 있다는 이유로 이미 개인 ChatGPT나 Claude 계정을 몰래 업무에 쓰고 있습니다. 모델은 충분히 유능합니다. 그 주변의 시스템이 그렇지 못한 것입니다.
더 좋은 모델이 나쁜 아키텍처를 구해주지는 않습니다. 그저 더 빠르고 더 자신 있게 환각할 뿐입니다.
제가 받는 또 다른 질문은 일정에 관한 것입니다. "이게 실제로 얼마나 걸립니까?" 정직한 답은, 흩어진 실험에서 P&L을 움직이는 AI까지 가는 데 12~18개월이 걸린다는 것입니다. 처음 3개월은 발견 단계입니다 — 규제 리스크를 만들지 않으면서 AI가 가치를 창출할 수 있는 지점을 찾아내는 것이죠. 3개월에서 6개월은 데이터 준비 단계인데, CXO의 58%가 여기서 막힌다고 말합니다. 6개월에서 12개월은 멀티 에이전트 프로토타입을 만들고 반복하는 기간입니다 — 잘 다듬은 데모 세 개가 아니라, 실제 데이터를 상대로 30회 이상의 반복 주기를 돈다는 뜻입니다. 마지막 단계는 완전한 운영 지원을 갖춘 프로덕션 배포입니다. 드리프트 탐지, 편향 모니터링, 비용 거버넌스가 여기에 포함됩니다.
빠르지 않습니다. 쉽지도 않습니다. 하지만 이것을 해내는 기업들이 실제 EBIT 영향과 함께 맥킨지의 6%에 등장하는 기업들입니다.
그 격차는 선택이다
MIT가 지목한 "GenAI 격차"는 기술의 격차가 아닙니다. 의사결정의 격차입니다.
한쪽에는 생성형 AI를 사들일 제품으로, 배포할 래퍼로, 이사회에 보여줄 데모로 취급한 기업들이 있습니다. 그들이 95%입니다. 실제 돈을 쓰고 보도자료를 얻었습니다.
다른 한쪽에는 AI를 아키텍처의 과제로 취급한 기업들이 있습니다 — 문제를 분해하고, 워크플로를 통제하고, 프로세스를 재설계하고, 모델을 기업 데이터의 지저분한 현실에 연결하는 화려하지 않은 작업을 해내야 하는 과제로요. 그들이 5%입니다. 비슷한 돈을 쓰고 EBIT 영향을 얻었습니다.
가끔 그 헬스케어 CTO를 생각합니다. 화요일에 지친 목소리로 전화해, 방금 AI 프로젝트를 접었다고 말했던 그 사람이요. 그는 넉 달 뒤에 다시 전화했습니다. 그의 팀은 멀티 에이전트 방식으로 시스템을 재구축했습니다 — 데이터 추출, 코드 검증, 컴플라이언스 확인을 담당하는 별도의 에이전트들과 그 사이의 결정론적 인계 절차를 두고요. 원래 데모만큼 우아하지는 않았습니다. 만드는 데 더 오래 걸렸습니다. 워크플로 설계와 실패 모드에 대해 더 많은 사전 고민을 요구했습니다.
작동했습니다. 완벽하지는 않게 — 완벽한 건 아무것도 없으니까요 — 그러나 배포하고, 감사하고, 개선하기에 충분히 안정적으로요. 손익계산서에 등장하기에 충분할 만큼 안정적으로요.
AI를 마술처럼 취급하던 시대는 끝났습니다. 다음에 오는 것은 더 어렵고, 더 느리고, 덜 근사합니다. 그리고 그것만이 실제로 작동하는 유일한 것이기도 합니다.
