초록불 대시보드는 거짓말을 했다: 엔터프라이즈 AI 검증이 실제로 테스트해야 하는 것

저는 커리어의 상당 부분을 회의실에서 '아니요, 그 모델은 아직 검증되지 않았습니다'라고 말하는 역할로 보냈습니다. 은행업에서 이 기능에는 무미건조한 이름이 붙어 있습니다. 바로 SR 11-7에 따른 독립 모델 검증인데, SR 11-7은 2011년부터 모델 리스크를 규율해 온 연방준비제도(Fed)와 통화감독청(OCC)의 지침입니다. 이 일은 이름에서 풍기는 딱 그만큼 화려합니다. 아무도 읽지 않는 한계점 부록을 읽습니다. 데모에 등장하지 않는 사례에서 모델이 어떻게 동작하는지 벤더에게 묻습니다. 그리고 이따금 감사위원회에 앉아, 온통 안심될 만큼 초록불인 대시보드를 마주합니다. 모든 항목에 체크가 되어 있고, 모든 정책이 매핑되어 있으며, 모든 컴플라이언스 상태가 정상으로 표시되어 있죠. 그러면서도 그 초록불이 정작 그것이 실제로 작동하는지에 대해서는 거의 아무것도 말해 주지 않는다는 사실을, 가라앉는 기분으로 알고 있습니다.

바로 그 간극이 이 글 전체가 다루는 주제이며, 우리가 Veriprajna의 엔터프라이즈 AI 검증 사업을 유행에 뒤진 단 하나의 아이디어를 중심으로 구축한 이유입니다: 프로세스가 아니라 답을 테스트해야 한다는 것. 거버넌스 대시보드는 절차가 준수되었음을 증명합니다. 그것은 여러분의 AI가 이 보험계약자, 이 대출, 이 법령에 대해 옳은 답을 내놓았는지는 증명하지 않습니다. 이사회 회의에서는 이 둘이 끊임없이 혼동되며, 그 혼동은 비싼 대가를 치릅니다.

얼마나 비싼지 보여 드리겠습니다.

클라르나는 40%를 절감했다 — 그리고 9,900만 달러를 잃었다

2024년, 클라르나는 자사의 AI 어시스턴트가 고객 서비스 상담원 700명을 대체했다고 세상에 알렸습니다. 이 어시스턴트는 35개 언어에 걸쳐 전체 채팅의 약 3분의 2를 처리하고 있었습니다. 거래당 비용은 $0.32에서 $0.19로, 약 40% 떨어졌고, 헤드라인은 저절로 쓰였습니다. 이것이 미래였습니다. 더 날렵하고, 더 빠르고, 더 저렴한 미래.

2025년 중반에 이르러 그들은 소프트웨어 엔지니어와 마케터를 콜센터 인력으로 재배치하고 있었습니다. CSAT(고객 만족도) 점수는 22% 떨어졌습니다. 고객들은 까다로운 사안 — 이의가 제기된 청구, 다툼이 있는 환불, 계정 해지 — 에서 언론이 '카프카적 루프'라 부른 상황에 부딪히고 있었습니다. 클라르나의 2025년 1분기는 전년의 4,700만 달러에서 늘어난 9,900만 달러의 순손실로 마감되었으며, 그럼에도 불구하고 15% 매출은 성장했습니다. CEO는 대규모 자동화가 '서비스 품질 저하로 이어졌다'고 인정했습니다.

제가 체득하는 데 한참 걸린 부분이 여기 있는데, 이는 대부분의 사람들이 얻은 교훈과는 정반대입니다. 클라르나의 AI는 작동했습니다. 비밀번호 재설정과 주문 상태 문의에서는 정말로 비용을 절감했습니다. 실패는 AI가 형편없었다는 데 있지 않았습니다. 실패는, 재무적·평판적 무게의 대부분을 짊어지는 20%의 상호작용 — 분쟁, 엣지 케이스, 이탈과 불만으로 이어지는 사안들 — 을 AI가 처리할 수 있는지 아무도 검증하지 않았다는 데 있었습니다. 독성 필터라면 그 망가진 대화들 하나하나를 모두 통과시켰을 것입니다. AI는 실패하는 와중에도 공손했습니다.

AI는 불쾌한 말을 전혀 하지 않았습니다. 다만 취소된 항공편과 이의가 제기된 청구가 얽힌 다중 통화 환불을 처리해 내지 못했을 뿐입니다. 그리고 바로 그것이 중요한 20%였습니다.

클라르나는 예외적 사례가 아닙니다. 제가 이야기를 나누는 모든 기업에서 조용히 벌어지고 있는 일의 가시적인 버전일 뿐입니다. 엔터프라이즈 AI 프로젝트의 약 70%에서 85%는 아예 프로덕션에 도달하지 못하는데, 이는 RAND, 가트너, BCG, 맥킨지가 모두 독립적으로 비슷하게 도출한 수치입니다. 2025년 MIT의 NANDA 연구는 AI 파일럿의 95%가 측정 가능한 손익 영향을 전혀 내지 못했음을 밝혀냈습니다. 맥킨지는 2025년에 42%의 기업이 자사 AI 이니셔티브의 대부분을 포기했다고 보고했는데, 이는 전년의 17%에서 늘어난 수치입니다. 파일럿은 데모에서는 아름답게 작동합니다. 그리고 데모가 결코 보여 주지 않은 사례들과 맞닥뜨리는 순간 죽어 버립니다.

우리는 처음에 엉뚱한 것을 만들었다

우리가 어떻게 프로세스 대신 답을 테스트하는 데 이르렀는지 솔직히 말하고 싶습니다. 우리는 영리해서 거기에 도달한 것이 아니기 때문입니다. 우리는 작동하지 않는 무언가를 출시하고, 그것이 고객 앞에서 실패하는 것을 지켜보며 그 지점에 이르렀습니다.

우리의 첫 번째 AI 검증 레이어는, 돌이켜 보면, 시장이 이미 팔고 있던 바로 그것이었습니다. 우리는 그럴듯한 가드레일 프레임워크 — 콘텐츠 검열, 개인식별정보(PII) 탐지, 탈옥(jailbreak) 검사 — 를 구성하고, 여기에 드리프트와 공정성 모니터링을 덧붙인 뒤, 전체를 깔끔한 컴플라이언스 뷰로 렌더링했습니다. 입력이 스캔되었습니다. 출력은 독성과 유출된 개인정보에 대해 스캔되었습니다. 초록불이 켜지는 대시보드였습니다. 저는 그것이 자랑스러웠습니다. 거버넌스처럼 보였으니까요.

우리는 그것을 규제 대상 금융 워크플로의 파일럿에 투입했고, 첫 몇 주 안에 AI는 자신감 있고, 형식이 잘 갖춰졌으며, 독성이 전혀 없고, 유출된 PII도 담기지 않았지만 — 도메인 규칙에 대해서는 그냥 틀린 답을 내놓았습니다. 우리 시스템은 그것을 통과시켰습니다. 우리가 구축한 모든 검사가 초록불이었습니다. 오류는 답변의 실질적 내용에 있었으며, 우리의 어떤 가드레일도 들여다보지 않던 곳에 있었습니다. 그 어떤 가드레일도 도메인을 충분히 이해하지 못해 답이 틀렸다는 것을 알 수 없었기 때문입니다.

그 달에 저는 우리가 발을 들인 그 카테고리를 더 이상 믿지 않게 되었습니다. 저는 은행업 맥락에서 이 사실을 알면서 모델 검증에 수년을 보냈는데도, 제 커리어 내내 잡아내 온 것과 똑같은 실수를 저지르는 도구를 만들고 말았던 것입니다. 보안은 정확성이 아닙니다. 안전성은 정확성이 아닙니다. 초록불 대시보드는 정확성이 아닙니다.

프롬프트 인젝션에 대해 안전한 AI라도 여전히 준비금을 잘못 계산하거나, 폐지된 법령을 인용하거나, 공정 대출 규칙을 위반하는 대출을 승인할 수 있습니다. 안전성과 정확성은 서로 다른 문제이며, 두 번째 것을 테스트하는 사람은 거의 아무도 없습니다.

여러분이 들어 본 도구들은 왜 거기서 멈추는가?

이제는 연평균 약 45%의 복리 성장률로 성장하는, 자금이 탄탄한 실질적인 AI 도구 시장이 존재하며, 저는 그것을 부당하게 평가하고 싶지 않습니다. 이들 제품 대부분은 자기 본연의 역할을 잘 해냅니다. 문제는 그 본연의 역할이 대다수 구매자가 자신이 사고 있다고 생각하는 그 역할이 아니라는 데 있습니다.

거버넌스 플랫폼 — Credo AI, IBM의 watsonx.governance, ModelOp — 은 여러분의 AI 이니셔티브를 규제 프레임워크에 매핑하고 컴플라이언스 상태를 추적합니다. Credo AI는 Fast Company의 2026년 리스트에서 응용 AI 부문 6위에 올랐으며, 구글, 엔비디아, Anthropic과 어깨를 나란히 했습니다. 이는 진지한 작업입니다. 그러나 정책 컴플라이언스는 출력의 정확성이 아닙니다. 초록불 정책 대시보드는 서류가 갖춰져 있다는 뜻이지, AI가 여러분의 특정 사용 사례에 대해 옳은 답을 준다는 뜻이 아닙니다.

모니터링 도구 — Arthur, Galileo, Arize — 는 모델 수준의 지표를 실시간으로 관찰합니다. 드리프트, 공정성, 지연 시간, 토큰 분포 같은 것들이죠. 유용합니다. 그러나 이들이 모니터링하는 것은 모델의 총체적 행동일 뿐, 특정 보험계약자의 보장 조건에 비추어 특정 보험 계산이 정확한지가 아닙니다. 보안 도구는 한 겹 더 깊이 들어갑니다. 시스코는 2024년 10월에 Robust Intelligence를 약 4억 달러에 인수하여 Cisco AI Defense에 통합했고, 탐지 결과를 OWASP와 MITRE ATLAS에 매핑했습니다. 이는 필요한 일입니다. 하지만 이 역시 모델이 옳은지가 아니라 공격받을 수 있는지에 관한 것입니다.

그다음으로 가드레일 프레임워크가 있습니다. NVIDIA의 NeMo Guardrails 같은 것들인데, 콘텐츠 검열과 PII, 주제 필터링에는 뛰어나지만 — NVIDIA 스스로도 이것이 모든 것을 잡아낼 수는 없다고 조심스럽게 말합니다. 자체 점검 메커니즘이 바로 그것이 지키려는 모델에 의존하기 때문입니다. 그리고 빅4가 있습니다. 이들은 6개월에서 18개월에 걸쳐 50만 달러에서 500만 달러 사이의 가격에 거버넌스 전략을 팔고, 마지막에는 파워포인트와 벤더 후보 목록을 건네줍니다. 즉 어느 화요일에 여러분의 AI가 틀렸다고 알려 주는, 실제로 돌아가는 시스템이 아니라 프레임워크를 말이죠.

이들 각각에는 그 유용성이 멈추는 지점이 있습니다. 이 모두를 쌓아 올리면 정책, 보안, 드리프트, 콘텐츠 안전성을 아우르게 됩니다. 그래도 여전히, 그 배포가 살아남을지 죽을지를 실제로 결정하는 질문에는 답하지 못한 상태입니다: 이 사례에 대해 답이 정확한가?

69% 문제

이것을 제게 구체적으로 실감하게 해 준 수치를 원하신다면, 바로 이것입니다. 법률 실사 업무에서 독립적인 테스트는 AI 오류율을 69%에서 88% 사이로 측정했는데, 이는 벤더 벤치마크가 시사하는 것보다 훨씬 높습니다. 잠시 곱씹어 보십시오. 6.9%가 아닙니다. 69에서 88입니다.

그리고 이것들은 가드레일이 잡아내는 오류가 아닙니다. 불쾌하거나 보안에 취약한 것이 아니기 때문입니다. 이것들은 오직 도메인을 아는 사람만이 볼 수 있는 방식으로 틀립니다. 2025년 말까지 법률 서류에서 문서화된 AI 환각(hallucination) 사건은 729건이 넘었는데, 이는 전년의 280건에서 늘어난 수치입니다. 법원은 사람들에게 벌금을 부과하기 시작했습니다. 한 사건에서는, Doiban v. OLCC, 제재금은 조작된 인용 15건에 대해 각각 500달러, 여기에 존재하지 않는 유령 판례를 추적하는 데 든 상대측 변호인의 시간에 대해 1,000달러로 산정되었습니다. 미국 최대 로펌 중 한 곳은 6개월 만에 세 건의 별개 환각 사건을 기록했습니다.

이들은 틀리면 대가가 따르는 분야에서 자신의 작업을 재차 확인하는 전문가들입니다. 그런데도 AI는 법원 서류에 들어갈 만큼 설득력 있게 판례법을 지어냈습니다. 그것이 바로 이 실패의 결입니다. 그것은 유창하고, 그럴듯하며, 거짓이고, 일반적인 모니터링으로는 평가할 방법이 없는 바로 그 도메인 지식 안에 자리 잡고 있습니다.

벤더가 상자를 열어 주지 않을 때, 무엇을 검증할 것인가?

규제 산업에서 이것은 더 이상 흥미로운 엔지니어링 문제가 아니라 법적 문제가 됩니다. 모델이 언더라이팅, 준비금 적립, 또는 자본에 영향을 미친다면, 미국 은행업의 SR 11-7 — 그리고 유럽 보험사의 경우 Solvency II 필러 2 — 는 그 모델이 독립적으로 검증되고, 문서화되며, 지속적으로 모니터링될 것을 요구합니다. 이 의무는 이제 대규모 언어 모델(LLM)에도 적용됩니다. 규제 당국은 여러분의 모델이 마침 LLM이라는 사실에는 관심이 없습니다.

그리고 여기 제가 거듭 부딪힌 딜레마가 있습니다. SR 11-7 검증은 전통적으로 모델을 이해하는 것 — 그 가정, 그 내부 구조, 그 경계 — 에 기댑니다. 그러나 LLM 제공업체는 모델이 어떻게 작동하는지 알려 주지 않습니다. 제 아카이브에는 여러 표현으로 된 그 이메일이 있습니다: 당사는 모델의 내부 구조를 공개할 수 없습니다. 여러분은 벤더가 열기를 거부하는 무언가를 법적으로 검증해야만 합니다.

그 딜레마에서 벗어나는 유일한 길은 가중치를 들여다보려는 시도를 멈추고 출력을 도메인 정답과 대조해 채점하기 시작하는 것입니다. 여러분은 정답을 알고 있는 사례들의 집합을 구축합니다 — 보험의 하위 한도와 보장 제외가 상호작용할 때 롱테일 배상책임 준비금을 어떻게 설정해야 하는지, 폐지된 법령이 무엇을 의미하는지, 공정 대출 규칙이 어떻게 적용되는지 같은 것들 말이죠 — 그리고 모델이 업데이트되거나 재튜닝될 때마다, 대규모로, 지속적으로, AI가 그것들을 옳게 처리하는지 테스트합니다. 여러분은 볼 수 있는 행동을 검증하는데, 그것이 어차피 규제 당국과 고객이 경험하는 행동이기 때문입니다. 그것이 지금 우리가 구축하는 것의 핵심이며, 벤더가 상자를 열든 열지 않든 작동하는 유일한 접근법입니다.

모델 내부를 볼 수 없을 때, 출력 레이어는 검증할 수 있는 유일하게 정직한 지점입니다 — 그리고 마침 그것은 여러분의 고객과 규제 당국이 실제로 접하는 유일한 레이어이기도 합니다.

'그냥 플랫폼을 사라'가 더 이상 답이 아니게 된 이유

기업이 AI를 구축하는 방식에서 조용한 반란이 벌어지고 있으며, 이는 검증과 직결됩니다. Retool의 2026년 구축 대 구매(build-versus-buy) 보고서는 팀의 35%가 이미 최소한 하나의 SaaS 도구를 자체 구축으로 대체했고, 78%가 더 많이 구축할 것으로 예상한다는 사실을 밝혀냈습니다. 특정 비즈니스 로직에 맞춰진 맞춤형 솔루션은 범용 래퍼(wrapper)의 3배에서 5배에 이르는 수익을 보여 주고 있는데, 부분적으로는 소프트웨어 비용의 약 65%가 이후에 배포 단계, 즉 통합과 유지보수, 그리고 래퍼가 미처 제대로 해내지 못한 부분에서 발생하기 때문입니다.

그러나 '그냥 직접 만들어라'라고 말하는 이들이 건너뛰는 함정이 하나 있습니다. 맞춤형 검증을 제대로 구축하려면 대다수 기업에는 없는 ML 인프라 팀이 필요합니다. 그래서 실제 지형은 래퍼 대 맞춤형의 구도가 아닙니다. 세 가지 선택지입니다. 여러분의 도메인을 이해하지 못하는 범용 래퍼, 인력이 갖춰지지 않은 직접 구축 프로젝트, 또는 이 검증 작업을 이전에 해 본 사람들이 여러분의 특정 수직 산업을 위해 구축한 도메인 전문가 시스템. 바로 그 세 번째 선택지가 우리가 자리 잡기로 한 간극입니다. 라이선스로 빌리는 대시보드가 아닙니다. 인력을 배치해야 하는 플랫폼도 아닙니다. 여러분 도메인의 실제 진실을 중심으로 구축된 검증 레이어입니다.

'우리가 이미 산 거버넌스 도구가 이걸 커버하지 않나요?'

사람들은 이 질문의 변형을 제게 끊임없이 던지는데, 대개는 한 가닥 희망을 담고 있습니다. 이미 예산을 다 썼기 때문입니다. 솔직한 답은, 여러분의 거버넌스 도구는 거버넌스를 커버한다는 것입니다 — 그리고 거버넌스는 정말로 필요합니다. 그대로 유지하십시오. 다만 그것은 정확성을 검증하지 않으며, 애초에 그러라고 만들어진 것도 아닙니다.

그들이 두 번째로 묻는 것은 그들이 볼 수 없는 AI, 즉 섀도 AI에 관한 것입니다. 이 문제는 리스크 담당자들을 밤잠 못 이루게 하는데, 수치를 보면 그럴 만합니다. 직원의 78%가 고용주가 제공하지 않은 AI 도구를 사용하며, 그중 77%는 민감하거나 독점적인 정보를 그 도구에 입력한 적이 있습니다. 삼성과 아마존은 모두 자사의 독점 코드가 공개 AI 서비스에 올라가 있는 것을 발견했습니다. 섀도 AI 유출 사고의 평균 비용은 463만 달러에 달합니다. 가트너 자신의 표현이 그중 가장 불편한 것인데 — 무단 AI 활동의 대다수는 외부 공격자가 아니라 내부 정책 위반, 과도한 공유, 오용에서 비롯된다는 것입니다. 여러분의 거버넌스 플랫폼은 볼 수 없는 것을 통제할 수 없으며, 검증은 실제로 무엇이 돌아가고 있는지를 발견하는 데서 시작해야 합니다.

세 번째 질문은 가장 빠르게 다가오고 있는 것입니다. 가트너는 2026년 말까지 엔터프라이즈 애플리케이션의 40%가 자율 AI 에이전트를 내장할 것으로 전망합니다 — 이 에이전트들은 단지 답하는 데 그치지 않고, 행동합니다: 데이터베이스를 수정하고, 거래를 실행하며, 고객 커뮤니케이션을 발송합니다. 이 가운데 어느 것에 대해서든 성숙한 거버넌스를 갖췄다고 보고하는 조직은 약 3분의 1에 불과합니다. 에이전트가 되돌릴 수 없는 행동을 취할 수 있게 되면, 검증 질문은 '옳은 말을 했는가'에서 '옳은 일을 실제로 했는가'로 옮겨가며, 되돌릴 수 없는 잘못된 행동은 잘못된 문장과는 다른 범주의 위험입니다. 챗봇을 위해 구축된 모니터링은 애초에 그것을 위해 설계된 적이 없습니다.

아무도 이사회 슬라이드에 넣고 싶어 하지 않는 벌칙 표

저는 이 논쟁을 대개 끝내 버리는 수치로 글을 마무리하겠습니다. 이 수치가 검증하지 않는 것의 비용을, 오류율로는 하지 못하는 방식으로 CFO가 이해할 수 있게 만들어 주기 때문입니다.

2026년 8월 2일부터 EU AI법의 남은 의무 대부분이 발효됩니다 — 고위험 시스템에 대한 규칙, 제50조에 따른 투명성 요건 등입니다. 금지된 관행에 대한 벌금은 최대 3,500만 유로 또는 전 세계 매출의 7%에 이르며, 고위험 규정 미준수는 최대 1,500만 유로 또는 3%입니다. 핀란드는 2026년 1월에 완전히 가동되는 집행 권한을 갖춘 첫 회원국이 되었습니다. 이것은 더 이상 미래의 메모가 아닙니다. 날짜가 박힌 하나의 항목입니다.

검증을 건너뛴 대가의 나머지를 더해 보십시오. 섀도 AI 유출 사고당 463만 달러, 대규모 AI 중단 사태 동안 시간당 100만 달러 이상, 서비스 품질이 조용히 무너질 때의 9,900만 달러, 환각 사건당 여섯 자릿수의 제재금, 그리고 전 세계 매출의 몇 퍼센트포인트로 측정되는 EU 벌금. 이 모든 것에 견주면, 여러분의 AI를 제대로 검증하는 비용 — 답을, 여러분의 도메인에 대고, 지속적으로 테스트하는 비용 — 은 반올림 오차에 불과합니다. 그런데도 대다수 기업은 여전히 검증을 한 번 체크하고 마는 체크박스로 취급할 뿐, 상시 운영하는 규율로 여기지 않습니다.

초록불 대시보드는 그들에게 모든 것이 괜찮다고 말했습니다. 문제는 그 대시보드가 엉뚱한 것을 채점하고 있었다는 데 있습니다. 그것은 그들이 프로세스를 따랐는지를 확인했습니다 — 감사하기 쉽고 책임지기 안전한 바로 그 한 가지 말이죠. 그것이 아무 의미도 없어진 지 한참 뒤까지도 이사회 자료에서 살아남는 이유가 바로 그것입니다. 그것은 답이 옳은지는 단 한 번도 묻지 않았습니다 — 그리고 답이 옳은지야말로 고객과 규제 당국, 그리고 손실 항목이 유일하게 신경 쓴 것이었습니다. 우리가 그 대신 그것을 어떻게 테스트하는지 보고 싶으시다면, 그 접근법을 여기에 정리해 두었습니다.

저는 지금도 SR 11-7의 4대 기둥 체크리스트를 눈에 보이는 곳에 두고 있는데, 네 번째 기둥은 모니터링입니다 — 이는 올바른 것을 모니터링할 때만 의미가 있습니다. 여러분의 프로세스를 채점하는 대시보드는, 여러분의 AI가 다중 통화 환불, 다툼이 있는 준비금, 폐지된 법령을 조용히 헛다루는 동안에도 초록불인 채로 그 자리에 앉아 있을 것입니다. 클라르나의 대시보드 역시, 9,900만 달러를 잃은 그 분기 직전까지 초록불이었습니다. 여러분을 실제로 보호하는 검증은 제가 커리어 내내 해 온 화려하지 않은 작업입니다. 즉 정답을 이미 알고 있는 사례들을 모으고, 모델이 바뀔 때마다 — 거듭, 또 거듭 — 기계가 여전히 그것들을 옳게 처리하는지 확인하는 것입니다.