Klarna는 700명을 AI로 대체했다가 다시 불러들였습니다. 모든 기업이 배워야 할 교훈은 무엇일까요?

Klarna 뉴스가 터졌을 때 저는 은행권 잠재 고객과 통화 중이었습니다. 2025년 중반이었죠. 휴대폰이 울렸습니다 — 동료가 기사를 전달하며 딱 한 줄을 덧붙였더군요. "이거 완전히 늘 말씀하시던 그거잖아요."

그 고객사 담당자는 한창 설명을 이어가던 참이었습니다. GPT-4 위에 고객 서비스 챗봇을 구축했고, 그것이 "아주 잘 돌아가고 있다"고 설명하고 있었죠. 저는 CSAT 점수가 어떻게 나오느냐고 물었습니다. 긴 침묵. "그건 아직 측정하지 않습니다."

그 침묵이 모든 것을 말해주었습니다. Klarna는 실제로 그것을 추적했기 때문입니다. 그리고 그들이 발견한 결과는 핀테크 역사상 가장 널리 홍보된 AI 도입 사례 중 하나를 되돌릴 만큼 참담했습니다.

짧게 요약하면 이렇습니다. 기업가치 146억 달러의 스웨덴 선구매 후결제(BNPL) 대기업 Klarna는 약 700명의 고객 서비스 상담원을 OpenAI 기반으로 구축한 AI 어시스턴트로 대체했습니다. 회사는 이를 승리의 세리머니처럼 발표했습니다 — 그 AI가 35개 언어로 전체 고객 채팅의 75%를 처리하고 있다고 말이죠. 거래당 비용은 40% 떨어졌습니다. 월스트리트는 열광했습니다. 그러다 고객 만족도 점수가 22% 하락했습니다. 회사는 2025년 1분기에 9,900만 달러의 순손실을 기록했습니다. 그리고 세바스티안 시에미아트코프스키(Sebastian Siemiatkowski) CEO는 효율성 추구가 서비스 품질을 망가뜨렸고, 그 결과물이 자신이 "천편일률적"이라고 표현한 수준이었으며 실제 판단이 필요한 일은 전혀 처리하지 못했다고 공개적으로 인정했습니다.

그들은 다시 채용을 시작했습니다. 심지어 소프트웨어 엔지니어와 마케터를 전화 응대에 재배치하기까지 했습니다.

저는 Veriprajna에서 수년간 뉴로-심볼릭(neuro-symbolic) AI 시스템을 구축해 왔고, 수많은 기업이 똑같은 함정 속으로 걸어 들어가는 것을 지켜봤습니다. 기술이 나빠서가 아닙니다 — 대규모 언어 모델은 정말로 놀랍습니다. 다만 그럴듯하게 들리는 것과 실제로 맞는 것 사이에는 근본적인 혼동이 존재하고, 규제 산업에서 그 혼동은 결국 여러분의 모든 것을 앗아가기 때문입니다.

"충분히 괜찮다"가 충분하지 않다는 것을 깨달은 밤

아키텍처 이야기로 들어가기 전에, 이 문제에 대한 제 생각을 바꿔놓은 한 순간에 대해 말씀드리고 싶습니다.

저희는 법률 컴플라이언스 시스템의 파일럿을 진행하고 있었습니다 — 고객 서비스가 아니라 문서 분석이었죠. 규제 신고 서류를 파싱하고 내부 정책을 외부 규정 요건에 맞춰 매칭하는 종류의 작업입니다. 표준적인 검색 증강 생성(retrieval-augmented generation) 구성을 사용한 프로토타입이 있었습니다. 벡터 검색, top-k 검색, 그리고 GPT가 요약을 생성하는 구조였죠. 빨랐습니다. 결과물은 아름답게 읽혔습니다.

저희 엔지니어 중 한 명인 프리야(Priya)는 늦게까지 남아 엣지 케이스를 돌려보고 있었습니다. 밤 11시쯤 그녀가 스크린샷 한 장과 함께 저희 Slack 채널에 메시지를 보냈습니다. 시스템이 특정 규제 조항을 인용하는, 완벽하게 유창한 문단을 생성한 것이었습니다. 그런데 그 조항은 존재하지 않았습니다. 잘못된 인용도, 의역도 아닌 — 완전한 날조였습니다. 게다가 어찌나 설득력 있게 읽히던지, 그 특정 규제의 전문가가 아니라면 절대 잡아낼 수 없었을 겁니다.

저는 책상에 앉아 그 스크린샷을 응시하며 이렇게 생각했던 것을 기억합니다. 이게 바로 저희가 출시하려는 제품이구나. 로펌의 시니어 파트너 같은 확신에 찬 태도로 거짓말을 하는 시스템 말입니다.

저희는 파일럿을 중단했습니다. 아키텍처를 처음부터 다시 만들었습니다. 3개월을 잃었습니다. 그것은 저희가 내린 최고의 결정이었습니다.

AI 시스템이 완벽한 확신을 가지고 법률 인용을 날조한다면, 그것은 버그의 문제가 아니라 아키텍처의 문제입니다. 근본적으로 확률적인 토대에서 프롬프트 엔지니어링만으로 빠져나올 수는 없습니다.

"래퍼 함정"이란 무엇이며, 왜 똑똑한 기업들이 계속 여기에 걸려드는가?

Klarna에 실제로 무슨 일이 일어났는지 기술적인 용어로 설명해 보겠습니다. 경제 언론은 대부분 이를 잘못 짚었기 때문입니다. 그들은 "AI가 아직 준비되지 않았다"는 프레임으로 다뤘습니다. 그건 문제가 아닙니다. 문제는 어떤 종류의 AI인지, 그리고 그것이 어떻게 배포되었는지입니다.

"래퍼(wrapper)"란 서드파티 대규모 언어 모델 위에 얹히는 얇은 소프트웨어 계층입니다. 포맷팅을 처리하고, API 호출을 관리하며, 어쩌면 구조화된 출력 파싱을 조금 추가하기도 합니다. 하지만 실제 사고 — 추론, 판단, 의사결정 — 는 전적으로 LLM에 외주로 넘겨집니다. 여러분의 래퍼가 프롬프트를 보내면, 모델은 가장 가능성 높은 다음 토큰들을 예측하고, 여러분은 답처럼 들리는 무언가를 돌려받습니다.

이 방식은 데모에서는 훌륭하게 작동합니다. 위험이 낮은 작업에서는 그럭저럭 작동합니다. 그리고 처참하게 실패합니다. 바로 확실성이 필요한 일에서요.

이 모델들을 구동하는 트랜스포머(Transformer) 아키텍처는 셀프 어텐션 메커니즘을 사용해 시퀀스 내 토큰들의 관련성에 가중치를 매기고 다음에 무엇이 올지 예측합니다. 그것은 패턴 매칭입니다 — 엄청나게 정교한 패턴 매칭이지만, 그럼에도 패턴 매칭일 뿐입니다. 외부의 진실 원천에 비추어 사실을 검증하는 내부 메커니즘은 존재하지 않습니다. 모델은 무언가를 알지 못합니다. 모델은 박식한 답변이 어떤 모습일지를 예측할 뿐입니다.

Klarna의 AI는 비밀번호 재설정은 흠잡을 데 없이 처리할 수 있었습니다. 하지만 고객이 부분 환불, 판매자와의 이견, 그리고 두 관할권에 걸친 소비자 보호 규제가 얽힌 복잡한 분쟁을 겪고 있을 때는요? 모델은 제가 슬롭 스피닝(slop-spinning)이라고 부르는 방식으로 후퇴했습니다 — 그럴듯하게 들리지만 제자리를 맴돌기만 하고 아무것도 해결하지 못하는 응답을 생성하면서, 한 애널리스트가 "카프카적 루프"라고 표현한 상황으로 고객을 몰아넣은 것이죠.

그리고 여기서부터가 모든 기업 리더가 두려워해야 할 대목입니다. 비용 지표는 훌륭해 보였습니다. 경험이 악화되는 내내 말이죠. 거래당 비용은 0.32달러에서 0.19달러로 떨어졌습니다. 채팅 해결 시간은 11분에서 2분 미만으로 줄었습니다. 대시보드만 보고 있었다면 이기고 있다고 생각했을 겁니다 — 고객들이 떠나기 시작하는 바로 그 순간까지는 말이죠.

LLM에 더 나은 가드레일(guardrails)을 추가하면 되지 않나요?

이것이 제가 가장 자주 받는 질문이고, 여기에 핵심적인 오해가 드러납니다. 사람들은 해법이 더 나은 프롬프트, 더 많은 퓨샷 예시, 더 촘촘한 시스템 지시문이라고 생각합니다. "그냥 모델에게 환각을 일으키지 말라고 하면 되잖아요."

그건 기상 예측 모델에게 틀리지 말라고 말하는 것과 같습니다. 확률적 속성은 패치로 고칠 결함이 아닙니다 — 그것은 이 시스템이 작동하는 근본 메커니즘 그 자체입니다.

언젠가 한 투자자가 저에게 대놓고 말했습니다. "그냥 GPT를 쓰고 그 위에 규칙 몇 개 얹으면 되잖아요." 저는 그에게 95%의 확률로 맞는 계산기를 신뢰하겠느냐고 물었습니다. 그는 웃었습니다. 제가 말했죠. "그게 바로 지금 은행 컴플라이언스에 제안하고 계신 겁니다." 그는 웃음을 멈췄습니다.

기술적 실패 양상은 환각보다 더 깊은 곳에 있습니다. 래퍼에는 제가 상태-스키마 지속성(state-schema persistence)이라고 부르는 것이 없습니다. 대화가 진행될수록 컨텍스트 윈도우가 가득 찹니다. 대화 초반의 정보는 압축되거나 버려집니다. 모델은 한 세션 안에서 스스로 모순되는 말을 하면서도 그렇게 했다는 사실조차 인지하지 못합니다. 고객 서비스에서 이는, AI 상담원이 3번째 턴에서 신원을 확인해 놓고 15번째 턴에서 다시 확인을 요구할 수도 있다는 뜻입니다 — 더 나쁘게는, 대화 흐름이 이미 확인이 이루어졌다고 모델을 "설득"해 버려서 확인 절차를 통째로 건너뛸 수도 있고요.

이것이 제가 무한 자유의 오류(Infinite Freedom Fallacy)라고 부르는 취약점입니다. LLM에는 무엇을 말하고 무엇을 할 수 있는지에 대한 단단한 구조적 제약이 없기 때문에, 충분히 영리한 사용자 — 또는 충분히 복잡한 상황 — 는 모델을 비즈니스 규칙, 규제 요건, 또는 기본적인 논리를 위반하는 상태로 밀어 넣을 수 있습니다. 이것은 프롬프팅으로 해결할 수 없습니다. 완전히 다른 종류의 아키텍처가 필요합니다.

저는 이 문제를 저희 연구의 인터랙티브 버전에서 깊이 있게 다뤘습니다. 하지만 핵심 통찰은 단순합니다. 목소리와 두뇌를 분리해야 한다는 것입니다.

모든 것을 무너뜨리는 20%

저희가 일하는 모든 산업에서 목격해 온 패턴이 하나 있는데, 이것이 왜 그토록 많은 AI 도입이 Klarna와 같은 궤적을 따라가는지를 설명해 준다고 생각합니다.

2025년의 AI는 일상적이고 빈도가 높은 상호작용의 약 80%를 유능하게 처리할 수 있습니다. 비밀번호 재설정, 주문 상태 조회, 기본 FAQ 응답 — 이런 것들은 이미 해결된 문제입니다. 나머지 20%의 상호작용이야말로 실제로 중요한 것들입니다. 복잡한 분쟁, 엣지 케이스, 고객이 좌절하거나 혼란스러워하거나 두려워하는 순간들이죠. 그리고 바로 이것들이 브랜드 평판과 재무적 책임을 좌우하는 핵심 동인입니다.

Klarna는 80%에 최적화하고 20%를 무시했습니다. 계산은 명백해 보였습니다. 쉬운 일을 자동화하고 수백만 달러를 아낀다. 하지만 신뢰가 쌓이거나 무너지는 곳은 바로 그 20%입니다. 비밀번호 재설정이 매끄러웠던 고객은 아무에게도 그 얘기를 하지 않습니다. 청구 오류를 해결하려다 AI 루프에 45분간 갇혀 있던 고객은 그 얘기를 합니다 — 모두에게.

AI가 잘 처리하는 80%의 상호작용은 여러분의 브랜드에는 보이지 않습니다. AI가 형편없이 처리하는 20%만이 사람들의 기억에 남습니다.

아이러니한 것은, 인력 감축으로 Klarna가 처음 절감한 1,000만 달러가 열악한 경험을 통해 파괴한 고객 생애 가치에 비하면 거의 확실히 초라했다는 점입니다. IPO를 준비하는 146억 달러 규모의 기업에게 고객 만족도 22% 하락은 지표의 문제가 아닙니다 — 실존의 문제입니다.

"결정론적 AI"란 실제로 무엇을 의미하는가?

그렇다면 래퍼가 문제라면, 해법은 무엇일까요? 여기서부터는 조금 기술적인 이야기를 해야 하지만, 최대한 현실에 발을 붙이고 설명하겠습니다.

Veriprajna에서 저희는 뉴로-심볼릭(neuro-symbolic) AI라고 불리는 것을 만듭니다. 이름은 학술적으로 들리지만 개념은 직관적입니다. 신경망의 언어적 유창함을 가져와 심볼릭 추론 엔진의 엄격한 논리 안에 가둬 두는 것입니다. 신경망은 "부드러운" 일을 맡습니다 — 자연어를 이해하고, 사람이 읽을 수 있는 응답을 생성하고, 모호한 질의를 해석하는 일이죠. 심볼릭 엔진은 "단단한" 일을 맡습니다 — 규칙을 강제하고, 논리를 검증하고, 모든 출력이 검증된 출처까지 추적 가능하도록 보장하는 일입니다.

저희는 이것을 뉴로-심볼릭 샌드위치(Neuro-Symbolic Sandwich)라고 부릅니다. 질의가 LLM에 도달하기 전에, 의도 검증 계층이 정책 제약 조건에 비추어 질의를 확인하고 적대적 입력을 걸러냅니다. LLM이 응답을 생성한 후에는, 검증 엔진 — 보통 유한 상태 기계(Finite State Machine)나 논리 솔버 — 이 모든 주장을 지식 그래프에 비추어 확인하고 모든 행위를 비즈니스 규칙에 비추어 확인합니다. 응답이 어떤 제약이라도 위반하면, 통과하지 못합니다. 예외는 없습니다.

저희가 사용하는 기법 중에 제약 디코딩(constrained decoding) — 토큰 마스킹이라고도 합니다 — 이라는 것이 있는데, 저는 이것이 특히 우아하다고 생각합니다. 모델이 자유롭게 생성하도록 두고 나서 출력을 확인하는 대신, 애초에 특정 토큰이 생성되는 것 자체를 물리적으로 막습니다. 모델이 세무 컴플라이언스 보고서를 작성하고 있다면, 심볼릭 계층은 모든 숫자가 검증된 계산과 대응되도록 보장합니다. 모델은 말 그대로 숫자를 환각으로 지어낼 수 없습니다. 환각된 토큰은 생성이 일어나기 전에 확률 분포에서 마스킹되어 걸러지기 때문입니다.

이것은 "가드레일을 추가하는 것"이 아닙니다. 이것은 LLM이 목소리이고 심볼릭 엔진이 두뇌이며, 두뇌의 승인 없이는 목소리가 결코 말할 수 없는, 근본적으로 다른 아키텍처입니다.

지식 그래프가 저희를 200만 달러짜리 실수에서 구해낸 순간

표준 RAG — 검색 증강 생성(retrieval-augmented generation) — 에는 대부분의 사람들이 이야기하지 않는 문제가 있습니다. RAG는 관련 문서를 찾기 위해 벡터 유사도에 의존합니다. 그런데 벡터 유사도는 방향성을 이해하지 못합니다. "A사가 B사를 고소했다"와 "B사가 A사를 고소했다"는 거의 동일한 벡터 임베딩을 가질 수 있지만, 두 문장은 완전히 정반대의 법적 상황을 기술합니다.

저희는 한 법률 파일럿에서 이것을 뼈아프게 깨달았습니다. 저희 시스템이 어떤 기업 고객의 소송 이력을 분석하고 있었는데, 표준 RAG 구성은 원고와 피고의 역할을 계속 혼동했습니다. 출력물은 유창했고, 구조도 잘 잡혀 있었으며, 위험할 정도로 틀렸습니다.

그때 저희는 인용 강제 GraphRAG(Citation-Enforced GraphRAG)라고 부르는 방식으로 전환했습니다. 문서를 벡터 스토어에 쏟아붓는 대신, 문서를 지식 그래프로 파싱합니다 — 유형이 지정된 방향성 관계로 연결된 엔티티들 말이죠. 시스템이 어떤 주장을 할 때는, 그 주장을 그래프의 특정 노드와 엣지까지 되짚어 추적할 수 있어야 합니다. 그래프가 그 주장을 뒷받침하지 못하면, 시스템은 그 주장을 하지 않습니다.

정확도 향상은 극적이었습니다 — 복잡한 멀티홉 추론 작업에서 표준 RAG보다 30-35% 더 높았습니다. 하지만 더 중요한 것은, 아무리 많은 프롬프트 엔지니어링으로도 얻을 수 없었던 것을 얻었다는 점입니다. 바로 감사 추적(audit trail)입니다. 모든 출력은 엔티티에서 엔티티로, 관계에서 관계로 이어지는 정확한 추론 경로를 통해 되짚어 추적할 수 있습니다. 컴플라이언스 담당자는 시스템이 왜 그 결론에 도달했는지를 볼 수 있습니다. 단지 무엇을 결론 내렸는지만이 아니라요.

이 아키텍처가 은행, 법률, 제조 등 서로 다른 도메인에서 어떻게 작동하는지에 대한 전체 기술적 분석은 다음을 참조하세요 — 저희 기술 심층 분석.

저희 팀을 갈라놓을 뻔한 논쟁

솔직하게 말씀드리고 싶은 것이 있습니다. 이런 방식으로 만드는 것은 더 어렵습니다. 상당히 더 어렵습니다. 그리고 아마 18개월쯤 전에, 저희 팀이 과잉 설계를 하고 있는 것은 아닌지를 두고 진짜 논쟁이 벌어진 시점이 있었습니다.

저희는 회의실에 있었습니다 — 화이트보드는 아키텍처 다이어그램으로 뒤덮여 있었죠 — 그리고 저희 시니어 엔지니어 중 한 명이 제조업 고객사를 위해 래퍼 기반 MVP를 출시하자는 주장을 폈습니다. "일단 매출을 만들고, 개념을 증명하고, 아키텍처는 나중에 단단하게 하면 됩니다." 합리적인 주장이었습니다. 고객사는 적극적이었습니다. 일정은 촉박했습니다. 그리고 저희 시장의 모든 경쟁사가 래퍼 제품을 출시하며 계약을 따내고 있었습니다.

그가 말을 마친 뒤의 정적을 기억합니다. 그때 프리야 — 유령 인용을 잡아냈던 바로 그 엔지니어 — 가 그동안 묵혀두었던 슬라이드 한 장을 띄웠습니다. 거기에는 직전 분기에 있었던, 래퍼 기반 AI 시스템이 생성한 출력물을 그대로 실행에 옮겼더라면 규제 요건을 위반했을 실제 사례 세 건이 담겨 있었습니다. 가정된 위반이 아니었습니다. 실제 위반이었고, 마침 사람이 검토 과정에 개입해 있었던 덕분에 겨우 잡아낸 것이었습니다.

저는 원래 방향을 고수하기로 결정했습니다. 저희는 더 빨리 출시한 경쟁사에게 그 계약을 빼앗겼습니다. 6개월 뒤, 그 경쟁사의 시스템은 컴플라이언스 위반을 일으켰고, 그 고객사는 수백만 달러 규모의 시정 비용을 치렀습니다. 그 고객사는 저희에게 찾아왔습니다.

정확성 없는 속도는 경쟁 우위가 아닙니다. 그것은 시한폭탄을 안고 가는 부채입니다.

제가 선견지명이 있었던 것처럼 들리려고 이 이야기를 하는 것이 아닙니다. 빨리 출시하고 나중에 개선하라는 압박이 엄청나며, 대부분의 소프트웨어 맥락에서는 그것이 옳은 본능이기 때문에 이 이야기를 하는 것입니다. 하지만 규제 산업 — 은행, 헬스케어, 법률, 제조 — 에서 "나중에 개선한다"는 것은 "위반이 발생한 뒤에 고친다"는 뜻입니다. 그리고 이런 영역에서의 위반에는 유예 기간이 따라오지 않습니다.

왜 2026년이 청구서가 돌아오는 해인가

거시적인 그림은 이렇습니다. 맥킨지(McKinsey)에 따르면 조직의 88%가 AI를 사용하고 있지만, 전사 차원에서 긍정적인 이익(수익성) 개선 효과를 제시할 수 있는 곳은 39%에 불과합니다. 그 격차는 곧 감당할 수 없는 수준이 될 것입니다.

AI 도입의 "투자하며 배우는" 단계는 끝났습니다. CFO들은 더 이상 "우리가 AI를 쓰고 있나?"라고 묻지 않습니다. 그들은 "EBIT에 어떤 영향이 있나?"라고 묻습니다. 그리고 대부분의 조직에서 정직한 답은 이렇습니다. "행정 업무에서 시간을 좀 아꼈습니다."

그것으로는 충분하지 않습니다. 이메일과 슬라이드 덱에서 시간을 아끼는 것은 "생산성 AI"입니다 — 유용하지만 점진적일 뿐이죠. 기업에 실제로 필요한 것은 "운영 AI"입니다 — 실물 경제에서 현금으로 직결되는 마찰을 제거하는 시스템 말입니다. 품절을 방지하는 것. 컴플라이언스 위반이 일어나기 전에 잡아내는 것. 보기에는 근사하지만 원단이 실제로 인체 위에 어떻게 드리워지는지는 반영하지 못하는 AI 생성 판타지 이미지 대신 정확한 가상 착용을 제공함으로써, 연간 8,900억 달러에 달하는 소매 반품 비용을 줄이는 것.

여기서 Klarna 이야기가 시사적인 이유는, 그들의 지표가 마치 ROI처럼 보였기 때문입니다. 거래당 비용 40% 감소! 하지만 그들은 엉뚱한 것을 측정하고 있었습니다. 그들은 절약된 시간과 감축된 인원을 측정했습니다. 침식된 신뢰와 잃어버린 고객은 측정하지 않았습니다. 재채용 비용, 브랜드 손상, 그리고 1분기 9,900만 달러 손실을 감안하면 그 "절감액"은 증발해 버립니다.

2026년에 승리할 기업은 절약된 시간이 아니라 예방된 운영 손실을 측정하는 기업입니다. 하룻밤 사이에 10,000가지 공급망 교란 시나리오를 시뮬레이션하고, 어떤 인간 팀도 10년 안에 만들어낼 수 없는 위기 복구 플레이북을 구축하는 AI를 배포하는 기업입니다. 설득력 있는 문단을 뽑아내는 데 그치지 않고, 규제 당국에 자신의 추론을 증명할 수 있는 AI 시스템을 갖춘 기업입니다.

그렇다면 사람은 어떻게 되나?

사람들은 항상 이 프레임에 반발합니다. "AI가 이렇게까지 좋아지면, 사람들은 어떻게 되는 거죠?"

제 생각에 답은 대부분의 사람들이 예상하는 것과 정반대입니다. 깊이 있고 아키텍처적으로 견고한 AI를 배포하는 조직은 더 적은 인력을 필요로 하지 않습니다 — 그들에게 필요한 것은 다른 인력입니다. 데이터 종합과 프레젠테이션 제작을 하는 주니어 애널리스트라는 거대한 밑변을 가진 전통적인 컨설팅 피라미드는 무너지고 있습니다. AI가 그 일을 더 빠르고 더 잘합니다. 하지만 시니어의 판단, 전략적 사고, 윤리적 감독, 그리고 진정한 인간적 공감에 대한 수요는 살아남는 정도가 아니라 — 오히려 강해지고 있습니다.

지금 부상하고 있는 것은 업계가 "오벨리스크(Obelisk)" 모델이라고 부르는 형태입니다. 더 슬림하고 전문가 비중이 높은 팀으로, 초년차 전문가는 AI 워크플로를 설계하고 관리하는 "AI 퍼실리테이터"가 되고, 중견 전문가는 풀 가치가 있는 문제를 정의하는 "인게이지먼트 아키텍트"가 되며, 시니어 리더는 신뢰를 쌓고 모호함을 헤쳐 나가는 깊이 인간적인 일에 집중합니다.

맥킨지의 내부 AI 어시스턴트 "릴리(Lilli)"는 전체 인력의 72%가 사용하며 리서치 시간을 30% 단축했습니다. BCG의 "덱스터(Deckster)"는 프레젠테이션 제작을 자동화합니다. 하지만 두 회사 어느 쪽도 축소되고 있지 않습니다. 그들은 구조를 재편하고 있습니다 — 물량을 정밀함으로, 청구된 시간을 전달된 성과로 바꾸면서 말이죠.

Klarna의 실수는 AI를 사용한 것이 아닙니다. 실수는 AI를 인간의 대체재로 썼을 뿐, 인간 능력의 증폭기로 쓰지 않은 것입니다. 이 구분은 미묘하게 들립니다. 그렇지 않습니다. 이것은 1,000만 달러 절감과 9,900만 달러 손실의 차이입니다.

신뢰의 아키텍처

프리야가 유령 인용을 발견했던 그 늦은 밤 이후로 계속 제 머릿속을 맴돌던 이야기로 마무리하고 싶습니다.

우리는 AI 시스템이 전문가의 작업과 구별할 수 없는 결과물을 만들어내면서도, 동시에 완전히, 확신에 차서 틀릴 수 있는 시대를 살고 있습니다. 이것은 GPT-6이나 GPT-7이 해결해 줄 일시적인 한계가 아닙니다. 확률적 언어 모델이 작동하는 방식에 내재된 속성입니다. 이 모델들은 진실이 아니라 그럴듯함에 최적화되어 있습니다. 그리고 진실이 중요한 영역에서 — 틀린 답이 컴플라이언스 위반, 오진, 날조된 법적 판례를 의미하는 곳에서 — 그럴듯함은 세상에서 가장 위험한 것입니다.

해법은 AI를 포기하는 것이 아닙니다. 해법은 진실이 확률적으로 기대되는 것이 아니라 아키텍처적으로 강제되는 AI 시스템을 만드는 것입니다. 모든 주장이 검증된 출처까지 되짚어 추적되는 시스템. 시스템이 운영되는 도메인의 규칙을 위반하는 출력을 말 그대로 생성할 수 없는 시스템. 감사 추적이 하나의 기능이 아니라 — 토대인 시스템 말입니다.

이것이 저희가 Veriprajna에서 만드는 것입니다. 결정론적 AI가 더 쉬워서가 아닙니다 — 오히려 상당히 더 어렵습니다. 데모가 더 잘 나와서도 아닙니다 — 래퍼는 데모가 아름답습니다. 다만 추측할 여유가 없는 산업에서 지속 가능한 유일한 아키텍처는 추측을 불가능하게 만드는 아키텍처이기 때문입니다.

Klarna는 700개의 일자리, 22%의 CSAT 하락, 그리고 9,900만 달러의 분기 손실이라는 대가를 치르고 이 교훈을 배웠습니다. 이 글을 읽는 모든 기업 리더에게 던지는 질문은 단순합니다. 그들의 이야기에서 배우시겠습니까, 아니면 여러분 자신의 이야기에서 배우시겠습니까?

엔터프라이즈 AI의 미래는 언어 모델을 더 똑똑하게 만드는 데 있지 않습니다. 언어 모델을 책임질 수 있게 만드는 데 있습니다 — 아키텍처적으로, 증명 가능하게, 불변하게 책임질 수 있도록 말이죠.

래퍼의 시대는 끝났습니다. 다음에 올 것은 만들기 더 어렵고, 출시가 더 느리며, 추가되는 개발 기간 한 달 한 달의 값어치를 합니다. 결국 배포할 가치가 있는 유일한 AI 시스템은 회사를 걸 수 있는 시스템이기 때문입니다. 그리고 자신의 작업 과정을 보여주지 못하는 시스템에 회사를 걸어서는 결코 안 됩니다.