당신의 AI 챗봇은 이제 법적 구속력을 가진 직원이다 — 대부분의 기업은 아직 모른다

몇 달 전 Moffatt 대 Air Canada 판결이 나온 후, 나는 한 잠재 고객과 통화 중이었다. 직원 200명 남짓의 빠르게 성장하는 중견 핀테크 기업이었다. 그들은 인기 있는 GPT 래퍼를 사용해 고객 대면 챗봇을 만들었다. 깔끔한 UI. 친근한 어조. 고객들은 그것을 좋아했다.

나는 한 가지 질문을 던졌다. "챗봇이 잘못된 금리를 안내하면 어떻게 됩니까?"

정적이 흘렀다. 그러더니 그들의 CTO가 말했다. "그럴 일 없습니다. 저희는 프롬프트를 잘 짜놨거든요."

나는 화면에 판결문을 띄우고, 재판부가 Air Canada는 "AI 챗봇과 자신을 분리할 수 없다"고 말한 대목을 읽어주었다. 인간 직원이 말한 것과 똑같이, 회사는 챗봇이 생성한 모든 단어에 대해 책임이 있다는 것. 챗봇이 기본적으로 자신의 실수에 책임을 지는 "별개의 법적 실체"라는 항공사의 항변은 사법적 경멸에 가까운 태도로 기각되었다는 것.

CTO의 표정이 바뀌었다. 이 판결이 실제로 의미하는 바가 이것이기 때문이다. 만약 당신의 AI 챗봇이 금리 5% 환경에서 고객에게 2% 금리를 약속하거나, 존재하지 않는 환불 정책을 지어내거나, 보증 조건을 환각한다면 — 축하한다, 당신의 회사는 방금 계약서에 서명한 것이다. 비유가 아니다. 법적으로.

그리고 가장 무서운 부분은? 엔터프라이즈 AI를 만드는 사람 중 이 사실을 내재화한 이가 거의 없다는 점이다.

모든 AI 챗봇의 리스크 프로파일을 다시 쓴 판결

실제로 Moffatt 사건에서 무슨 일이 있었는지 말해주겠다. 세부 내용이 헤드라인이 암시한 것보다 더 중요하기 때문이다.

Jake Moffatt의 할머니가 세상을 떠났다. 그는 Air Canada 웹사이트에 접속해 챗봇을 찾아 유족 특별 요금에 관해 물었다. 챗봇은 — 이런 시스템이 최적화하도록 설계된 도움이 되는 어조로, 자신 있고 유창하게 — 지금 정가 항공권을 구매한 뒤 90일 이내에 유족 할인을 신청하면 부분 환불을 받을 수 있다고 안내했다.

그런 정책은 존재하지 않았다. 항공사의 실제 규정은 요금 규정 문서와 정적 페이지에 묻혀 있었고, 정반대를 말하고 있었다. 일단 탑승하고 나면 소급 환불은 없다는 것. 챗봇은 그럴듯하게 들리는 정책을 환각한 것이다. 통계적으로 "유족", "환불", "90일"이라는 문구 패턴이 업계 전반의 항공사 정책 문서에서 자주 함께 등장하기 때문이다.

Moffatt이 환불을 요청했으나 Air Canada가 거부하자, 그는 이들을 재판부에 회부했다. Air Canada의 변호사들은 내가 여전히 아연실색하게 되는 주장을 폈다. 그들은 챗봇이 별개의 법적 실체로 취급되어야 하며 자신의 진술에 대해 책임을 진다고 주장했다. 올바른 정보는 웹사이트의 다른 곳에서 이용할 수 있었으므로 회사는 자신의 의무를 다했다는 것이다.

재판부는 이를 단순히 기각한 것이 아니었다. 재판관 Christopher Rivers는 본질적으로 이렇게 말했다. 인간 상담원, 정적 웹페이지, 그리고 대화형 봇 사이에는 의미 있는 구분이 없다. 그것들은 모두 회사가 고객에게 말하는 것이다.

당신의 AI가 말하면, 당신의 회사가 서명한 것이다. 재판부는 환각이 소프트웨어 버그가 아니라 — 과실에 의한 부실 표시라는 점을 확립했다.

그 판결에서 모든 CTO를 밤잠 못 이루게 해야 할 세 가지 선례가 나왔다. 통합 책임: 정보가 HTML 텍스트에서 나오든 신경망에서 나오든 상관없다 — 그것은 모두 회사의 표현이다. 주의 의무: 검증되지 않은 확률적 모델을 정책 전파에 배포하는 것은 과실이다. 그리고 현재의 대부분 아키텍처를 무너뜨리는 것: "블랙박스" 항변은 죽었다. 당신의 AI 시스템의 내부적 복잡성은 어떠한 법적 보호도 제공하지 않는다.

손해배상액은 800달러였다. 그 선례는 미래의 책임 노출 측면에서 수십억 달러의 가치가 있다.

왜 "좋은 프롬프트"가 당신을 구하지 못하는가

많은 AI 컨설팅 회사가 듣고 싶어 하지 않는 무언가에 대해 솔직하게 말할 필요가 있다. 검색 증강 생성(Retrieval-Augmented Generation)은 컴플라이언스 솔루션이 아니다.

Moffatt 사건의 세부 내용을 처음 파고들기 시작했을 때, 나는 챗봇이 올바른 정책에 접근할 수 없었다는 사실을 발견하리라 예상했다. 그것은 단순한 검색 실패였을 것이다 — 고칠 수 있고, 이해할 수 있는. 대신 나는 더 나쁜 것을 발견했다. 챗봇은 실제로 올바른 유족 정책 페이지로 가는 링크를 제공했다. 올바른 문서를 가지고 있었다. 다만 그것을 잘못 요약했을 뿐이다.

이것이 "그냥 RAG를 추가하라"는 서사를 무너뜨리는 실패 유형이다. 챗봇은 올바른 맥락을 검색했으면서도 여전히 답변을 환각했다.

이유는 이렇다. 대규모 언어 모델은 확률적 엔진이다. 이들은 학습 데이터의 통계적 패턴을 바탕으로 다음에 나올 가능성이 높은 토큰을 예측한다. LLM이 "환불은 90일 이내에 가능합니다"라고 말할 때, 그것은 규칙 데이터베이스를 조회하는 것이 아니다. 학습 중에 흡수한 수백만 개의 문서 — 수많은 서로 다른 기업의 수많은 서로 다른 환불 정책이 담긴 문서 — 를 바탕으로 통계적으로 개연성 있는 문장 패턴을 완성하고 있는 것이다.

모델에 올바른 문서를 주는 것은 도움이 된다. 그러나 검색된 텍스트가 복잡하다면, 법률 언어가 난해하다면, 종속절에 미묘한 부정어가 묻혀 있다면 — 모델은 사전 학습된 편향을 우선시하여 검색된 맥락을 무시할 수 있다. 이것은 드문 예외적 사례가 아니다. 파라메트릭 메모리 지배(parametric memory dominance)라 불리는 알려진 실패 유형이며, 컴플라이언스에 가장 중요한 바로 그런 종류의 복잡한 정책 언어에서 더 자주 발생한다.

나는 이것을 직접 목격했다. 우리는 헬스케어 분야의 한 고객을 위한 프로토타입을 테스트하고 있었는데, 시스템은 컨텍스트 윈도우에 올바른 약물 상호작용 데이터를 가지고 있었다 — 말 그대로 프롬프트 안에 바로 있었다. 그럼에도 모델은 "심각한 상호작용" 경고를 "경미한 주의"로 완화한 응답을 생성했다. 학습 데이터에서 그 두 약물을 함께 다룬 대부분의 텍스트가 위험을 최소화하는 맥락에서 등장했기 때문이다. 검색은 완벽했다. 생성은 위험했다.

RAG는 지식을 제공하지만 준수를 보장하지는 않는다. 확률 엔진만으로는 엄격한 논리 문제를 풀 수 없다.

숫자가 이를 뒷받침한다. AI 환각에 기인한 전 세계 손실은 2024년 674억 달러에 달했다. 최고 수준의 프런티어 모델조차 — GPT-4o, Gemini 2.0 — 작업 복잡도에 따라 0.7%에서 3% 사이의 기저 환각률을 유지한다. 계산해보기 전까지는 작게 들린다. 월 100만 건의 쿼리를 처리하는 은행의 AI 어시스턴트가 0.7%의 환각률을 보이면 7,000건의 잠재적 규제 위반을 만들어낸다. 매달.

그리고 기업들은 이미 이 신뢰 불가능성에 대해 숨겨진 세금을 치르고 있다. Forrester는 환각 완화 비용이 생산성 손실 측면에서 대략 직원 1인당 연간 14,200달러에 달한다고 추정한다 — 인간이 스스로 신뢰할 수 없는 AI 작업을 재차 확인하는 것이다. 환각 탐지 도구 시장은 2023년에서 2025년 사이 318% 성장했다. 이는 문제가 해결되고 있다는 신호가 아니다. 근본적으로 결함이 있는 접근 방식을 필사적으로 땜질하고 있는 업계의 신호다.

거짓말할 수 없는 챗봇은 어떤 모습일까?

한 순간이 있었다 — 팀과 함께한 심야 아키텍처 세션 중에 일어났기에 또렷이 기억한다 — 핵심 아이디어가 딱 떠오른 순간이었다. 우리는 컴플라이언스 사용 사례를 위해 LLM을 "더 정확하게" 만드는 방법을 두고 논쟁하고 있었다. 더 나은 프롬프트. 더 나은 검색. 도메인 데이터에 대한 파인튜닝. 그때 우리 엔지니어 중 한 명이 대화를 멈추게 하는 말을 했다. "왜 우리는 모델에게 정확하기를 요구하는 거죠? 그건 정확성을 위해 설계된 게 아닙니다. 유창함을 위해 설계된 거예요."

그녀가 옳았다. 그리고 그 재구성이 우리가 구축하는 방식의 모든 것을 바꿔놓았다.

답은 확률적 모델을 덜 확률적으로 만드는 것이 아니다. 답은 판돈이 클 때 모델이 아예 결정을 내리지 못하게 하는 것이다.

우리는 이것을 결정론적 액션 레이어(Deterministic Action Layer)라고 부른다 — 사용자와 LLM 사이에 위치하여 교통 관제사 역할을 하는 미들웨어 구성 요소다. 고객이 날씨에 관해 묻거나 이메일 초안 작성을 도와달라고 하면, LLM은 자신이 잘하는 일을 한다: 유창하고 도움이 되며 창의적인 텍스트를 생성하는 것. 그러나 대화가 환불, 가격, 법률 조건, 보증, 개인정보 처리방침 — 잘못된 답변이 책임을 초래하는 그 어떤 것이든 — 을 건드리는 순간, 시스템은 완전히 모드를 전환한다.

결정론적 액션 레이어는 LLM이 가중치로부터 답변을 생성하도록 두는 대신, 하드코딩된 로직을 발동시킨다. 데이터베이스 쿼리. 의사결정 트리. 사전에 작성되고 법적으로 검토된 응답 템플릿. LLM의 역할은 "저자"에서 "번역가"로 축소된다 — 결과를 정중한 문장으로 바꿔 표현할 수는 있지만, 정보를 추가하거나 제거하거나 재해석할 수는 없다.

이렇게 생각해보라. 만약 Moffatt 챗봇이 이 아키텍처를 가지고 있었다면, 다음과 같은 일이 일어났을 것이다: 시맨틱 라우터가 의도를 감지한다 — bereavement_refund. 모델이 유족 환불 정책이 대개 무엇을 말한다고 생각하는지 즉흥적으로 지어내게 두는 대신, 결정론적 함수를 실행한다: if ticket_status == 'flown' return NO_REFUND. 응답이 돌아온다: "저희 정책은 여행 후 환불을 엄격히 금지합니다. 참조: 요금 규정 45." 지루하다. 법적으로 빈틈없다. 정확히 필요했던 것이다.

나는 이 아키텍처에 대해 우리 연구의 인터랙티브 버전에서 심층적으로 다뤘지만, 핵심 통찰은 간단하다: 대화와 컴플라이언스를 분리하라. 신경망이 인간 언어의 지저분하고 아름다운 가변성을 다루게 하라. 결정론적 코드가 틀렸을 때 돈이 드는 부분을 다루게 하라.

침묵 프로토콜

우리가 사용하는 특정 디자인 패턴이 있는데, 어떤 아키텍처 다이어그램보다도 그 철학을 잘 담아낸다고 생각한다. 우리는 그것을 침묵 프로토콜(Silence Protocol)이라고 부른다.

사용자가 우리가 "컴플라이언스 크리티컬"로 분류한 주제에 관해 물으면, 생성형 AI의 창의적 능력은 사실상 소거된다. 시스템은 "저자" 모드에서 "독자" 모드로 전환한다. 데이터베이스에서 정확한 텍스트를 검색하여 그대로 제공하거나, 신뢰할 수 있는 출처의 변수로 엄격한 템플릿을 채운다.

그리고 일부 제품 관리자를 불편하게 만드는 부분이 여기 있다: 사용자가 정책 공백에 해당하는 질문을 — 결정론적 규칙이 존재하지 않는 곳 — 하면, 시스템은 즉흥적으로 대응하지 않는다. 시스템은 이렇게 말한다: "그 질문에는 직접 답변드릴 수 없습니다. 담당 전문가와 연결해 드리겠습니다."

한 잠재 고객이 이에 대해 강하게 반발한 적이 있다. "사용자는 즉각적인 답변을 원합니다." 그가 말했다. "'모르겠습니다'라고 말하는 챗봇은 고장 난 것처럼 느껴져요."

나는 그에게 어느 쪽이 더 고장 나 보이냐고 물었다: "담당자를 연결해 드리겠습니다"라고 말하는 챗봇인가, 아니면 존재하지 않는 환불 정책을 지어내서 회사가 그것을 이행해야 하고 법무팀이 6개월을 수습에 쏟아붓게 만드는 챗봇인가?

법적 관점에서, 계약 조건에 관한 창의성은 날조와 동의어다. 엔터프라이즈 AI의 가장 가치 있는 기능은 그것이 무엇을 말할 수 있느냐가 아니라 — 무엇을 말하지 못하도록 방지되어 있느냐다.

우리는 컴플라이언스 주제에 대해 창의성을 비활성화한다. 왜냐하면 Moffatt 이후의 세계에서, "도움이 되려고" 정책을 즉흥적으로 지어내는 AI는 승인 없이 실시간으로 당신의 계약서를 다시 쓰고 있는 AI이기 때문이다.

시스템은 무엇이 위험한지 어떻게 아는가?

이것은 내가 가장 자주 받는 질문이고, 올바른 질문이다. 이 아키텍처는 라우팅 레이어 — 교통 관제사 — 가 "당신 회사의 역사에 대해 알려줘"(LLM 생성에 안전)와 "이거 환불받을 수 있나요?"(반드시 결정론적으로 처리해야 함)를 안정적으로 구분할 수 있어야만 작동한다.

우리는 시맨틱 라우팅(semantic routing)을 사용하는데, 이는 구형 챗봇 시스템의 취약한 키워드 매칭과는 근본적으로 다르다. "refund(환불)"를 찾는 키워드 시스템은 "내 돈을 돌려받고 싶어요"나 "보상해 주실 수 있나요"를 놓칠 것이다. 시맨틱 라우팅은 사용자의 쿼리를 고차원 벡터 임베딩으로 변환하고, 제한된 주제에 대해 미리 정의된 표준 예시와 비교한다.

핵심 세부 사항: 이 라우팅 레이어는 LLM의 컨텍스트 윈도우 바깥에 위치한다. 이것은 보안에 엄청나게 중요하다. 프롬프트 인젝션 공격 — 사용자가 모델이 지시를 무시하도록 속이려고 설계된 입력을 만드는 것 — 은 실재하며 커지고 있는 위협이다. 그러나 라우팅 결정이 쿼리가 모델에 도달하기 전에 일어난다면, 그러한 공격은 컴플라이언스 로직과 무관해진다. 애초에 모델에 열쇠를 건네지 않는 시스템은 탈옥할 수 없다.

민감한 의도가 감지되면, 우리는 함수 호출(function calling)을 사용한다 — 모델이 자유 형식 텍스트가 아니라 구조화된 데이터(특정 함수를 호출하는 JSON 객체)를 출력하는 현대 LLM의 기능이다. LLM은 대화에서 매개변수를 추출한다 — 항공권 ID, 구매일, 여행일 — 그리고 이를 결정론적 코드 블록으로 전달한다. Python. SQL. 실제 비즈니스 로직을 실행하는 무엇이든. 모델은 절대 환불을 계산하지 않는다. 절대 자격 여부를 결정하지 않는다. 자연어를 API 호출로 번역하고, API 응답을 다시 자연어로 번역한다. 결정은 확률이 아니라 코드가 한다.

라우팅 아키텍처, 함수 호출 패턴, 그리고 우리의 검증 파이프라인에 대한 전체 기술적 설명은 우리의 기술 심층 분석을 참조하라.

규제의 벽이 좁혀오고 있다

Moffatt 선례가 충분한 동기가 되지 않았다면, 규제 환경이 결정론적 가드레일을 선택 불가능한 필수로 만들려 하고 있다.

EU AI Act는 많은 고객 대면 AI 시스템 — 특히 운송, 은행, 필수 서비스 분야 — 을 고위험(High-Risk)으로 분류한다. 제14조는 인간의 감독을 의무화한다: 시스템은 인간이 출력을 해석하고, 개입하고, 정지 버튼을 누를 수 있도록 설계되어야 한다. 블랙박스 LLM 래퍼는 이를 충족하지 못한다. 컴플라이언스 담당자가 시스템이 실행하는 규칙을 작성하는 결정론적 액션 레이어는 충족한다.

GDPR 제22조는 개인이 법적 또는 중대한 영향을 미치는 결정에 대해 오로지 자동화된 처리에만 근거한 결정의 대상이 되지 않을 권리를 부여한다. 환불을 거부하는 것은 중대한 영향이다. 대출 신청을 거부하는 것은 중대한 영향이다. 고객이 "왜 제가 거부되었나요?"라고 물을 때, 신경망은 자신의 추론을 설명할 수 없다. 추론이 없기 때문이다 — 통계적 가중치가 있을 뿐이다. 결정론적 로직 트리는 정확한 노드를 짚어낼 수 있다: "신용 점수가 기준 미달" 또는 "항공권 상태: 탑승 완료."

그리고 ISO 42001 — AI 거버넌스에 대한 최초의 글로벌 표준 — 은 조직이 확률적 로직 대 결정론적 로직이 어디에 사용되는지 매핑하고, 환각률을 측정하고, 완전한 감사 추적을 유지하도록 요구한다. 우리는 이 표준에 대해 감사 대응이 가능하도록 아키텍처를 특별히 설계했다. 모든 상호작용, 모든 라우팅 결정, 모든 정책 실행이 추적 가능한 로직 경로와 함께 기록된다.

이것은 이론적인 컴플라이언스가 아니다. 나는 이러한 프레임워크 때문에 자사의 AI 배포를 적극적으로 재고하고 있는 엔터프라이즈 법무팀과 함께 회의실에 앉아본 적이 있다. 지금 가드레일을 구축하는 기업은 나중에 컴플라이언스를 개조하느라 허둥대는 기업보다 AI를 더 빠르고 더 폭넓게 배포할 것이다.

"하지만 이거 비싸지 않나요?"

사람들은 항상 내게 이것을 묻고, 나는 그 본능을 이해한다. 시맨틱 라우팅, 결정론적 로직 레이어, 지식 그래프, 검증 파이프라인을 구축하는 것은 — 멋진 UI로 API 호출을 감싸는 것보다 확실히 더 복잡하다.

그러나 질문을 재구성해보자. 그것을 구축하지 않는 것의 비용은 무엇인가?

Air Canada의 손해배상액은 800달러였다. 그러나 법률 비용이 그것을 훨씬 능가했다. 평판 피해 — "항공사가 자사 챗봇이 별개의 법적 실체라고 주장하다"가 전 세계적인 웃음거리가 되었다 — 는 헤아릴 수 없다. 그리고 그것은 단일 유족 요금에 관한 단 한 번의 상호작용이었다.

이제 대출 승인을 환각하는 금융 서비스 챗봇을 상상해보라. 약물 상호작용 경고를 완화하는 헬스케어 봇. 보장 조건을 지어내는 보험 봇. 우리는 더 이상 800달러에 대해 이야기하고 있지 않다. 집단소송 영역에 대해 이야기하고 있는 것이다.

기업이 현재 환각 완화에 지출하는 직원 1인당 연간 14,200달러 — 아무도 신뢰하지 않기에 인간이 AI 출력을 수작업으로 검증하는 것 — 그것이 "값싼" AI의 진짜 비용이다. 래퍼는 구축하기는 싸지만 운영하기는 비싸다. 결정론적 아키텍처는 구축하기는 비싸지만 신뢰하기는 싸다.

이것은 다음에 올 것에 관한 이야기다

나는 현재의 챗봇 논의를 넘어서는 무언가로 끝맺고 싶다. Moffatt 판결이 훨씬 더 큰 전환의 예고편이라고 생각하기 때문이다.

우리는 AI 챗봇의 시대에서 AI 에이전트의 시대로 이동하고 있다 — 단지 질문에 답하는 것이 아니라 행동을 취하는 시스템으로. 항공권 예약. 송금. 청구 승인. 계약 체결. "사용자가 정보를 검증해야 한다"는 법적 허구는 챗봇에 적용될 때조차 이미 취약했다. 거래를 자율적으로 실행하는 에이전트에 적용될 때는 완전히 지탱 불가능하다.

돈, 계약, 또는 규제 대상 결정을 다루는 AI를 배포하는 모든 기업은, 그것을 인식하든 못 하든 지금 이 순간 선택을 하고 있다. 그들은 AI의 창의성이 결정론적 로직에 의해 제한되는 시스템 — 기계가 엄격하게 강제되는 가드레일 안에서 유창하고 도움이 될 수 있는 — 을 구축하고 있거나, 아니면 한 번의 환각으로 기업 정책을 다시 쓸 법적 권한을 가진, 유창하되 감독받지 않는 에이전트를 배포하고 있는 것이다.

나는 그 선의 어느 쪽에 서고 싶은지 안다. 법이 어느 쪽을 요구할지 안다.

당신의 챗봇은 법적 구속력이 있는 직원이다. 그것은 기업 자금을 다루는 인간 직원과 똑같은 훈련, 똑같은 감독, 그리고 똑같은 엄격한 경계를 필요로 한다. 당신은 신입 직원이 기분에 따라 환불 정책을 지어내게 두지 않을 것이다. 당신의 AI도 그렇게 하도록 두지 마라.

블랙박스 항변은 죽었다. 래퍼의 시대는 끝나가고 있다. 그리고 결정론적 액션 레이어를 먼저 알아내는 기업은 책임을 피하는 데 그치지 않을 것이다 — 그들은 자신의 비즈니스에서 가장 중요한 부분으로 AI를 실제로 확장하는 이들이 될 것이다. 자신의 시스템이 신뢰받을 수 있는 이들이기 때문이다.

문제는 당신의 AI가 충분히 똑똑한가가 아니다. 언제 입을 다물어야 하는지를 아는가다.