모든 AI가 동일한 세무 질문에 오답을 냈다 — 법령을 직접 확인하기 전까지 아무도 몰랐던 이유
어느 화요일 밤, 나는 ChatGPT, Claude, Gemini라는 세 개의 브라우저 탭을 응시하고 있었다. 세 모델 모두 나에게 똑같은 답을 내놓고 있었다. 그리고 세 모델 모두 틀렸다.
질문은 매우 단순했다. 신설된 종합예산조정법(OBBBA)에 따라 납세자가 개인용 자동차 대출 이자를 공제받을 수 있는가? 모든 모델이 가능하다고 답했다. 모든 모델이 적용 기간, 차량 요건, 소득 한도까지 해당 조항을 정확하게 설명했다. 그러나 모든 모델이 이 공제를 세법의 엉뚱한 조항에 배치했고, 그 결과 뒤따르는 재무적 조언은 완전히 쓸모없는 쓰레기가 되었다.
살짝 빗나간 수준이 아니었다. "해석에 따라 다를 수 있다"는 식의 문제도 아니었다. 그냥 명백히 틀린 답이었다. 공인회계사(CPA)가 이를 그대로 따랐다가는 국세청(IRS)의 세무조사를 부를 만한 오류였다. 은퇴자가 예기치 못한 메디케어 추가 보험료로 수천 달러를 날릴 수 있는 치명적인 오류였다. 그리고 가장 두려운 부분은, 정답을 미리 알고 있지 않았다면 결코 알아챌 수 없었을 것이라는 점이다. AI의 답변은 완벽하게 그럴듯하게 들렸다.
그 순간은 컴플라이언스 분야에서 AI를 바라보는 나의 시각을 완전히 바꾸어 놓았다. 대규모 언어 모델이 환각(Hallucination)을 일으켰다는 사실에 놀라서가 아니었다. 언어 모델이 종종 그렇다는 것은 누구나 안다. 나를 충격에 빠뜨린 것은 세 모델 모두가 정확히 같은 이유로, 정확히 같은 방식으로 환각을 일으켰다는 점이다. 모델들은 인터넷에서 잘못된 답을 학습했고, 인터넷 전체가 너무나 일관되게 틀려 있어서 모델이 스스로 교정할 수 있는 정상적인 신호가 전혀 남아 있지 않았던 것이다.
우리는 이 현상을"합의 오류(Consensus Error)"라고 부르기 시작했다. 그리고 이를 한번 이해하고 나자, 어디서든 이 현상이 눈에 띄기 시작했다.
합의 오류란 무엇이며, 왜 신경 써야 하는가?
AI를 다루는 대부분의 사람들은 환각 현상에 익숙하다. 모델이 출처를 지어내거나, 통계를 날조하거나, 사실이 아닌 것을 자신 있게 주장하는 순간들이다. 이러한 오류도 무섭지만, 어느 정도는 무작위적이다. 어딘가 어색한 느낌이 들거나 간단한 Google 검색만으로도 날조된 사실을 밝혀낼 수 있어 잡아내기 쉬운 편이다.
합의 오류는 다르다. AI가 오답을 내놓는 이유가 데이터가 부족해서가 아니라, 학습에 사용된 데이터 자체가 압도적이고도 확신에 차서 잘못되어 있기 때문에 발생한다. 모델은 어둠 속에서 마구잡이로 추측하는 것이 아니다. 인터넷의 다수 의견을 사용자에게 그대로 반사해 보여주고 있을 뿐이며, 그 다수 의견이 법적으로 완전히 거짓이었던 것이다.
인터넷 자체가 잘못되어 있을 때, 그것을 학습한 모든 AI는 동일한 망상을 물려받는다. 합의 오류는 일시적인 오작동(glitch)이 아니다. 언어 모델이 학습하는 방식 자체에서 비롯되는 필연적인 특징이다.
그 수학적 메커니즘을 잠시 생각해 보라. 특정 세법 조항에 대한 웹상의 기사 중 90%가 이를 부정확하게 설명하고 있다면——쉬운 표현을 쓰려다 두 개의 서로 다른 법 조항을 혼동하거나, 서로의 오류를 그대로 베껴 쓰는 식으로 말이다——모델의 내부 가중치는 높은 확신을 가지고 잘못된 답으로 수렴하게 된다. 실제 법률 조문이 학습 데이터에 존재하더라도 빽빽한 법률 전문 용어로 한두 번 등장하는 반면, 잘못된 해석은 접근하기 쉽고 SEO에 최적화된 글을 통해 수천 번씩 등장하기 때문이다.
모델은 설계된 본래 목적대로 작동한다. 즉, 가장 확률이 높은 다음 토큰을 예측하는 것이다. 그리고 가장 확률이 높은 토큰이 바로 틀린 토큰이었다.
세 개의 AI를 무너뜨린 자동차 대출 공제
구체적인 사례를 살펴보자. 세부 사항이 결정적으로 중요하기 때문이다.
OBBBA는 "적격 승용차 대출 이자(Qualified Passenger Vehicle Loan Interest)"라는 새로운 항목을 신설했다. 이는 2025년부터 2028년 과세연도까지 적용되는 한시적 공제로, 미국에서 조립된 신규 승용차 구매 대출에 대해 납부한 이자를 공제해 주는 제도다. 여기까지는 문제없다. 모든 AI가 이 부분은 정확히 맞혔다.
문제가 터진 곳은 바로 여기다. 해당 공제가 추가된 곳은IRC 제63조(과세표준 소득 규정)이며,추가되지 않은곳은IRC 제62조(조정총소득[AGI] 규정)다. 세무에서 이 차이는 모든 것을 좌우한다.
제62조 공제——"라인 위(above-the-line)"——는 AGI를 낮춘다. AGI는 학자금 대출 상환 플랜, 의료비 공제 기준선, 사회보장 급여 과세 여부, 메디케어 추가 보험료 등 수십 가지 다른 혜택의 자격 요건을 결정한다. AGI를 낮추면 일련의 연쇄적인 절세 혜택이 열린다.
제63조 공제——"라인 아래(below-the-line)"——는 과세표준 소득을 낮춘다. 연방 세금을 절감해 주기는 하지만, AGI에는아무런 영향도 미치지 않는다. 이러한 연계 혜택은 일절 적용되지 않는다.
모든 주요 LLM은 이 공제가 사용자의 AGI를 낮출 것이라고 답했다. 단 하나도 빠짐없이. 금융 콘텐츠 생태계가 그렇게 말하고 있었기 때문이다. 널리 공유된 해설서와 SEO 맞춤형 기사들은 세금 계산의어느 부분에적용되는지는 명시하지 않은 채 "자동차 대출 이자도 이제 공제 가능!" 같은 헤드라인을 쏟아냈다. 클릭 수에 최적화하는 콘텐츠 제작자들에게 제62조와 제63조의 차이는 너무나 지루했던 모양이다.
그러나 이 조언을 따른 납세자에게 닥칠 결과는 매우 현실적이다.
AGI를 낮게 잘못 신고한 은퇴자는 예기치 못한 메디케어 IRMAA 추가 보험료를 부과받을 수 있다. 소득 연계형 학자금 대출 상환 플랜 이용자는 감면 혜택 자격을 상실할 수 있다. 연방 AGI에 주 소득세를 연동하는 애리조나 같은 주의 납세자는 주 정부 세무조사를 받을 수 있다. 나는 이러한 재정적 연쇄 효과의 전모를당사 연구의 인터랙티브 버전에 정리해 두었는데, 그 파급 효과는 대부분의 사람들이 짐작하는 것보다 훨씬 심각하다.
왜 RAG로는 이를 해결할 수 없었는가?
벌써 이런 반론이 들리는 듯하다. "그냥 RAG를 쓰면 되지 않나. 실제 법률 조문을 검색해서 넣어주면 문제 해결 끝이다."
우리는 시도해 보았다. 하지만 해결되지 않았다.
검색 증강 생성(RAG)——사용자의 질문과 함께 관련 문서를 모델의 컨텍스트 윈도우에 주입하는 기술——은 환각 문제에 대한 업계의 현재 표준 해법이다. 실제로 많은 활용 사례에서 도움이 된다. 그러나 법률적 추론에 있어서는 RAG 역시 우리의 테스트에서 즉각 드러난 세 가지 구조적 약점을 안고 있다.
첫째, 세법 법령은 이야기처럼 서술형으로 읽히지 않는다. OBBBA는 "이것은 라인 아래 공제 항목이다"라고 친절하게 써주지 않는다. 법조문은 "제163조(h)의 제(3)항 뒤에 다음 신설 항을 삽입하여 개정한다..."와 같이 규정한다. 모델은 일련의 개정 조항들을 바탕으로 세법의 논리적 상태를 스스로 재구성해야 한다. 검색된 조각이 "공제 허용"을 명시하더라도 계산 흐름상 어느 위치인지를 명시하지 않으면, 모델은 자신의 학습 편향——즉 인터넷 블로그 게시물들——으로 그 공백을 채워버린다.
둘째, 벡터 검색은유사한 것을 찾을 뿐,누락을 통해 관련성을 갖는 것은 찾지 못한다. 자동차 대출 공제에 관한 질의는 자동차 대출 공제에 관한 문단만 가져온다. AGI를 정의하는 제62조의 문단은 가져오지 못하는데, 해당 문단에는 자동차 대출에 대한 언급이 전혀 없기 때문이다. 그것은 단지 명시하지 않음으로써배제하고있을 뿐이다. 법률에서 목록에 무언가가 없다는 것은 중대한 의미를 갖는다. 그러나 벡터 유사도 검색에서 이러한 부재는 보이지 않는다.
셋째——그리고 이것이 나를 가장 밤잠 설치게 하는 부분인데——RAG는 '검색'을 해결할 뿐 '추론'을 해결하지 못한다. 모델 앞에 정확한 법조문을 가져다 놓아도, 수백만 개의 잘못된 학습 예시로 인해 내부 가중치가 왜곡되어 있다면 모델은 여전히 본문을 오해한다. 모델은 편향된 독자가 되어, 텍스트가 실제로 말하는 내용이 아니라 자신이 기대하는 바를 보게 되는 것이다.
RAG는 AI에게 올바른 문서를 건네준다. 하지만 올바른 책을 쥐고 있어도 편향된 독자는 여전히 틀린 결론에 도달한다.
수 주 동안 다양한 검색 전략, 청크 크기, 프롬프트 구성을 테스트한 후, 우리 팀은 모든 의문을 해소해 준 논쟁을 벌였다. 엔지니어 중 한 명은 더 나은 임베딩, 더 정밀한 청킹, '검색된 텍스트만 사용할 것'이라는 명시적 지시 등 RAG 파이프라인을 계속 고도화하고 싶어 했다. 법률 자문역은 그를 바라보며 이렇게 말했다. "당신은 수학을 못하는 사람에게 더 좋은 안경을 맞춰주려 하고 있어요." 그녀의 말이 옳았다. 문제는 모델이 무엇을 볼 수 있느냐가 아니었다. 모델이 무엇에 대해추론할 수 있는가였다.
AI가 법률을 잘못 해석하면 어떤 일이 일어나는가?
OBBBA 사례에는 문제를 더욱 복잡하게 만드는 단계적 축소(phase-out) 규정도 포함되어 있다. 공제 한도는 연간 10,000달러이며, 납세자의 소득이 100,000달러(단독 신고) 또는 200,000달러(부부 합산 신고)를 초과할 경우 1,000달러당 200달러씩 공제액이 감액된다. 소득이 각각 150,000달러 및 250,000달러에 도달하면 공제 혜택은 완전히 소멸한다.
소득이 125,000달러인 가상의 납세자를 대상으로 테스트했을 때, 모델들은 크게 헤맸다. 일부는 단계적 축소 규정을 완전히 무시했다. 다른 모델들은 전혀 다른 계산법을 가진 아동 세액 공제 조항의 감액 곡선을 엉뚱하게 차용했다. 모델들은 실제 규정을 계산하는 대신 익숙한 구조에 패턴 매칭을 하고 있었던 것이다.
이것이 바로 합의 오류 위에 중첩된 "산술적 환각(Arithmetic Hallucination)" 문제다. 모델은 법적 프레임워크만 틀리는 것이 아니라 수학적 계산도 틀린다. 그리고 효율적인 배포를 위해 양자화(quantization)를 통해 모델을 압축하면, 추론 능력은 언어 능력보다 훨씬 빠르게 저하된다. 모델은더욱 자신 있게 답변하지만 실제로는 덜 정확해진다. 이는 어떤 분야에서든 위험한 조합이다. 세무 컴플라이언스에서는 심각한 리스크가 된다.
대부분의 사람들이 완전히 놓치고 있는 또 다른 측면이 있다. OBBBA는 제6050AA조도 신설하여 새로운 보고 의무를대출 기관에 부과했다. 적격 차량 대출에서 600달러 이상의 이자를 수취하는 모든 기업은 IRS에 정보 신고서를 제출해야 한다. 은행과 신용협동조합이 신법에 따라 무엇을 해야 하는지 모델들에게 물었을 때, 모델들은 거의 차입자의 공제에만 초점을 맞추었다. 콘텐츠 생태계가 온통 그 이야기만 썼기 때문이다. 대출 기관의 컴플라이언스 의무는 거의 감지조차 못했다. 규제 변화를 요약하기 위해 AI를 사용하는 핀테크 기업의 경우, 이러한 누락은 조직적인 비준수와 IRC 제6721조 및 제6722조에 따른 과태료로 이어질 수 있다.
실제로 작동하는 아키텍처
자동차 대출 사태 이후, 나는 컴플라이언스에 언어 모델을 사용하는 접근 방식 전체가 근본적으로 결함이 있다고 확신하며 한 달을 보냈다. 그러던 중 우리의 생각을 바꾼 무언가를 구축하게 되었다. LLM 자체에 대한 생각이 아니라, LLM을 어떻게 사용해야 하는가에 대한 생각의 전환이었다.
우리가 깨달은 통찰은 단순했다.AI에게 법률을 추론하라고 요구하지 말라는 것이다. AI는 자신이 잘하는 것(언어 이해)을 하게 두고, 추론은 실제로 논리를 처리할 수 있는 엔진에 넘겨야 한다.
이것이 바로 뉴로-심볼릭 AI의 핵심 개념이다. 신경망의 뛰어난 언어적 유창성과 심볼릭 논리 시스템의 결정론적 엄밀성을 결합한 하이브리드 아키텍처다. 우리는 '결정론적 세무 엔진(Deterministic Tax Engine)'이라 불리는 시스템을 구축했으며, 이는 3단계로 작동한다.
첫 번째 단계는인텐트 파서(Intent Parser)다. 바로 여기서 LLM이 가장 잘하는 역할을 수행한다. 사용자가 인보이스를 업로드하거나 질문을 입력하거나 은행 데이터를 연동한다. 뉴럴 레이어는 차량 종류, 구매일, 대출액, 조립 장소, 납세자 소득 등 구조화된 엔티티를 추출한다. 세무 처리에 대해서는 아무것도 결정하지 않는다. 그저 복잡한 인간의 현실을 정제된 데이터로 변환할 뿐이다.
두 번째 단계는트루스 앵커(Truth Anchor)다. 여기서 심볼릭 레이어가 작업을 이어받는다. 우리는 세법을 '읽어야 할' 텍스트가 아니라, 프랑스 국세청을 위해 INRIA가 개발한 Catala나 프롤로그 기반 법률 추론 시스템인 PROLEG 같은 특수 언어를 사용해 실행 가능한 로직으로 인코딩한다. 법령이 곧 프로그램이 되는 것이다. Truth Anchor는 지식 그래프를 쿼리하고, 인코딩된 규칙을 적용하며, 누락된 사실을 확인하고, 결정론적 결과를 계산한다. 차량이 멕시코에서 조립되었다면 공제는 거부된다. 소득이 단계적 축소 기준을 초과하면 감액분이 1센트 단위까지 계산된다. 확률은 없다. 추측도 없다.
세 번째 단계는응답 제너레이터(Response Generator)다. 또 다른 뉴럴 레이어이지만 제약이 적용된다. 논리 솔버의 출력값("공제: 거부. 사유: 소득 135,000달러에서 단계적 축소 한도 초과")을 받아 명확하고 사람이 읽기 쉬운 언어로 번역한다. LLM은 답변을읽기 쉽게 만들 뿐, 답변 내용을다르게 바꿀 자유는 전혀 없다.
우리는 AI에게 법률을 어림짐작하라고 요구하지 않는다. 법률을 계산하도록 가르친다. 뉴럴 레이어는 언어를 다루고, 심볼릭 레이어는 진실을 다룬다. 어느 쪽도 상대방의 영역을 침범하지 않는다.
이러한 분리(decoupling)야말로 합의 오류를 원천 차단하는 핵심이다. 뉴럴 레이어는 학습을 통해 유명 금융 사이트들이 자동차 대출 이자가 AGI를 낮춰준다고 주장한다는 점을 '알고' 있을 수 있다. 그러나 뉴럴 레이어는 그러한 판단을 내리도록 요구받지 않는다. 단지 차량의 세부 정보를 추출할 것만 요구받는다. 최종 결정은 레딧(Reddit)에 접근할 수 없고 오직 인코딩된 법령에만 접근할 수 있는 심볼릭 레이어에서 이루어진다.
Catala가 기본값-예외 논리를 처리하는 방식과 응답 세트 프로그래밍(Answer Set Programming)이 세금 신고서 전체의 일관성을 검사하는 방식을 포함하여,전체 기술 아키텍처 및 정형 분석에 대해서는 상세한 연구 논문을 발표해 두었다.
이것이 왜 단순한 세금 공제 하나를 넘어 중요한 문제인가?
솔직히 고백하자면, 내가 처음에 합의 오류에 대해 설명하기 시작했을 때 가장 흔했던 반응은 "알겠습니다만, 그건 하나의 예외적인 특수 사례(edge case)일 뿐이잖아요. 대부분의 경우 AI는 잘 맞힙니다"라는 것이었다.
그러한 반응은 문제의 본질을 오해한 것이다. OBBBA 자동차 대출 공제는 특별한 사례가 아니다. 너무나전형적인 사례다. 의회가 새로운 법안을 통과시킬 때마다, IRS가 공식 지침을 발표하기도 전에 콘텐츠 생태계는 수천 개의 단순화되고 때로는 부정확한 해석을 쏟아낸다. 주 정부가 연방 세무 처리 방식과 분리될 때마다 인터넷은 뒤처진다. 법원 판결로 기존 법령의 해석이 바뀔 때마다 기존의 오래된 해석은 훈련 데이터에 수년간 그대로 남는다.
합의 오류는 특수 사례가 아니다. 복잡하거나, 최근에 변경되었거나, 비전문 필진에 의해 제대로 이해되지 못한 모든 법률 영역에서 나타나는 기본 상태(default state)다. 다시 말해, 세법의 대부분이 여기에 해당한다.
더 넓은 시사점은 중대한 리스크가 수반되는 영역에서 우리가 AI에 무엇을 기대하는가에 관한 것이다. 현재의 패러다임——LLM에 더 많은 컨텍스트를 제공하고, 더 나은 프롬프트를 작성하며, 더 큰 컨텍스트 윈도우를 사용하는 것——은 근본적으로 맞지 않는 아키텍처에 대한 점진적 개선에 불과하다. 패턴 매칭 엔진에 형식 논리적 추론을 요구하고 있는 셈이다. 때로는 운 좋게 맞힐 수도 있다. 하지만 세무 컴플라이언스에서 '때때로'라는 것은 결코 용납될 수 없다.
블랙박스에서 글래스박스로
감사관과 마주 앉아본 사람이라면 누구나 뼈저리게 공감할 매우 중요한 요소가 하나 더 있다. 바로추적 가능성(traceability)이다.
표준 LLM이 납세자에게 "네, 공제받을 수 있습니다"라고 말한 뒤 나중에 IRS가 이에 이의를 제기할 경우, 감사 추적(audit trail)은 어떻게 남는가? 모델은 주어진 컨텍스트에서 '네'가 가장 확률이 높은 다음 토큰이라고 예측했을 뿐이다. 이는 세무 감사관에게 제시할 수 있는 답변이 아니다.
우리의 뉴로-심볼릭 엔진에서는 모든 결정이 다음과 같은 그래프 경로를 생성한다.
Deduction_Allowed = True (이유: Loan_Date가 2025–2028년 기간 내에 있음[검증됨], Vehicle_Type이 Passenger임[검증됨], Assembly_Location이 US임[검증됨], Income이 단계적 축소 기준선 이하임[검증됨], Rule_Reference는 IRC § 163(h)(4)임).
그 연결 체인의 모든 노드는 감사(audit)가 가능하다. 모든 사실은 출처 문서로 추적할 수 있다. 모든 규칙은 세법의 특정 조항으로 추적할 수 있다. 새로운 IRS 유권해석이 나오거나 법 조항이 개정되어 무언가 변경되면, 지식 그래프와 논리 솔버를 업데이트하기만 하면 영향을 받는 모든 결정에 검토 플래그가 자동으로 지정된다.
이는 AI를 막연한 믿음으로 신뢰해야 하는 대상에서 필요할 때 언제든 검증할 수 있는 시스템으로 전환시킨다. 사람들은 항상 이러한 방식이 단순히 LLM을 사용하는 것보다 더 느리거나 비용이 많이 들지 않는지 묻는다. 솔직한 답변을 하자면, 초기 법령 인코딩에는 상당한 노력이 든다. 하지만 일단 인코딩되고 나면 판정 실행은 거의 즉각적이며, 전체 거래의 100%를 검증하는 비용은 1%를 검증하는 비용에 수렴한다. 이는 전통적인 표본 추출 기반 감사에 대한 미미한 개선이 아니라, 차원이 다른 보증(assurance)의 범주다.
아직 아무도 묻지 않는 질문
내가 가장 우려하는 점은 바로 이것이다. 금융 서비스 업계는 AI 어시스턴트, AI 세무 신고 도구, AI 컴플라이언스 모니터링 시스템을 도입하기 위해 앞다투어 질주하고 있다. 마케팅 문구에는 "AI 기반"이라고 쓰여 있고, 약관의 작은 글씨에는 "세무 조언이 아님"이라고 적혀 있다. 그리고 그 사이에서 수백만 명의 사람들이 권위 있게 들리고, 실제 법률을 인용하며, 구체적인 날짜와 금액까지 언급하지만, 정작 공제 항목을 세법의 잘못된 조항에 배치하는 엉터리 답변을 받고 있다.
우리는 AI가 명백하게 틀려서 사람이 쉽게 알아챌 수 있는 세상에 살고 있지 않다. 우리는 심도 있는 전문 지식이 있어야만 알아챌 수 있을 정도로 AI가미묘하게 잘못된 세상에 살고 있다. 이는 명백한 오류보다 훨씬 위험하다. 재확인하려는 본능 자체를 무디게 만들기 때문이다.
핵심 질문은 세무 컴플라이언스에 AI를 사용해야 하는가가 아니다. 당연히 사용해야 한다. 세법의 복잡성은 인간이 이를 일관되게 적용할 수 있는 역량을 이미 넘어섰기 때문이다. 진짜 질문은 우리가 운영되는 도메인의 본질을 존중하는 AI 시스템을 기꺼이 구축할 의지가 있는가이다. 세법은 결정론적이다. 세법에는 법령으로 정의된 정답과 오답이 존재하며, 이는 대중의 여론으로 결정되는 것이 아니다. 법적 진실을 확률 분포로 취급하는 아키텍처는 모델이 아무리 커지거나 프롬프트가 아무리 정교해져도 항상 합의 오류에 취약할 수밖에 없다.
세법에서 대중적 인기는 진실을 대변하지 않는다. 인터넷에서 1만 번 반복된 답변이라도, 이에 모순되는 단 한 번의 법률 조문보다 더 옳을 수는 없다.
우리가 Veriprajna를 설립한 이유는 컴플라이언스 분야의 AI에서 '신뢰하되 검증하라'의 시대는 이미 끝났다고 믿기 때문이다. 기업의 신뢰를 얻는 시스템은 먼저 검증하고 나중에 말하는 시스템, 즉 논리가 감사 가능하고, 수학이 결정론적이며, AI의 확신이 토큰 확률보다 더 견고한 무언가에 의해 뒷받침되는 시스템일 것이다.
법률 조문은 인터넷이 무엇을 생각하든 개의치 않는다. 당신의 AI 역시 그래야 한다.
