초록색 깃발은 당신을 구해 주지 않는다: 2026년 법률 AI 환각의 진짜 모습

2026년 3월, 두 명의 변호사가 함께 3만 달러의 벌금을 지고 제6순회항소법원을 걸어 나왔을 때, 그들의 서면에 인용된 판례가 모두 가짜였던 것은 아니다. 이 사실이 바로 누구도 마주하고 싶어 하지 않는 지점이며, 내가 매일 이런 것을 만드는 데 시간을 쏟는 이유다.

나는 이 문제의 내부에서 여기에 이르렀다. Veriprajna 이전에 나는 소송 담당 어소시에이트로 일했는데, 아무도 낭만적으로 포장하지 않는 업무의 한 부분이 바로 인용 검증이었다 — 밤 11시에 빨간 줄이 그어진 서면 앞에 앉아 인용 하나에 동그라미를 치고, 여백에 이렇게 휘갈겨 쓰는 일이다. 이 판례가 정말로 이런 내용을 말하고 있는가? 최초의 법률 AI 물결이 밀려왔을 때, 나는 그것이 그런 밤을 사라지게 해줄 거라고 생각했다. 그런데 오히려 그 밤을 더 위험하게 만들었다. 그 도구들이 검증된 것처럼 보이는 인용을 만들어 내는 데 아주 능숙해졌기 때문이다. 법률 AI 인용 검증은 알고 보니 스위치를 켜기만 하면 되는 기능이 아니었다. 그것은 누군가가 구축해야 하는 계층인데, 거의 아무도 구축해 두지 않았다.

이 글에서 내가 옹호하려는 주장은 이렇다. 2026년에 로펌을 제재로 몰아넣을 환각은 지금 당신의 도구가 잡아내도록 설계된 그것이 아니다. 그 유명한 실패 — 지어낸 판례 — 는 대부분 해결되었다. 확대되고 있는 실패는 실제 판례를 잘못 인용해 놓고 초록색 깃발을 달고 있는 경우다.

누구나 Mata를 기억한다. 그런데 거의 아무도 올바른 교훈을 배우지 못했다

이름은 몰라도 그 이야기는 알 것이다. Mata v. Avianca, 2023년: 한 변호사가 ChatGPT에 뒷받침할 판례를 요청했더니, Varghese v. China Southern Airlines라는 판례를 내놓았다 — 그럴듯한 사건번호, 있을 법한 법원, 상세한 내부 인용까지 갖췄지만 — 그 판례는 존재하지 않았다. 5,000달러의 벌금과 평생의 망신이 뒤따랐다.

이 직업군이 Mata에서 얻은 교훈은 "AI는 판례를 지어낸다"였다. 그래서 업계는 지어낸 판례에 대한 방어책을 구축했다. Thomson Reuters에는 KeyCite가 있다. LexisNexis에는 수십 년 된 업계 표준인 Shepard's가 있다. Harvey는 자사의 출력을 LexisNexis 데이터 볼트에 근거시킨다. 이런 인용 검증 도구들은 Mata 문제에 대해서는 정말로 뛰어나다. 아무것도 조회되지 않는 인용을 넣어 주면, 조회되지 않는다고 알려 준다.

문제는 이 직업군이 2023년의 문제를 풀어 놓고는 2026년의 문제까지 풀었다고 착각했다는 데 있다.

2026년 2월 뉴올리언스에서 실제로 무슨 일이 일어났는지 보라. 한 변호사가 날조되거나 왜곡된 인용 열한 건을 제출한 것으로 제재를 받았다. 당신을 잠 못 이루게 할 부분은 이것이다. 그는 ChatGPT와 Westlaw Precision AI를 둘 다 사용했다. 그는 근거가 부여되고, 목적에 맞게 설계되고, 인용 검증 도구까지 뒷받침된 그 도구를 썼는데도 — 제재를 부른 서면을 제출했다. "줄인다"는 "없앤다"가 아니며, 그 두 단어 사이의 간극에 이제 법적 책임이 자리 잡고 있다.

당신의 도구가 볼 수 없는 실패

이 실패 양상을 정확하게 설명해 보겠다. 그 정확함이 핵심의 전부이기 때문이다.

AI가 실제 판례를 인용하는데, 정작 그 판례가 뒷받침하지 않는 주장을 위해 인용한다. 사건번호는 유효하다. 판례는 존재한다. KeyCite는 초록색 깃발을 반환한다. Shepard's도 동의한다. 그런데도 분석은 여전히 틀렸다 — AI가 반대의견을 다수의견의 판시인 것처럼 인용했거나, 2년 전에 개정된 법령 버전을 해석한 판례를 인용했기 때문이다.

이것이 바로 스탠퍼드 연구가, 2025년 Journal of Empirical Legal Studies에 동료 심사를 거쳐 게재되면서 Westlaw Precision의 환각률을 33%로, Lexis+ AI의 환각률을 17%로 제시했을 때 실제로 측정한 것이다. 사람들은 "환각률 33%"를 읽고 세 번의 질의 중 한 번꼴로 판례를 지어내는 도구를 떠올린다. 그 숫자는 그런 뜻이 아니다. 그것은 대부분 실제 인용에 대한 잘못된 분석이다. 당신의 검증 도구는 판례가 존재한다는 것을 확인해 준다. 실제로 확인해 준다. 다만 그 판례가 무엇을 말하는지 검사한다고는 애초에 주장한 적이 없을 뿐이다.

구체적으로 설명하겠다. 이것이 마침내 우리 팀의 논쟁을 멈추게 한 사례이기 때문이다. 한 소송 담당 어소시에이트가 AI 비서에게 델라웨어 법상 이사의 충실의무 위반 청구에 대한 항변을 조사해 달라고 요청한다. 도구는 이사의 감독 책임 기준으로 Stone v. Ritter (2006)을 인용하며 깔끔한 분석을 내놓는다. 인용은 실제다. 판시 요약도 정확하다 — 2006년 기준으로는. 도구가 놓친 것은 델라웨어 대법원의 2019년 Marchand v. Barnhill 판결이 Caremark 감독 의무를 크게 확장했고, 그 이후 형평법원 판결들이 그 위에 "핵심 임무(mission critical)" 준법 기준을 쌓아 올렸다는 사실이다.

Stone v. Ritter는 여전히 초록색 KeyCite 깃발을 달고 있다. 한 번도 파기된 적이 없다. 여전히 "유효한 판례(good law)"다. 그런데도 2026년 제출 서면에서 이 판례에 기대는 것은 여전히 틀렸다. 그 판시의 실질적 적용 범위가 그 이후에 나온 모든 것에 의해 좁혀졌기 때문이다 — 바로 인용 검증 도구의 깃발이 드러내도록 만들어지지 않은 종류의 발전이다.

인용 검증 도구는 판례가 살아 있다고 알려 준다. 그 판례가 당신의 AI가 말하는 그 의미를 여전히 담고 있는지는 알려 주지 않는다.

이것이 인용 날조와 맥락적 환각 사이의 차이이며, 이 분야 전체에서 가장 중요한 단 하나의 구분이다. 마감에 쫓기며 출력을 검토하는 주니어 어소시에이트는 이것을 잡아내지 못한다. 인용이 맞아 보이기 때문이다. 도구가 애초에 검사하던 유일한 의미에서 보면, 그 인용은 실제로 맞다.

우리도 처음엔 이걸 틀렸다 — 그리고 그렇게 하자고 주장한 사람이 바로 나였다

이걸 어떻게 배웠는지 솔직하게 말하고 싶다. 나는 논리로 여기에 도달한 게 아니기 때문이다. 나는 잘못된 것을 먼저 출시했다.

우리 팀이 첫 검증 검사기를 만들 때, 나는 우리 자체 설계 검토 자리에서 — 소리 내어, 다소 확신에 차서 — 판례가 실제이기만 하면 우리는 괜찮다고 주장했다. 그래서 우리의 첫 파이프라인은 본질적으로 인용 검증 도구의 로직을 그대로 다시 돌린 것이었다. 인용된 모든 판례가 존재하는지 확인하고 그 취급 상태(treatment status)를 가져왔다. 빠르고, 깔끔했으며, 파일럿에서는 서면을 초록색 대시보드로 곧장 통과시켰다.

그러다 파일럿 사용자 중 한 명, 실제 소송 변호사가 우리 도구가 승인해 준 한 단락에 이의를 제기했다. 인용된 판례는 실제였다. 우리 검사기는 그것을 아주 좋아했다. 그런데 서면이 그 판례에 귀속시킨 판시는 판결문에서 지배력이 없는 부분에서 나온 것이었다. 우리 시스템은 그에 대해 아무 의견이 없었다. 내가 그에 대해 아무 의견도 갖지 않도록 설계했기 때문이다. 나는 Shepard's를 재구축해 놓고 그것을 검증이라고 불렀다.

그것이 우리가 그 다음에 한 모든 일의 비용을 치른 실패였다. 인용 검증 도구를 더 빠르게 다시 돌리는 것은 검증이 아니다 — 더 근사한 인터페이스를 씌운 똑같은 맹점일 뿐이다. 방향 전환은 우리에게 강제되었다. 우리는 인용 검증 도구의 상태를 넘어 이후의 인용 참조까지 읽어 들이는 계층을, 이후 판례가 판시를 구별하거나 좁혔는지 묻는 계층을, 판례 자체는 여전히 유효한 판례로 남아 있더라도 그 핵심 주장이 실질적으로 수정된 판결문을 표시하는 계층을 구축해야 했다. 그것이 공학적 문제다. 인용 검증 도구는 아무리 빠르게 돌려도 그것을 결코 해결할 수 없었다.

Harvey를 사는 것으로는 왜 그 간극이 메워지지 않는가?

사람들은 플랫폼 벤더들이 이것을 해결해 줄 거라고 생각하는데, 그 이유는 이해한다 — 플랫폼들은 대단하고, 돈의 흐름을 보면 모두가 동의하고 있다. Harvey는 2026년 3월, 연간 반복 매출 약 1억 9천만 달러를 바탕으로 110억 달러의 기업 가치에 도달했고, 맞춤형 에이전트는 25,000개를 넘겼으며, AmLaw 100 로펌의 절반이 도입했다. Thomson Reuters는 Casetext를 6억 5천만 달러에 인수해 CoCounsel의 에이전트형 워크플로에 통합했다. LexisNexis는 2026년 2월 Lexis+ AI를 Lexis+ Protege로 교체했다 — 네 개의 특화 에이전트와 300개가 넘는 사전 구축 워크플로를 갖췄다.

이것들이 문제가 아니다. 나는 로펌들에게 이렇게 분명히 말한다. 당신의 플랫폼을 그대로 유지하라. 간극은 이 도구들 중 어느 것도 독립적인 검증 계층을 함께 제공하지 않는다는 것이며, 더 나은 것들은 출력 검증이 사용자의 책임이라는 점을 솔직하게 밝힌다. LexisNexis가 스탠퍼드 수치가 나온 뒤 "100% 환각 없음"이라는 표현을 조용히 철회한 데에는 이유가 있다.

그리고 플랫폼들은 에이전트화로 가면서 검증 문제를 더 쉽게가 아니라 더 어렵게 만들었다. 장기 시야를 가진 에이전트가 여러 단계로 이루어진 조사·초안 작성 워크플로를 실행할 때, 그 출력은 인용된 한 단락이 아니다 — 그것은 단락들의 사슬이며, 각 단계가 다음 단계로 이어지고, 각 단계마다 맥락적 오류가 끼어들어 전파될 수 있는 지점이 된다. 주니어 어소시에이트가 밤 11시에 나에게 슬랙으로 에이전트의 출력을 제출해도 안전한지 물을 때, 정직한 답은 이렇다. 무언가가 모든 인용을 그 인용된 판례가 실제로 판시하는 내용과 대조해 읽고, 어느 에이전트 단계가 그것을 생성했는지 기록하기 전까지는 안전하지 않다. 그 감사 추적(audit trail)은 있으면 좋은 정도가 아니다. 그것은 판사의 상시 명령(standing order)이 점점 더 요구하고 있는 바로 그것이다. 그리고 이것은 내가 대비하고 있는 변두리 워크플로가 아니다 — 기업 법무의 AI 도입은 단 1년 만에 23%에서 52%로 두 배가 되었고, Gartner는 2026년까지 기업 애플리케이션의 40%가 작업 특화 에이전트를 내장할 것으로 전망한다. 인용의 사슬이라는 실패 양상은 그 하나하나와 함께 확대된다.

그렇다면 실제로 잘못 인용된 진짜 판례를 무엇이 잡아내는가?

다른 AI가 아니라 — 다른 일이다. 검증 계층은 AI의 출력과 인간의 서명 사이에 자리하며, 인용 검증 도구가 하지 않는 일을 한다. 판례가 여전히 유효한 판례인지에서 멈추는 대신, 이후의 인용 참조까지 읽어 들이고, 이후 판결들이 그 판시를 구별하거나 좁혔는지 묻고, 판례 요지(headnote)는 여전히 깔끔하게 읽히더라도 핵심 주장이 실질적으로 수정된 판례들을 표시한다. 취급 상태는 조사의 시작이지 끝이 아니다.

그 아래에서는, 검색(retrieval)이 사람들이 예상하는 것보다 더 중요하다. 벡터 검색 — 대부분의 검색 증강 시스템에서 기본값인 — 은 질의와 텍스트상으로 유사한 판례를 찾아낸다. 법적 권위는 텍스트 유사성으로 조직되어 있지 않다. 그것은 판례들이 서로를 어떻게 인용하고, 구별하고, 파기하는가로 조직되어 있다. 그것은 목록이 아니라 그래프다. 평평한 벡터 인덱스가 아니라 법률 지식 그래프 위에 구축된 검색은 법률 작업의 검색 적합성에서 벡터 검색을 약 14% 능가하는 것으로 나타났다 — 지배력을 갖는 판례를 찾아내느냐, 그저 지배력을 갖는 것처럼 들리기만 하는 판례를 찾아내느냐의 차이다. 그래프야말로 모두가 여전히 인용하는 Stone을 조용히 재편한 Marchand을 찾아내는 방법이다.

이것이 우리가 Veriprajna에서 구축하는 계층이다 — AI 출력을 제출해도 안전하게 만드는 인용 검증 파이프라인, 지식 그래프 인프라, 그리고 거버넌스 시스템 말이다 — 그리고 우리는 그것을 로펌이 이미 운용하는 플랫폼이 무엇이든, Harvey든 Lexis Protege든 오픈소스 모델이든, 그 주위에 구축한다. 잘 돌아가는 도구를 뜯어내라고 누구에게도 요구하지 않는다.

아무도 슬라이드에 올리지 않는 부분: 거버넌스

기술적 문제 밑에는 두 번째 문제가 있고, 이것이 바로 제재를 과실 소송으로 바꾸는 문제다.

법률 전문가의 약 68%가 승인되지 않은 AI 도구를 적어도 한 번은 사용한 적이 있다고 인정하며, 공식적인 AI 정책을 갖춘 로펌은 다섯 곳 중 한 곳도 되지 않는다 — 이제 변호사 열 명 중 거의 일곱 명이 업무에 생성형 AI를 사용하고, 그 비율이 단 1년 만에 두 배가 되었는데도 그렇다. 그래서 대부분의 로펌에는 아무도 승인하지 않은 도구에 의뢰인 사건을 입력하는 변호사들이 있고, 어떤 도구를 썼는지 기록도 없고, 검증 단계도 없고, 감사 추적도 없다. 과실 배상 보험사들이 이를 눈치챘다. 그들은 AI 사용을 보험 조건에 반영하고 있으며, 변호사의 감독 없는 무단 사용은 청구가 들어왔을 때 보상을 무효화하는 바로 그런 종류의 일이다.

규제의 하한선도 옮겨졌는데, 대부분의 로펌은 그것을 충족하지 못했다. 2024년 7월에 발표된 ABA 공식 의견서 512호는 생성형 AI에 대한 여섯 가지 윤리적 의무 — 능력, 비밀 유지, 법정에 대한 성실, 그중 감독 — 를 제시하며, 사람들이 놓치는 두 가지 날을 지니고 있다. 정기적으로 사용할 도구를 익히는 데 들인 시간을 의뢰인에게 청구할 수 없다. 그리고 한 연방 법원은 AI가 생성한 작업 산출물이 변호사-의뢰인 특권으로 보호되지 않는다고 이미 판시했다. 한편 300명이 넘는 판사가 각자의 AI 상시 명령을 내렸으며, 각각 고유의 공개 또는 인증 요건을 담고 있고, 플로리다는 2026년 2월 공개 의무를 추가했으며, 내가 만난 어느 로펌도 어느 판사가 무엇을 요구하는지 체계적으로 추적하는 방법을 갖고 있지 않다. 그리고 하한선은 여전히 오르고 있다. EU AI법은 2026년 8월, 콜로라도 AI법은 6월에 발효되며, EU의 제조물 책임 지침은 이제 AI를 엄격 책임 하의 제조물로 취급한다 — 이는 위험 노출을 제재받은 한 명의 어소시에이트에서 로펌의 대차대조표로 옮긴다.

섀도 AI는 규율의 문제가 아니다. 그것은 인프라의 간극이다 — 사람들은 자신의 일하는 방식에 맞지 않는 도구를 우회한다.

이름값을 하는 거버넌스 시스템은 아무도 읽지 않는 PDF에 정책을 문서화하는 것에 그치지 않는다. 그것은 워크플로 안에서 정책을 강제하고, 모든 AI 보조 인용을 기록하고, 주어진 관할이 요구하는 공개 문구를 생성하며, 감독하는 파트너가 모든 인용이 검증되었다고 정직하게 인증할 수 있게 하는 감사 추적을 만들어 낸다.

로펌들이 늘 나에게 묻는 질문들

보통은 이런 식의 질문으로 시작한다. 내가 모든 인용을 손으로 검증한다면, AI가 준 효율성을 내가 버린 셈 아닌가? 맞다 — 바로 그렇기 때문에 검증을 파이프라인 안에 구축해 넣는 것이지, 자정에 지친 어소시에이트에게 맡겨 두는 게 아니다. AI 출력을 수작업으로 인용 검증하는 것은 확장되지 않으며, 그것을 건너뛰는 것이 과실의 위험이다. 그 계층은 정확히 안전성이 지켜지는 가운데 속도가 살아남도록 존재한다.

그다음에는 회의론자의 버전이 나온다. 이건 과잉 아닌가 — 맥락적 환각이 실제로 얼마나 자주 문제를 일으키는가? Charlotin 환각 데이터베이스는 2026년 초까지 미국 법원 제출물에서 AI 환각이 문서화된 사례 1,222건을 넘겼는데, 이는 2025년 말의 729건 이상에서 늘어난 수치다. 곡선은 잘못된 방향으로 가고 있고, 제재는 500달러의 가벼운 처벌에서 다섯 자릿수 벌금이 일상이 될 만큼 올라섰으며, 그 집계는 적발되어 공개된 것만 포착할 뿐이다. 나는 그 데이터베이스를 탭에 열어 둔다. 당신이 보지 않는 사이에 숫자는 올라간다.

그리고 경영 파트너에게서는 거의 항상 이렇다. 빅 4 회계법인이나 대형 시스템 통합업체가 이 모든 것을 그냥 처리해 줄 수 없나? 그들은 당신의 플랫폼을 구성해 줄 수 있고, 그렇게 하는 데 50만 달러에서 200만 달러를 청구할 것이다. 하지만 Harvey를 구성하는 것은 플랫폼을 배치하는 것이다 — 그것은 플랫폼이 의도적으로 당신에게 남겨 둔 검증 계층을 구축하는 것이 아니다. 그것들은 서로 다른 문제이며, 그중 당신을 제재로 몰아넣는 것은 오직 하나뿐이다.

밤 11시의 그 어소시에이트에게 내가 해줄 말

법률 AI 시장은 2026년 약 56억 달러에서 2030년 125억 달러를 향해 나아가고 있으며, 법률 조사가 그중 가장 큰 몫이다. 그 성장은 실제이고 도구들은 그럴 자격이 있다. 그러나 업계 전체는 출력을 위해 최적화하고 있고 — 더 빠른 조사, 더 많은 에이전트, 더 긴 자율 워크플로 — 검증을 다른 누군가의 책임으로 취급하는데, 실제로는 그것이 곧 누구의 책임도 아니라는 뜻이다.

2026년에 당신을 제재하는 판례는 당신의 현재 도구가 돌리는 모든 검사를 통과할 것이다. 그것은 존재할 것이다. 그것은 초록색 깃발을 달고 있을 것이다. 그것은 그 판례가 딱히 말하지 않는 무언가를 위해 인용될 것이고, 마감에 쫓기며 자정에 그것을 읽는 당신의 그 버전은 그것을 잡아내지 못할 것이다. 화면의 모든 것이 괜찮다고 말하고 있기 때문이다.

그것은 법률 AI를 불신할 이유가 아니다. 그것은 플랫폼들이 빼놓은 그 한 계층 — 판례가 그저 아직 숨 쉬고 있는지가 아니라 실제로 무엇을 판시하는지 읽어 내는 검증 및 거버넌스 계층 — 을 구축할 이유다. 그것을 설치하는 로펌은 속도를 유지할 것이다. 그러지 않는 로펌은 소명 명령(show-cause order)이 하나씩 날아올 때마다, 초록색 깃발이 애초에 그들에게 약속한 적이 없던 것이 무엇이었는지를 계속 알아 가게 될 것이다.