AI 법률 리서치를 신뢰할 수 있을까요? 아직은 아닙니다.

문제점

2023년 6월, 한 변호사가 뉴욕의 연방 법원에 법률 의견서를 제출했습니다. 그 의견서는 Varghese v. China Southern Airlines, Shaboon v. Egyptair, Petersen v. Iran Air 등 여러 판례를 사건 번호, 날짜, 인용문까지 완비한 채 인용했습니다. 그런데 그 모든 판례는 가짜였습니다. 전부 ChatGPT가 지어낸 것이었습니다.

Mata v. Avianca, Inc. 사건의 판사는 인용이 날조되었음을 알아차렸습니다. 그는 AI가 생성한 판례 요약들이 설득력 있는 법률 문서 형식을 갖췄음에도 일부는 "무의미한 헛소리"라고 불렀습니다. 법원은 5,000달러의 벌금을 부과하고 변호사들에게 의뢰인에게 통지할 것을 요구했습니다. 그러나 금전적 제재는 피해 중 가장 작은 부분이었습니다. 평판 타격은 국제적인 헤드라인이 되었습니다.

이 이야기를 한층 더 심각하게 만드는 대목이 있습니다. 상대측 변호인이 가짜 판례를 문제 삼자, 그 변호사는 ChatGPT에게 다시 물어 그 판례들이 실재하는지 확인했습니다. AI는 자신의 거짓말을 스스로 확인해 주었습니다. 그 판례들이 "실제로 존재하며" "평판 좋은 법률 데이터베이스"에서 찾을 수 있다고 답한 것입니다. 이로 인해 백서가 말하는 "환각 루프(hallucination loop)"가 생겨났습니다. 검증에 쓰인 도구가 생성에 쓰인 도구와 똑같은 결함을 지니고 있었던 것입니다.

법원은 변호사가 AI가 정보를 날조할 수 있다는 사실을 몰랐다는 항변을 기각했습니다. 이제 판사들은 기술의 정확성에 대한 최종 보증 책임이 변호사에게 있음을 확립했습니다. 로펌이 법률 업무에 AI를 사용한다면 그 책임은 소프트웨어 공급업체가 아니라 귀하에게 있습니다.

비즈니스에 중요한 이유

Mata 사건은 우연히 일어난 단건의 사고가 아니었습니다. 이 사건은 법률 리서치, 컴플라이언스, 규제 업무에 AI를 사용하는 모든 조직에 영향을 미치는 구조적 문제를 폭로했습니다.

다음 수치들은 우려할 만합니다:

• 58%~82%: 스탠퍼드 연구진은 범용 AI 챗봇이 복잡한 법률 질의에서 이러한 비율로 환각 현상을 일으킨다는 사실을 발견했습니다. 인터넷 접속이나 기본적인 검색 기능을 갖춘 도구조차 예외가 아니었습니다.
• 5,000달러: Mata v. Avianca 사건의 직접적인 벌금입니다. 그러나 실제 비용은 평판의 붕괴, 그리고 관련 변호사들이 직면한 자격 박탈 위험이었습니다.
• 최대 30~35%: 다단계 법률 추론 과제에서 고급 그래프 기반 검색 시스템과 표준 벡터 기반 시스템 사이의 성능 격차입니다.

이러한 위험은 세 곳에서 비즈니스를 직접 칩니다:

• 과실 책임. 제출 서류에 들어가는 모든 AI 생성 인용에 대해 법적 책임은 로펌이 집니다. 엄격한 AI 거버넌스를 입증하지 못하는 로펌은 과실 책임 보험료 인상을 각오해야 할 것입니다.
• 규제 노출. 법원들은 AI 사용의 의무 공개를 요구하는 상설 명령을 잇달아 내고 있습니다. 사용 중인 도구가 자신의 추론을 설명하지 못하면 사건의 실체에 들어가기도 전에 컴플라이언스 실패에 직면합니다.
• 고객 신뢰. 고객들은 점점 더 "어떤 AI를 사용하십니까?"라고 물을 것입니다. "ChatGPT"라는 대답, 즉 범용 모델을 얇게 감싼 래퍼(wrapper)류의 어떤 대답도 정확성에 대해 진지하게 고민하지 않았다는 신호로 읽힙니다. 그런 대답은 엔터프라이즈 법률 업무에서 점점 더 용납되지 않고 있습니다.

손익계산서 관점의 결론은 이렇습니다: 변호사가 AI가 생성한 모든 인용을 하나하나 수동으로 검증해야 한다면, 애초에 AI 투자를 정당화했던 효율성 이득은 사라집니다.

내부에서 실제로 일어나는 일

Mata 사건이 왜 일어났는지 이해하려면 대규모 언어 모델(LLM)의 작동 방식에서 한 가지만 알면 됩니다. LLM은 시퀀스에서 다음 단어를 예측합니다. 도서관을 뒤지지 않습니다. 데이터베이스를 대조하지 않습니다. 통계적 패턴을 근거로 그럴듯하게 들리는 텍스트를 생성할 뿐입니다.

휴대폰의 자동완성, 그것도 문단 단위로 작동하는 자동완성을 떠올리면 됩니다. "See you at the"를 입력하면 휴대폰이 "meeting"을 제안하는 식입니다. LLM은 이와 똑같은 일을 거대한 규모로 합니다. 항공기 상해 판례를 요청받아도 실제 판례를 찾아보지 않습니다. 법률 인용의 패턴을 따르는 응답을 조립할 뿐입니다. "Varghese"는 통계적으로 그럴듯한 원고 이름이었습니다. "China Southern Airlines"는 그럴듯한 피고였습니다. 그러나 둘 사이의 관계는 법적 현실이 아니라 수학적 허구였습니다.

업계의 첫 번째 처방은 검색 증강 생성(RAG, Retrieval-Augmented Generation)이었습니다. AI가 답변을 생성하기 전에 실제 원본 문서를 함께 먹이는 방식입니다. 표준 RAG는 법률 문서를 수치 벡터로 저장하고 질문과 의미적으로 유사한 텍스트 덩어리를 검색합니다. 어느 정도 도움이 되지만 새로운 문제를 낳습니다.

벡터 기반 검색은 단어만 비슷하면 반대 의견(dissenting opinion)과 다수 의견(majority opinion)을 똑같이 취급합니다. 어느 판례가 폐기(overruled)되었는지 판별하지 못합니다. 문서를 개별 조각으로 검색하기 때문에 법령, 그 법령을 해석하는 규정, 그 규정을 적용하는 판례 사이의 연결 관계를 놓칩니다. 연구에 따르면 LLM은 길게 검색된 텍스트 목록을 받으면 앞머리와 끝부분의 정보에 집중하고 가운데 내용을 무시합니다. 법률 업무에서 결정적인 예외는 종종 검색된 판례 15번째 덩어리 속에 묻혀 있습니다.

80%의 확률로 올바른 판례를 검색하는 시스템은 나머지 20%에서는 과실 책임 위험입니다.

효과가 있는 것과 없는 것

흔히 쓰이는 세 가지 접근 방식은 고위험 법률 AI에는 실패합니다:

• 프롬프트 개선. 프롬프트 엔지니어링은 AI 출력의 스타일과 형식을 바꿀 수 있습니다. 그러나 모델이 갖고 있지 않은 지식을 주입할 수는 없고, 모델이 접근할 수 없는 데이터베이스를 상대로 사실을 검증하라고 강제할 수도 없습니다.
• 래퍼 애플리케이션. OpenAI 같은 API 위에 덧씌운 얇은 인터페이스입니다. "당신은 유능한 변호사입니다"라는 시스템 프롬프트를 추가할 수는 있지만, 그렇다고 검증된 판례 데이터베이스에 접근할 수 있게 되거나 AI가 인용을 지어내는 행위가 막히는 것은 아닙니다.
• 표준 벡터 RAG 단독. 순수한 날조는 줄여주지만 법률 위계는 담아내지 못합니다. 어느 판례가 다른 판례를 폐기했는지 모르고 관할권도 이해하지 못합니다. 텍스트가 질의와 맞아떨어지면 이미 폐기된 법령을 현행 법령과 똑같이 취급합니다.

실제로 효과를 내는 방식은 Citation-Enforced GraphRAG(인용 강제 그래프RAG)입니다. 법적 권위 체계를 검증된 지식 그래프에 매핑하고, AI가 가짜 인용을 생성하지 못하도록 물리적으로 차단하는 시스템입니다. 세 단계로 작동 방식을 살펴보겠습니다:

1. 입력: 지도를 구축합니다. 모든 법령, 규정, 판례가 지식 그래프, 즉 법적 개체와 그 관계를 구조화한 네트워크 안의 특정 노드가 됩니다. 노드를 잇는 간선에는 의미가 실립니다: "폐기한다(overrules)", "해석한다(interprets)", "확정한다(affirms)", "구별한다(distinguishes)". 이것은 문서 더미가 아니라 법이 서로 어떻게 연결되는지에 대한 검증된 지도입니다.

2. 처리: AI를 구속합니다. 텍스트 생성 도중 제약 메커니즘이 AI가 만들어내려는 모든 인용을 지식 그래프와 대조해 검사합니다. AI가 "Varghese v. China Southern"을 출력하려 들면 시스템이 그래프를 확인합니다. 그런 판례가 존재하지 않음을 확인하는 즉시 출력을 완전히 차단합니다. 검증된 데이터베이스에 없는 판례에 해당하는 토큰 시퀀스를 AI는 물리적으로 만들어낼 수 없습니다. 이 단계에서 시스템은 확률적 정확성에서 구조적 강제로 넘어갑니다.

3. 출력: 근거를 보여줍니다. 시스템이 판례를 인용할 때는 정확한 탐색 경로를 제시합니다. 어느 법령에서 출발했는지, 어느 판례들이 그것을 해석하는지, 그 판례들이 아직 유효한 법리인지까지입니다. 판례가 폐기된 상태라면 그래프가 "레드 플래그"를 달고, 생성이 시작되기도 전에 그 판례를 AI의 컨텍스트에서 제거합니다.

컴플라이언스 팀이 주목해야 할 대목이 바로 여기입니다. 모든 인용에는 감사 추적(audit trail)이 따라옵니다. 변호사들은 AI가 판례를 선택했다는 사실만이 아니라 왜 그 판례를 선택했는지 볼 수 있습니다. 시스템은 부적 처리(negative treatment) 여부, 즉 디지털 시대의 셰퍼다이징(Shepardizing)에 해당하는 확인을 거쳤고 해당 권위가 유효하다는 것을 보여줄 수 있습니다. 그라운딩·인용·검증 계층은 모든 출력을 추적 가능하고 방어 가능하게 만듭니다.

귀 조직이 법률 및 전문 서비스분야에 속해 있다면, 이 아키텍처는 내부 정책을 외부 규제에 매핑하는 기능도 제공합니다. 그래프는 컴플라이언스 매뉴얼의 특정 단락을 그 단락이 다루는 규제 조항과 정확히 연결할 수 있습니다. 이렇게 만들어진 자동화되고 검증 가능한 컴플라이언스 매트릭스는 감사에서도 통과합니다.

하이브리드 방식, 즉 관련 텍스트를 찾는 벡터 검색과 법적 유효성을 확인하는 그래프 기반 검증을 결합한 방식은 탐색의 폭과 정밀함을 모두 제공합니다. 당신의 솔루션 아키텍처 는 AI의 유창함은 얻되, 허구를 만들어내는 경향은 배제합니다.

법률 AI가 복수 단계의 리서치 과제를 스스로 계획하고 실행하는 자율 에이전트로 나아갈수록, 그래프 기반 구조는 필수 인프라가 됩니다. 에이전트가 복잡한 법률 질문을 추론하려면 법률 세계의 지도가 필요합니다. 벡터 데이터베이스는 문서 더미를 주지만, 지식 그래프는 지도를 줍니다.

기술 아키텍처를 더 깊이 들여다보려면 전체 기술 분석을 읽어 보시거나 아니면 인터랙티브 버전을 살펴보세요.