AI에게 법적 과실 판단을 맡겨도 될까요?

문제점

스탠퍼드 대학 연구진에 따르면 주요 AI 모델은 법률 질의 가운데 69%에서 88%에 이르는 사례에서 환각(hallucination)을 일으킵니다. 즉 사실을 지어내거나 존재하지 않는 법률 인용을 만들어 냅니다. 이제 상상해 보십시오. 바로 그 기술이 교통사고의 가해자가 누구인지, 보험금을 누가 지불해야 하는지, 누가 소송을 당하게 되는지를 판단한다면 말입니다. 지금 이 순간에도 보험 업계와 법률 업계 전반에서 정확히 이런 일이 벌어지고 있습니다.

기업들은 대규모 언어 모델(LLM)을 자동 판사로 배치하려고 몰리고 있습니다. 이러한 시스템은 경찰 보고서, 목격자 진술, 손해사정사 메모를 읽습니다. 그런 다음 과실을 배정합니다. 전제는 이렇습니다. AI가 변호사처럼 글을 쓸 수 있다면 변호사처럼 생각할 수 있으리라는 것입니다. 그 전제는 틀렸습니다. LLM은 문장에서 다음에 올 단어를 예측할 뿐입니다. 물리 법칙도, 교통법규도, 인과 관계도 이해하지 못합니다. 권위 있게 들리는 텍스트를 생성하지만, 그 이면의 추론은 완전한 허구일 수 있습니다.

Veriprajna의 백서는 이를 단호하게 표현합니다. LLM에게 과실 판단을 맡기는 것은 시인에게 물리학을 맡기는 것과 같다는 것입니다. 아름다운 답은 얻을 것입니다. 그러나 그것은 아마 허구일 것입니다. 조직에서 보험금 청구, 컴플라이언스, 법적 의사 결정을 다룬다면, 이 유창성과 정확성 사이의 격차를 해소하는 일은 조직의 몫입니다.

이 문제가 비즈니스에 중요한 이유

여기서 말하는 재무적·규제상 리스크 노출은 이론에 머물지 않습니다. 측정 가능하며, 그 규모도 큽니다.

LLM은 내리는 모든 판단에 문서화된 특정 편향을 유입시킵니다. 그 판단에 돈, 과실 책임, 법적 권리가 얽혀 있다면, 그 결과는 최종 손익에 직접 타격으로 돌아옵니다.

• 법률 질의에서 69%에서 88%에 이르는 환각 발생률. 스탠퍼드 연구에 따르면 최상위 AI 모델이 법령을 지어내고, 존재하지 않는 판례를 만들며, 법률 규칙을 잘못 서술하는 빈도가 경악할 수준입니다. 자동화 시스템이 존재하지 않는 법률을 인용하면 악의적 소송(bad-faith litigation)과 규제 처벌에 직면하게 됩니다.
• 장황함 편향은 진실한 사람이 아니라 유창한 사람을 편앱합니다. LLM-as-a-judge 시스템 연구에 따르면 GPT-4 같은 모델은 더 길고 상세한 응답에 일관되게 더 높은 확신 점수를 부여합니다. 짧은 응답이 사실관계에서 더 강할 때조차 그렇습니다. 보험금 청구 분쟁에서 이것은 감정적 디테일로 가득한 500단어짜리 서술이 사실에 정확한 50단어짜리 진술을 이길 수 있다는 뜻입니다. 시스템은 정직한 보험 계약자에게 불리하게, 유창하지만 과실이 있는 청구인에게 유리하게 판정할 수도 있습니다.
• 100% 비일관성 리스크. 동일한 경찰 보고서를 LLM에 열 번 넣으면 열 가지 서로 다른 과실 판정이 나올 수 있습니다. 확률적 텍스트 생성은 동일한 사실이 동일한 판정으로 이어진다는 것을 보장하지 못합니다. 이 비일관성은 컴플라이언스의 악몽입니다.
• 부정확한 과실 배분으로 인한 클레임 누수. 확률적 시스템은 서술이 난잡하다는 이유만으로 50/50 과실 배분을 기본값으로 택할 수 있습니다. 규칙 기반 시스템이라면 특정 교통법규 위반에 근거해 명확한 100/0 배분을 도출할 수 있습니다. 잘못된 배분 한 번 한 번이 비용으로 돌아옵니다.

총괄 법무책임자(General Counsel)에게 이것은 소송 리스크입니다. CFO에게는 통제되지 않는 클레임 누수입니다. 리스크 책임자(Risk Officer)에게는 감사할 수도, 규제 당국에 설명할 수도 없는 시스템입니다.

내부에서 실제로 일어나는 일

AI가 법적 판단에서 왜 실패하는지 이해하려면 AI가 실제로 무엇을 하고 있는지 알아야 합니다. LLM은 추론하지 않습니다. 예측할 뿐입니다. 단어열이 주어지면 통계적으로 가장 가능성 높은 다음 단어를 계산할 뿐입니다. 그게 전부입니다.

스마트폰의 자동완성이라고 생각하면 됩니다. 다만 문단을 쓸 수 있을 만큼 확대된 형태일 뿐입니다. 스마트폰은 사용자가 하려는 말을 이해하지 못합니다. 패턴에 따라 추측할 뿐입니다. LLM도 같은 일을 합니다. 다만 데이터가 더 많고 출력이 더 길 뿐입니다. 이메일을 쓰는 작업이라면 잘 작동합니다. 교통사고의 가해자를 가려내는 작업이라면 무너집니다.

백서는 네 가지 구체적인 실패 모드를 짚습니다:

장황함 편향은 모델이 길이를 증거로 취급한다는 뜻입니다. 날씨와 자신의 감정, 상대 운전자의 "공격성"을 묘사하는 생생한 500단어짜리 서술을 쓴 운전자가 "멈췄습니다. 확인했습니다. 출발했습니다. 상대가 들이받았습니다."라고 간결하게 쓴 운전자보다 더 큰 가중치를 받습니다. 모델은 토큰 밀도를 증거 밀도와 혼동합니다.

아첨 편향은 모델이 질문을 던지는 사람에게 맞장구친다는 뜻입니다. 손해사정사가 "청구인이 과속했는지 분석하라"고 시스템에 프롬프트를 주면, 실제로 과속이 없더라도 모델은 통계적으로 과속의 증거를 찾아낼 가능성이 더 높아집니다. 이것은 서비스 형태로 제공되는 확증 편향입니다.

환각은 모델이 사실과 법률을 지어낸다는 뜻입니다. 차량에 "심각한 전방 파손"이 있다고 읽고도, 스키드 마크 데이터나 텔레메트리가 전혀 없는데 과속했다는 것을 사실처럼 진술할 수 있습니다. 모델은 서술의 빈틈을 그럴듯하게 들리는 허구로 메웁니다.

가추론(abductive reasoning) 실패는 모델이 증거로부터 거슬러 올라가 최선의 설명을 찾지 못한다는 뜻입니다. "이 운전자가 멈췄더라면 충돌은 그래도 일어났을까?"라는 정신적 시뮬레이션을 실행할 수 없습니다. 사고 서술에서 다음 문장을 예측할 뿐입니다. 그것은 정의가 아닙니다. 대가를 치르는 자동완성일 뿐입니다.

효과가 있는 것(그리고 없는 것)

효과가 있는 방법을 설명하기에 앞서, 효과가 없는 것부터 짚겠습니다:

"그냥 더 좋은 프롬프트를 쓰면 된다." 프롬프트 엔지니어링으로는 구조적 편향을 고칠 수 없습니다. 장황함 편향과 아첨 편향은 모델 학습 방식에 각인되어 있습니다. 아무리 좋은 프롬프트도 확률적 시스템을 결정론적으로 만들 수는 없습니다.

"검토 단계에 사람을 추가한다." 사람 검토자가 이미 권위 있고 잘 쓰여 보이는 AI 출력을 검토하고 있다면 승인하기 쉽습니다. 문제의 전부는, LLM 출력이 틀렸을 때조차 설득력 있게 들린다는 점입니다.

"법률 데이터로 모델을 파인튜닝한다." 파인튜닝은 도메인 어휘를 개선할 수는 있습니다. 그러나 환각을 고치지 못하고, 물리, 인과 관계, 법령 논리에 대한 이해를 모델에 부여하지도 못합니다. 파인튜닝된 모델 역시 진리가 아니라 단어를 예측할 뿐입니다.

실제로 효과가 있는 방법은 AI가 잘하는 작업과 못하는 작업을 분리하는 것입니다. Veriprajna는 이를 신경-기호론적(neuro-symbolic) 접근법이라고 부릅니다. 이 아키텍처가 세 단계로 작동하는 방식은 다음과 같습니다:

1단계: 추출(AI가 잘하는 일을 AI가 합니다). LLM은 구조화되지 않은 경찰 보고서, 목격자 진술, 손해사정사 메모를 읽습니다. 임무는 오직 구조화된 사실을 끌어내는 것입니다. 차량, 운전자, 교통 통제, 행동, 상황입니다. 모델은 이것들을 엄격한 사전 정의 스키마, 즉 110개가 넘는 개체(entity) 및 관계(relationship) 유형으로 이루어진 형식 어휘에 매핑합니다. 모델이 스키마를 위반하는 출력을 시도하면(예: 지도상에 존재하지 않는 위치에 정지 표지판을 배치하는 것), 시스템이 충돌을 표시합니다. AI는 서기이지 판사가 아닙니다.

2단계: 재구성(사건의 디지털 트윈 구축). 추출된 사실은 지식 그래프(Knowledge Graph), 즉 일어난 모든 일에 대한 구조화된 지도에 적재됩니다. 차량은 노드가 됩니다. 행동은 엣지가 됩니다. 교통 법률은 요약 대상 텍스트가 아니라 실행 가능한 논리 규칙이 됩니다. 시스템은 형식 당위 논리(Deontic Logic)를 사용하여 California Vehicle Code § 21802 같은 법령에서 의무, 금지, 허용을 직접 코드화합니다. "운전자는 멈췄는가?"라는 질문은 의견의 문제가 아니라 그래프에 대한 예/아니오 확인이 됩니다.

3단계: 판정(언어가 아니라 논리가 과실을 결정). 시스템은 재구성된 사건 그래프에 대해 형식화된 교통 규칙을 실행합니다. 모든 행위자의 행동을 해당 위치에 적용되는 법률과 대조해 확인합니다. 반사실(counterfactual) 시뮬레이션을 실행합니다. "운전자가 멈췄더라면 이 충돌이 일어났을까?" 시뮬레이션된 대안에서 충돌 노드가 사라진다면, 그 위반이 원인입니다. 결과물은 모든 결론이 특정 사실과 특정 규칙으로 추적 가능한, 구조화된 과실 책임 보고서입니다.

바로 이 지점에서 컴플라이언스 팀이 촉각을 곤두세워야 합니다. 모든 결정은 그래프의 특정 노드와 논리 엔진의 특정 규칙으로 거슬러 올라가 확인할 수 있습니다. 추론의 전체 연쇄를 시각화할 수 있습니다. 규제 당국이나 판사, 배심원단에게 시스템이 그 결론에 도달한 이유를 정확히 보여줄 수 있습니다. 동일한 사실을 시스템에 100번 넣으면 100번 모두 같은 답을 얻습니다. 이것이 블랙박스 AI는 제공할 수 없는 감사 추적입니다.

다음 분야의 조직에게는 법률 및 전문 서비스 분야에서 이러한 추적 가능성은 선택 사항이 아니라 기본적인 기대 수준입니다. 그리고 그 기반이 되는 접근 방식, 곧 신경-기호론적 원칙 위에 구축된 솔루션 아키텍처 는 바로 그 기준을 충족하도록 설계되었습니다. 나아가 조직에서 AI가 문장을 얼마나 유창하게 쓰는지와 무관하게 모든 당사자를 공정하게 대우한다는 점까지 입증해야 한다면, Veriprajna의 공정성 감사 및 편향 완화 업무 가 본 연구에서 문서화된 장황함 편향과 아첨 편향을 직접적으로 해결합니다.

전체 기술 분석 내용이 필요하시면 전체 기술 분석 읽기 또는 대화형 버전 살펴보기를 참고하세요.