그라운딩, 인용 및 검증

귀사의 AI는 출처를 인용하지만, 검증하지는 않습니다.

가장 위험한 AI 출력은 출처가 인용된 것처럼 보이는 출력입니다. 검색 증강(RAG) 시스템이 구절을 반환하고 모델이 답변을 생성하면 그 옆에 인용 표기가 나타납니다. 사용자는 인용된 출처가 주장을 뒷받침한다고 생각하지만, 실제로는 57%의 경우 그렇지 않습니다.

2025년 연구에 따르면 RAG가 생성한 인용의 절반 이상이 사후 합리화(post-hoc rationalization)를 보이는 것으로 나타났습니다: 모델이 먼저 답변을 결정한 다음, 검색된 문서를 훑어 표면적인 토큰 일치를 찾아 참조를 날조하는 것입니다. 인용 자체는 진짜입니다. 문서는 실제로 존재하며, 구절도 해당 문서에서 발췌된 것이 맞습니다. 그러나 그 구절은 실제로는 해당 주장을 뒷받침하지 않습니다.

이는 검색의 문제가 아닙니다. 검색 파이프라인이 정확한 문서를 반환하더라도 인용은 여전히 틀릴 수 있습니다. 당사의 접근 방식은 AI 생성과 사용자 사이에 위치하는 검증 계층을 구축하는 것입니다 — 더 나은 검색이나 더 나은 프롬프트가 아니라, 출력의 각 주장이 참조하는 출처에 의해 실제로 뒷받침되도록 설계된 독립적 검증 체계이며, 이는 다음에 제시된 아키텍처입니다: LLM 래퍼를 넘어 진실성을 구축하는 방법에 관한 당사 백서.

검색과 프롬프팅만으로는 검증이 되지 않는 이유

대부분의 팀은 그라운딩을 검색 문제로 취급합니다: 더 나은 청크 분할, 리랭커 도입, 시스템 프롬프트에 "제공된 문맥에 기반해서만 답변할 것"을 지시하는 식입니다. 이는 핵심 실패 원인을 놓치고 있습니다. 모델은 지시를 거부하는 것이 아닙니다 — 오히려 불성실하게 준수하면서, 문맥 내에서 표면적으로 일치하는 토큰을 찾아 인용을 첨부하는 것입니다. 해당 구절은 주장을 논리적으로 함의하지 않습니다.

검증은 생성과 전혀 다른 목표를 가진 별개의 시스템입니다. 생성 컴포넌트는 출처 주석이 달린 후보 주장을 생성하고 유창성을 최적화합니다. 검증 컴포넌트는 인용된 각 출처가 주석이 달린 주장을 실제로 뒷받침하는지 독립적으로 평가하며, 다음 기준을 최적화합니다: 함의(entailment): 이 출처가 이 특정 주장을 논리적으로 뒷받침하는가? 이 두 체계가 독립된 하위 시스템으로 실행될 때 — 다음에 상술된 듀얼 시스템 패턴인 신경-기호(neuro-symbolic) 검증에 관한 당사 연구 — 환각이 사용자에게 도달하려면 두 시스템을 모두 속여야 합니다.

당사는 함의 감지를 위해 파인 튜닝된 NLI 모델과 원자적 사실 분해를 결합하여 이 듀얼 시스템 아키텍처를 구현합니다. Google DeepMind의 SAFE 방식은 검증 전에 응답을 개별 원자적 사실로 분해하는 것이 문장 수준 검사보다 성능이 극적으로 우수함을 보여주었습니다: SAFE는 인간 검토자와의 일치율이 72% 에 달하며, 의견이 불일치하는 경우 자동화된 검증의 정확도가 76% 에 이르면서도 비용은 20배 더 저렴합니다. 법률 서면, 임상 요약본, 재무 공시에서 요구하는 "원자적 사실"의 정의가 각기 다르기 때문에, 당사는 이를 귀사의 도메인에 맞춤 조정합니다.

상용 벤더의 그라운딩 API가 실제로 수행하는 것(과 수행하지 못하는 것)

지난 18개월 동안 모든 주요 클라우드 제공업체가 그라운딩 기능을 출시했습니다. 그러나 그중 어느 것도 문제 전체를 해결하지 못합니다.

이들 4개 벤더 공통의 한계점: 모델이 제공된 문맥에서 벗어나는 시점은 감지하지만, 특정 주장에 첨부된 특정 인용이 논리적 함의에 의해 실제로 뒷받침되는지는 검증하지 못합니다. 바로 이 검증 계층을 당사가 설계하고 구축합니다.

귀사의 리스크 프로필에 맞춘 세 가지 검증 아키텍처

NLI 기반 함의(Entailment) 검증

전체 분해에 따르는 지연 시간 비용 없이 주장별 검증이 필요한 팀을 위한 아키텍처입니다. 생성된 각 주장은 인용된 구절과 쌍을 이루어 NLI 모델에 의해 함의, 모순, 또는 중립 여부를 평가받습니다; '모순' 또는 '중립'으로 채점된 주장은 플래그가 지정되거나 억제됩니다. 이는 주장당 50–200ms의 지연 시간만을 추가하며 대용량 워크로드를 처리하고, 주제상 관련은 있으나 주장을 뒷받침하지 않는 구절을 가리키는 가장 흔한 실패 유형을 포착합니다.

당사는 단일 모델 대신 보정된 NLI 앙상블( HALT-RAG 방식)을 사용합니다. 개별 NLI 모델은 도메인별 사각지대를 보이지만 앙상블을 통해 이를 상쇄하고 안정화할 수 있기 때문입니다.

원자적 사실 분해 및 검색 증강 검증

단일 문장에 검증 가능한 여러 주장이 포함될 수 있어 주장 단위 검사만으로는 불충분한 고위험 도메인을 위한 아키텍처입니다. 각 응답을 개별 사실로 분해하고, 각각에 대해 타겟 검증 쿼리를 생성한 뒤, 인용된 출처와 외부 권위 있는 참조 자료 모두를 대상으로 대조 검증합니다. 이는 SAFE 기반의 방식입니다.

이는 문장 수준 NLI가 놓치는 오류를 포착합니다: 한 문장이 부분적으로만 뒷받침되는 경우(두 가지 사실은 맞고 한 가지는 날조됨), NLI는 종종 전체 문장을 함의된 것으로 채점합니다. 분해 방식은 추론 비용이 3–5배 더 들지만 훨씬 더 많은 오류를 포착합니다. 당사는 법률 서면, 임상 문서, 재무 공시, 단 하나의 잘못된 수치도 중대한 결과를 초래하는 모든 도메인에 이 방식을 적용합니다.

시점 및 수치 검증을 포함한 지속적 검증

출처의 유효성이 시간에 따라 달라지는 규제 환경을 위한 아키텍처입니다. 이는 분해 방식에 다음 세 가지 추가 검사를 확장 적용합니다:

• 시점(Temporal) 검증 — 해당 규정이 주장이 언급하는 기준일에 실제로 시행 중이었는가?
• 수치(Numerical) 검증 — 이 백분율이 출처 표와 대략적이 아니라 정확하게 일치하는가?
• 주장 간 교차 일관성 검사 — 동일한 응답 내의 여러 그라운딩된 주장들이 서로 모순되지 않는가?

당사는 인용된 문서가 마지막으로 검증된 시점을 추적하는 출처 최신성 색인을 유지하여, 원천 자료가 업데이트될 때 재검증을 트리거합니다. 이는 폐지된 규정이나 오래된 통계를 인용할 경우 컴플라이언스 리스크가 발생하는 조직을 위한 아키텍처이며, 다음에 상세히 설명되어 있습니다: 정부 AI에서의 법령 인용 집행에 관한 당사 연구.

그라운딩 품질 측정(실질적으로 유의미한 지표)

평가 체계는 단편화되어 있습니다. Vectara의 HHEM은 사실적 일관성을 평가하지만 이는 요약 충실도를 측정할 뿐 인용 정확도를 측정하지는 않습니다. RAGAS는 그라운딩을 확인하지만 귀속을 확인하지는 않습니다. ALCE 벤치마크는 기업 패턴을 반영하지 못하는 학술용 데이터셋에서 인용 정밀도/재현율을 평가합니다. Allen Institute의 연구에 따르면 속성 귀속 학습이 없는 RAG의 인용 정확도는 평균 65–70% 에 불과합니다.

당사의 접근 방식은 실질적으로 중요한 요소를 측정하는 평가 체계를 구축하여, 임계값 기반 알림과 함께 지속적으로 운영하는 것입니다:

• 인용 정밀도(Citation precision) — 인용된 구절이 실제로 해당 주장을 뒷받침하는가?
• 인용 재현율(Citation recall) — 검증 가능한 주장에 출처가 적절히 귀속되어 있는가?
• 함의 정확도(Entailment accuracy) — NLI 검증 통과율.
• 출처 구체성(Source specificity) — 문서 전체 수준 대비 단락 수준 귀속 여부.

전면적 검증이 과도한 투자가 되는 경우

전면적 검증은 비용이 많이 듭니다. 검색 증강 검사를 결합한 원자적 분해는 현재 모델 가격 기준으로 2–5초의 지연 시간 과 응답당 $0.01–0.05 의 비용을 추가합니다. 하루 10,000건의 질의에 답하는 사내 기술 지식 봇의 경우, 생성 및 검색 비용 외에 순수 검증 비용만으로도 하루 $100–500 가 소요됩니다.

모든 애플리케이션에 이러한 수준의 검증이 필요한 것은 아닙니다. 당사는 실제 리스크에 검증 심도를 맞출 수 있도록 지원합니다 — 이러한 평가는 모든 프로젝트에 포함되어 있으며, 귀사의 사용 사례에 더 단순한 접근법으로도 충분할 때 이를 명확히 안내해 드립니다.

제공 내역

프로젝트는 다음 산출물을 제공하도록 구성됩니다 — 다음에 소개된 인용 집행 정부 AI 작동 데모와 동일한 수준의 검증입니다:

• 귀사의 위험 프로필, 허용 지연 시간 예산, 원천 문서 유형에 맞춤화된 검증 아키텍처.
• 기존 검색 스택과 원활하게 통합되는 NLI 기반 또는 분해 기반 검증 파이프라인.
• 정밀도, 재현율, 함의 정확도 및 출처 구체성 지표를 갖춘 인용 품질 평가 프레임워크.
• 임계값 기반 알림을 지원하는 상시 모니터링 시스템.
• FINRA 원격 측정, EU AI Act 투명성, FDA 추적성 등 감사 추적 요건 충족을 위한 컴플라이언스 워크플로 통합.
• 귀사의 도메인에 맞추어 보정된 기지의 환각 유발 프로브 테스트 스위트.
• 전면적 검증을 배포할 곳과 경량 검사를 적용할 곳을 합리적으로 판단할 수 있는 검증 비용 모델.