법률 AI를 둘러싼 검증 계층

날조된 사건은 준비서면이 제출되기 전에 확신을 가지고 잡힙니다.

AI는 존재하지 않는 사건을 인용하거나, 존재하더라도 인용된 취지와 반대되는 내용을 말하는 준비서면을 작성합니다. CiteGuard는 여러분의 AI를 둘러싼 계층입니다. CourtListener의 실제 판례에 대해 모든 인용을 근거화하고, 날조를 결정론적으로 잡아내며, 검증할 수 없는 것은 사람에게 넘기고, 감사 인증서에 서명합니다. 제출해도 안전한 것과, 정확히 무엇이 사람의 손을 필요로 하는지를 알려줍니다.

날조된 인용이 게이트를 통과할 수 있습니다

결정론적 신뢰 불변식, 유닛 테스트로 검증됨

그라운드 트루스 코퍼스의 실제 사건

공개 미국 판례 데이터베이스인 CourtListener에서 캐시됨

8/8

핵심 검증기 테스트 통과

오프라인이며 재현 가능 (python tests/test_core.py)

이것은 실행 가능한 데모입니다. 샘플 준비서면, 당사자, 사건 표제는 합성 발췌이며, 문서 관리 커넥터는 모의입니다. 코퍼스, 실시간 CourtListener 검사, 결정론적 게이트, 테스트는 실제입니다.

권위 있어 보이는 준비서면도 존재하지 않는 사건을 인용할 수 있습니다

법원은 이미 이에 대해 제재를 가하고 있으며, 작성 도구는 자기 작업을 검사하지 않습니다.

실패 모드는 나쁜 문법이 아닙니다. 문법은 완벽하며, 바로 그것이 위험합니다. AI는 파트너가 쓴 것처럼 읽히는 준비서면을 작성하고, 결코 선고된 적 없는 사건이나, 제시된 논지와 반대되는 실제 사건을 인용합니다. 법률 전용 도구도 이렇게 합니다: 통제된 연구에서 Westlaw Precision은 33%, Lexis+는 17%의 비율로 환각했습니다(Stanford RegLab, Journal of Empirical Legal Studies, 2025).

결과는 이미 나타났습니다. 2026년 초까지 AI 환각 인용이 관련된 문서화된 법원 사건이 1,222건이었고, 법원은 제재를 시작했습니다: 제6순회항소법원은 2026년 3월에 $30,000의 제재를 부과했습니다. 거버넌스 규칙이 뒤따랐습니다. ABA Formal Opinion 512와 300건이 넘는 사법 상설 명령이 이제 변호사에게 제출 전 AI 산출물을 검증할 것을 요구하지만, AI 사용 정책이 있는 로펌은 20% 미만입니다.

이것을 고칠 곳은 작성자가 아닙니다. 더 강한 모델도 여전히 작성할 뿐이며, 법원은 모델이 얼마나 확신했는지를 신경 쓰지 않습니다. 법원이 신경 쓰는 것은 인용이 존재하고 여러분이 주장한 내용을 말하는지입니다. 그래서 지속 가능한 답은 더 똑똑한 작성기가 아니라, 독립적 권위에 비추어 작업을 검사하고, 확신을 가지고 날조를 잡아내며, 검증할 수 없는 것에 정직한 별도의 계층입니다.

CiteGuard의 작동 방식

보증 등급 부분은 결정론적 코드입니다. 판단이 필요한 부분은 유보하는 LLM입니다. 모델이 아니라 게이트가 결정합니다.

AI가 작성한 준비서면을 붙여넣으면 파이프라인이 실시간으로 실행됩니다: 각 인용과 그 논지를 추출하고, 실제 판례에 근거하여 대조하며, 결정론적 존재 확인과 LLM 지지 확인을 실행하고, 결정론적 정책 게이트를 적용한 뒤, 서명된 감사 인증서를 내보냅니다. 대시보드는 시스템 콘솔에서 각 단계가 켜지는 모습을 보여 주며, 모든 실제 CourtListener 요청을 URL, 상태, 지연 시간과 함께 스트리밍하므로 아무것도 블랙박스가 아닙니다.

두 엔진, 의도적으로 분리

결정론적 Python (보증 등급)

존재 및 날조 확인과 정책 게이트는 실제 판례에 대한 순수 Python입니다. 날조된 인용은 추측이 아니라 실시간 CourtListener 0건 조회로 부재가 입증됩니다. 구매자에게 필요한 것은 LLM의 주장이 아니라 입증 가능한 날조 포착과 감사 가능한 게이트이기 때문입니다.

유보하는 단 하나의 LLM 단계

지지 확인은 실제 판결문을 읽고 그것이 논지 P를 지지하는지를 묻습니다. 공급자 교체가 가능하며, 불확실하거나 근거가 없으면 판단을 유보하고 인간 검토로 넘깁니다. 자문만 하며, 최종 결정은 결코 하지 않습니다.

인용당 다섯 가지 정직한 판정 중 하나

모든 인용은 정확히 하나의 판정으로 귀결됩니다. 사람에게 넘기는 판정은 그 이유를 정직하게 밝히며, CourtListener에 연결할 수 없었다는 뜻의 판정은 결코 날조로 축소되지 않습니다.

판정	의미	결정 주체
VERIFIED_SUPPORTED	실제 사건이며, 판결문이 논지를 지지함	존재 확인과 지지 확인
VERIFIED_UNSUPPORTED (검토 필요)	실제 사건이지만, 판결문이 명확히 지지하지 않음	맥락과 함께 사람에게 전달됨
FABRICATED	실제 판례에 해당 사건이 없음	결정론적, 실시간 0건 조회
OUTSIDE_COVERAGE	캐시된 부분집합에 없는 진짜 사건, 정직하게 표시됨	결정론적, 결코 거짓 검증이 아님
UNVERIFIED	CourtListener에 연결할 수 없어 부재가 입증되지 않음	결정론적, 결코 날조로 축소되지 않음

정책 게이트

게이트는 결정론적입니다. 날조된 인용이 0건이고 미해결 인용이 0건일 때만 FILING_READY를 반환하고, 그 외에는 NOT_FILING_READY를 반환합니다. 이는 날조가 하나도 없어도, 검토되지 않은 인용 하나가 설계상 전체 제출을 붙잡아 둔다는 뜻입니다. 그런 다음 한 번의 클릭으로 서명된 JSON 감사 인증서를 내보내며, 인용마다 판정, 증거 스니펫, 실제 CourtListener URL, 모델과 버전(또는 deterministic, 또는 abstained), 검증기 버전, UTC 타임스탬프, 게이트 결과를 기록합니다.

하나의 준비서면, 모든 경로, 끝까지 실행

데모는 네 개의 샘플 준비서면을 제공합니다. 우리는 두 개를 살펴봅니다: 실제 인용, 날조된 인용, 코퍼스 밖 인용을 한꺼번에 담은 Mixed Motion 준비서면, 그리고 모든 인용이 실제인 Clean Motion 준비서면입니다. 아래의 모든 이미지는 실행 중인 앱의 스크린샷입니다. 사건 표제는 예시이며, 실제 사건이 아닙니다.

파이프라인이 실제 판례에 대해 실시간으로 실행됩니다

왼쪽은 AI가 작성한 증거배제 신청입니다. 오른쪽에서는 시스템 콘솔이 단계별로 켜지며 각 실제 CourtListener 요청을 URL, 상태, 지연 시간과 함께 스트리밍하고, 지지 확인 추론도 함께 보여 줍니다. 이것은 첫 번째 인용인 Miranda v. Arizona, 384 U.S. 436이 그라운드 트루스 코퍼스에 대해 해석되는 동안 지지 확인이 판결문 텍스트를 읽는 모습입니다.

CiteGuard 대시보드: 왼쪽에 AI가 작성한 준비서면, 오른쪽에 extract, ground, support-check, gate, certificate 단계와 CourtListener 요청의 실시간 추적을 보여 주는 시스템 콘솔. — 실시간 파이프라인: 추출, 실제 판례에 대한 근거화, 지지 확인, 게이트, 인증서, 아래에 CourtListener 추적이 스트리밍됩니다.

확신을 가지고 잡아낸 날조된 사건

준비서면은 Halstead v. Ferngate Holdings, 823 U.S. 1199를 인용합니다. 존재 확인은 CourtListener에 실시간 GET을 보내고 0건과 함께 200을 받습니다. U.S. Reports에 권 823이 없기 때문입니다. 판정은 FABRICATED이며, 추측이 아니라 부재가 입증된 것입니다. 같은 실행에서 Brown v. Board of Education, 347 U.S. 483은 캐시된 부분집합에 없는 실제 사건이므로, 거짓 검증 대신 정직하게 OUTSIDE_COVERAGE로 표시됩니다. 게이트는 NOT_FILING_READY를 읽습니다: 날조 1건, 미해결 2건, 자동 통과 1건.

하나의 준비서면에 대한 CiteGuard 검증 스코어보드로, Verified 1, Fabricated 1, Need Review 2를 보여 주며, Halstead v. Ferngate 823 U.S. 1199는 Fabricated로, Brown v. Board of Education은 Outside Coverage로 표시되고, 게이트는 Do Not File을 나타냅니다. — 하나의 준비서면, 모든 결과: 실제 인용은 Verified, Halstead 823 U.S. 1199는 0건 조회로 Fabricated, Brown v. Board는 Outside Coverage, 나머지는 Needs Review로 전달됨.

판결문 자체의 판시에 따라 초록으로 통과된 실제 사건

이것은 Clean Motion 준비서면으로, 모든 인용이 실제이고 논점에 맞는 사건입니다. 판결문 텍스트가 논지를 확립하면, 지지 확인이 이를 확인합니다. Miranda v. Arizona, 384 U.S. 436은 다수 의견 자체가 피의자에게 변호인 선임권과 묵비권을 고지해야 한다고 판시하기 때문에 Verified로 통과되며, CourtListener의 실제 사건 링크가 있습니다. 어떤 논점 적중 인용이 초록으로 통과되고 어떤 것이 검토로 가는지는 실행마다 달라질 수 있습니다. 지지 확인이 유일한 비결정론적 단계이기 때문입니다. 그러나 Miranda처럼 논점에 맞는 인용은 안정적으로 통과합니다.

실시간 지지 확인 추적이 CourtListener에서 실제 Miranda v. Arizona 판결문을 가져와 구금 신문 고지에 관한 그 자체의 판시를 인용하며 384 U.S. 436을 Verified로 표시하고, 이어서 Terry v. Ohio가 근거화됩니다. — 지지 확인은 실제 판결문을 읽고 다수 의견 자체의 판시를 인용하므로, Miranda 384 U.S. 436은 출처 링크와 함께 실제 텍스트에 근거하여 Verified로 통과됩니다.

판정을 허세로 내지 않고 사람에게 넘깁니다

Mixed Motion 검토에서 스코어보드는 Verified 1, Fabricated 1, Need Review 2를 읽습니다. Bell Atlantic Corp. v. Twombly, 550 U.S. 544는 실제 사건이지만, 발췌가 제시된 논지를 명확히 확립하지 않으므로 지지 확인은 확신을 가지고 채점하는 대신 추론과 함께 Needs Review로 표시합니다. 그 보수적 유보가 설계입니다: 확신에 찬 빨간색 Unsupported 판정은 의도적으로 드뭅니다. 모호한 판결문에 대한 정직한 조치는 사람에게 넘기는 것이기 때문입니다.

Erie Railroad v. Tompkins와 Celotex Corp. v. Catrett가 잘못된 논지로 인용된 실제 사건인 오적용 선례 준비서면. 추적은 지지 확인이 각 실제 판결문을 읽고, 논점이 확립되지 않았음을 발견하고, Needs Review로 넘기는 모습을 보여 줍니다. — 잘못된 논지로 인용된 실제 사건: 지지 확인은 판결문을 읽고, 논점이 확립되지 않았음을 보며, 허세 대신 Needs Review로 넘깁니다. 키워드 일치는 이것을 놓칠 것입니다.

깨끗한 준비서면도 모든 인용이 해결될 때까지 붙잡혀 있습니다

이것은 같은 Clean Motion 준비서면의 인증서입니다. Miranda는 Verified로 통과했지만, Terry v. Ohio와 Strickland v. Washington은 검토로 넘겨졌으므로, 날조된 인용이 하나도 없어도 게이트는 Not Filing-Ready에 머물고 인장은 Hold for Review를 읽습니다. 인증서는 각 인용을 판정과 지지 확인 결과와 함께 나열하며, 모든 인용이 CourtListener에 대해 존재 확인되었고, 날조된 인용은 확신을 가지고 식별되며, 맥락적 판단이 필요한 인용은 사람에게 넘겨진다고 증명합니다. 제출물에 첨부하는 서명된 JSON 기록으로 내보냅니다. 깨끗해 보이는 준비서면과 제출 준비된 준비서면은 같지 않습니다.

Hartwell Capital Partners 사건에 대한 Certificate of Citation Verification으로, Not Filing-Ready로 표시되며, Verified와 Needs Review 판정의 세 인용과 Hold for Review 인장을 나열합니다. — 서명된 인증서. 인용이 여전히 사람의 판단을 필요로 하므로 Not Filing-Ready와 Hold for Review 인장으로 표시됩니다.

독립적 권위에 근거함

코퍼스는 Miranda, Twombly, Iqbal, Terry, Strickland, International Shoe, Erie, Baker v. Carr, Chevron, Daubert를 포함하여, 공개 미국 판례 데이터베이스인 CourtListener에서 캐시된 20개의 실제 판결입니다. 존재 및 날조 확인은 요청 시점에 CourtListener를 실시간으로도 조회하므로, 날조 포착이 부분집합에 국한되지 않고 권위적입니다. 20개 사건 코퍼스는 캐시된 부분집합이므로, 지지 심사는 실제 사건에 대한 작은 N에서 시연되며, 그 범위는 보편적 정확도로 포장하지 않고 분명히 밝혀집니다.

CourtListener에서 큐레이션된 20개의 실제 사건을 나열하는 Ground-Truth Corpus 패널로, Strickland v. Washington, Ashcroft v. Iqbal, Terry v. Ohio, Whitman v. American Trucking, Chevron을 포함하며, 각 사건에는 인용과 캐시된 판결문이 있습니다. — 요청 시점의 실시간 조회로 존재와 날조를 확인하는, CourtListener에서 캐시된 20개 사건 그라운드 트루스 코퍼스.

검증되지 않은 AI 산출물 대 CiteGuard

CiteGuard는 또 다른 작성기가 아닙니다. 제출해도 안전한 것을 결정하는 계층입니다.

차원	검증되지 않은 AI 준비서면	CiteGuard 검증 계층
날조된 사건 탐지	권위 있게 읽히며, 잡히지 않음	결정론적, 실시간 0건 조회
실제이지만 오적용된 인용	그대로 나감	맥락과 함께 인간 검토로 전달됨
불확실한 지지 확인	모델이 어쨌든 판정을 단정함	유보하고, 사람에게 넘김
출처	없음	인용당 실제 CourtListener 링크
제출 결정	작성자의 확신	결정론적 게이트, 날조 0건과 미해결 0건
ABA Op. 512를 위한 감사 추적	없음	준비서면당 서명된 JSON 인증서

이 데모가 하지 않는 것

✓ 법률 조사나 작성을 하지 않으며, Harvey, Westlaw, Lexis와 경쟁하지 않습니다. 준비서면을 만든 어떤 모델 주위에든 놓이는 검증 계층입니다.
✓ 지지에 대한 완벽한 AI 판단을 주장하지 않습니다. 지지 확인은 유보가 있는 LLM 지원이며, 비결정론적이고, 설계상 불확실한 사건을 사람에게 넘깁니다. 모든 오적용 인용을 빨간색 Unsupported로 자동 표시하지 않습니다. 확신에 찬 빨간색 판정은 의도적으로 드뭅니다.
✓ 깨끗해 보이는 준비서면을 제출 준비된 것으로 취급하지 않습니다. 날조와 존재만이 결정론적 보증입니다. 8 of 8 테스트와 20개 사건 코퍼스는 구축된 데모의 범위이지, 개방형 세계 정확도 주장이 아닙니다.
✓ 샘플 준비서면, 사건, 사건 표제를 실제 의뢰인이나 사건으로 제시하지 않습니다. 합성 발췌로 표시되어 있습니다. 날조된 인용은 실제 판례에서 정말로 부재합니다.
✓ 실시간 문서 관리 커넥터를 사용하지 않습니다. iManage 또는 NetDocuments 커넥터는 모의이며, 기본 근거화는 공개 다수 의견 스니펫을 사용하고(전체 판결문 텍스트에는 무료 CourtListener 토큰이 필요함), PDF 인증서, 불리한 후속 처우 확인, GraphRAG는 보류되어 있습니다.
✓ 고객, 사례 연구, 추천사, ROI 수치를 내놓지 않습니다. 아직 아무것도 없습니다. 이것은 메커니즘을 입증하는 데모이지 배포가 아닙니다.

변호사들이 실제로 묻는 질문

이것이 Harvey, Westlaw, 또는 Lexis를 대체하나요?

아니요. CiteGuard는 작성이나 법률 조사를 하지 않으므로 Harvey, Westlaw Precision, Lexis Protege와 경쟁하지 않습니다. 그들 중 어느 것이 만든 산출물 주위에든 놓이는 검증 계층입니다. AI가 작성한 준비서면을 받아, 변호사에게 제출해도 안전한 것과 정확히 무엇이 사람의 손을 필요로 하는지를 알려 주며, 이미 사용하는 도구 옆에서 섀도 또는 자문 모드로 실행됩니다.

인용이 단지 누락된 것이 아니라 날조되었음을 어떻게 알 수 있나요?

존재 확인은 공개 미국 판례 데이터베이스인 CourtListener에 정확한 인용을 조회합니다. Halstead v. Ferngate Holdings, 823 U.S. 1199 같은 날조된 인용은 0건을 반환합니다(U.S. Reports에 권 823이 없음). 그래서 추측이 아니라 확신을 가지고 FABRICATED로 표시됩니다. CourtListener에 연결할 수 없으면, 증거의 부재는 부재의 증거가 아니므로 인용은 날조가 아니라 UNVERIFIED로 표시됩니다. 그 구분은 결정론적이고 유닛 테스트로 검증된 불변식입니다.

사건이 실제로 제 주장을 지지하는지 AI의 판단을 신뢰할 수 있나요?

맹목적으로는 안 되며, 그래서 지지 확인은 유보합니다. 실제 판결문을 읽는 단 하나의 LLM 단계이며, Miranda v. Arizona에서처럼 판결문 텍스트가 판시를 확립할 때만 인용을 초록으로 확인합니다. 판결문이 명시된 논지를 명확히 지지하지 않으면, 판정을 허세로 내는 대신 인용을 인간 검토로 넘깁니다. 모델은 자문하고, 결정론적 게이트와 변호사가 결정합니다.

더 나은 AI 모델이면 이것이 불필요해지나요?

아니요. 제출 준비는 모델의 속성이 아니라 거버넌스의 속성이기 때문입니다. 법원은 모델이 얼마나 확신했는지를 신경 쓰지 않습니다. 인용이 존재하고 여러분이 주장한 내용을 말하는지를 신경 씁니다. 그래서 지속되는 필요는 모든 주장을 실제 판례에 근거화하고, 확신을 가지고 날조를 잡아내며, 검증할 수 없는 것에 정직한 독립 계층입니다. 그 요건은 어떤 모델 품질에서도 성립합니다.

감사 인증서가 ABA Opinion 512와 상설 명령에 대해 실제로 무엇을 증명하나요?

한 번의 클릭으로 서명된 JSON 인증서를 내보내며, 인용마다 판정, 증거 스니펫, 실제 CourtListener URL, 모델과 버전(또는 deterministic 또는 abstained), 검증기 버전, UTC 타임스탬프, 게이트 결과를 기록합니다. 변호사가 제출 전에 AI 산출물을 검증했음을 보여 주는 산출물이며, 바로 그것이 ABA Formal Opinion 512와 300건이 넘는 사법 상설 명령이 이제 요구하는 것입니다. 데모에서 인증서는 JSON이며, PDF 내보내기는 보류되어 있습니다.

이것은 라이브 제품인가요, 데모인가요, 그리고 무엇이 실제인가요?

메커니즘을 입증하는 실행 가능한 데모이지, 배포된 파이프라인이 아닙니다. 네 개의 샘플 준비서면, 당사자, 사건 표제는 합성 발췌로 표시되어 있으며, 문서 관리 커넥터는 모의입니다. 실제인 것: 20개 사건 코퍼스는 CourtListener에서 캐시되었고, 존재 및 날조 확인은 요청 시점에 CourtListener를 실시간으로 조회하며, 결정론적 게이트와 8 of 8 유닛 테스트는 표시된 그대로 실행되고, 날조된 인용은 실제 판례에서 정말로 부재합니다.