초안에서 카탈로그 결정까지 답변 추적하기
여기에 표시된 모든 제품, 기록, 초안 및 평가 사례는 합성 데이터입니다. 준비된 시나리오가 원자적 주장을 제공합니다. Verified와 같은 UI 라벨은 이 시연에서의 카탈로그 매칭을 설명하며, 독립적인 외부 검증을 확립하지는 않습니다.
실행 예시: 하나의 TV 답변, 두 가지 다른 결정
쇼핑객은 합성 Vega 텔레비전이 HDR10+와 120Hz를 지원하는지 질문합니다. 준비된 초안은 두 질문 모두에 자신 있게 답변합니다. 카탈로그는 화면 재생률을 지원하지만 다른 HDR 표준을 기록하므로 답변에 선별적인 수정이 필요합니다.
준비된 어시스턴트 초안
Yes, the Vega 65" OLED supports HDR10+ and a 120Hz refresh rate.
1. 각 주장을 카탈로그 속성과 비교
HDR 주장과 화면 재생률 주장은 별도의 제공된 주장으로 전달됩니다. 전체 문장에 하나의 승인 라벨을 부여하는 대신, 각 주장을 자체 제품 속성과 비교합니다. 아래의 카탈로그 값은 픽스처에서 검증된(verified) 신뢰도 라벨을 가지며, 해당 라벨은 작성된 메타데이터입니다.
| 속성 | 초안 주장 | 카탈로그 값 | 결정 | 답변에 미치는 영향 |
|---|---|---|---|---|
| HDR 표준 | HDR10+ | HDR10 | Correct | 모순된 표준 교체 |
| 화면 재생률 | 120Hz | 120Hz | Pass | 지원되는 세부 정보 유지 |
2. 개별 결정들로부터 답변 구성
게이트는 다음과 같이 표시되는 답변을 생성합니다. HDR 수정은 기록된 값과 거부된 주장을 모두 명시하며, 화면 재생률 진술은 유지됩니다. 카탈로그와의 일치가 시연되는 검사이며, 해당 카탈로그의 품질은 별도의 책임으로 남습니다.
표시되는 답변
Vega 65" OLED TV: HDR is HDR10, not HDR10+ (corrected). Vega 65" OLED TV: Refresh Rate = 120Hz (verified).
3. 영수증에서 변경된 사항 검사
JSON 및 인쇄 가능한 HTML 영수증은 원래 초안, 표시된 답변, 그리고 주장된 값, 카탈로그 값, 신뢰도 라벨, 픽스처 참조를 포함한 두 개의 결정 행을 보존합니다. 검토자는 수정 과정에서 지원되는 화면 재생률이 묵묵히 폐기되지 않았는지 확인할 수 있습니다. 타임스탬프와 해시 파생 식별자는 이 생성된 기록을 식별하며, 서명되었거나 불변이거나 영구 보관된 것으로 만들지는 않습니다.
알 수 없는 등급에는 대체 값이 아닌 불확실성이 필요합니다
합성 Summit Ridge 재킷 초안은 완전 방수를 약속하지만 방수 등급 속성은 알 수 없음(unknown)입니다. 게이트는 그 약속에 대해 기권(abstain)합니다. 재킷이 방수가 아니라고 결론짓거나 임의의 등급을 지어내지 않습니다. 카탈로그 팀은 더 강한 주장을 하기 전에 적절한 제품 증거가 필요합니다.
구성된 함의를 통해 누락된 주장을 드러낼 수 있습니다
합성 Nimbus 노트북 초안은 이를 훌륭한 게이밍 노트북이라 부르고 16GB RAM을 갖추고 있다고 명시합니다. 제공된 주장 목록에는 RAM만 포함되어 있습니다. 결정론적 완전성 규칙은 게이밍 표현을 전용 GPU 주장으로 매핑한 다음, 추가된 해당 주장을 카탈로그의 통합 Intel Arc 그래픽과 비교합니다. RAM은 통과하고 구성된 GPU 함의는 수정됩니다. 이는 하나의 유한한 해석 규칙을 보여주며, 완전한 의미론적 추출이나 모든 게임에 대한 판단이 아닙니다.
제품 기록으로는 약물 상호작용 답변을 확립할 수 없습니다
합성 MagCalm 시나리오에서 쿼리는 혈액 응고 억제제(항응고제)에 대해 질문합니다. 구성된 정규식 화면은 제품 답변을 거부로 재정의하고 제안된 검토 대상으로 공인 약사를 지정하는 텍스트로 대체합니다. 약물 상호작용 필드 또한 알 수 없음(unknown)입니다. 이는 제품 답변을 보류하는 결정을 보여주며, 전문적인 인계가 실행되지 않고 의학적 권고가 검증되지도 않습니다.
테스트 단위가 첨부된 벤치마크 읽기
고정 평가는 이미 분해된 60개의 주장 픽스처를 게이트로 직접 전송하고, 7개의 개별 쿼리 픽스처를 화면으로 전송합니다. 이는 작성된 기대 라벨과 비교하여 로컬 규칙을 테스트합니다. 모델 추출, 보지 못한 쇼핑객 트래픽, 소스 인증 또는 프로덕션 성능은 테스트하지 않습니다.
| 측정 지표 | 결과 | 집계 대상 |
|---|---|---|
| 주장 판정 일치 | 60/60 | 32 pass, 15 correct, 10 abstain 및 3 outside-coverage 픽스처 라벨 |
| 참(True) 주장 보존 | 32/32 | pass로 유지된 참 라벨 주장 |
| 시드된 거짓 주장 차단 | 28/28 | correct, abstain 또는 outside-coverage가 부여된 비-pass 라벨 주장. 수정된 값은 여전히 서빙될 수 있음 |
| 참조 존재 여부 | 47/47 | 비어 있지 않은 픽스처 참조 문자열을 포함하는 pass/correct 기록 |
| 쿼리 스크린 일치 | 7/7 | 5개의 구성된 트리거 및 2개의 일반 제품 쿼리 |
원장은 서로 다른 테스트 단위를 결합합니다. 총 67개라는 숫자가 67개의 제품 주장이나 67개의 전문가 에스컬레이션을 의미하지는 않습니다. 참조 문자열의 존재는 픽스처 결정이 가리키는 위치를 설명할 뿐 외부 제조업체 출처를 인증하지는 않습니다.
