Acompanhe a resposta do rascunho à decisão de catálogo
Todos os produtos, registros, rascunhos e casos de avaliação exibidos aqui são sintéticos. Os cenários preparados fornecem suas afirmações atômicas. Rótulos de interface como Verified descrevem a correspondência com o catálogo nesta demonstração; eles não estabelecem verificação externa independente.
Exemplo prático: uma resposta de TV, duas decisões diferentes
O comprador pergunta se a televisão sintética Vega suporta HDR10+ e 120Hz. O rascunho preparado responde a ambas as perguntas com confiança. O catálogo suporta a taxa de atualização, mas registra um padrão HDR diferente, portanto a resposta necessita de uma correção seletiva.
Rascunho preparado do assistente
Yes, the Vega 65" OLED supports HDR10+ and a 120Hz refresh rate.
1. Comparar cada asserção com seu atributo de catálogo
A asserção de HDR e a asserção de taxa de atualização chegam como afirmações fornecidas separadas. Cada uma é comparada com seu próprio atributo de produto, em vez de conceder à frase inteira um único rótulo de aprovação. Os valores de catálogo abaixo possuem rótulos de confiança Verified na fixture; esses rótulos são metadados preparados.
| Atributo | Asserção do rascunho | Valor do catálogo | Decisão | Efeito na resposta |
|---|---|---|---|---|
| Padrão HDR | HDR10+ | HDR10 | Correct | Substituir o padrão contradito |
| Taxa de atualização | 120Hz | 120Hz | Pass | Manter o detalhe suportado |
2. Compor a resposta a partir dessas decisões individuais
O gate produz a seguinte resposta exibida. A correção de HDR cita tanto o valor registrado quanto a asserção rejeitada; a declaração da taxa de atualização permanece. A correspondência com o catálogo é a verificação demonstrada, enquanto a qualidade desse catálogo continua sendo uma responsabilidade separada.
Resposta exibida
Vega 65" OLED TV: HDR is HDR10, not HDR10+ (corrected). Vega 65" OLED TV: Refresh Rate = 120Hz (verified).
3. Inspecionar o que mudou no recibo
O recibo em JSON e HTML imprimível preserva o rascunho original, a resposta exibida e duas linhas de decisão, incluindo valores afirmados, valores de catálogo, rótulos de confiança e referências de fixture. Um revisor pode verificar se a correção não descartou silenciosamente a taxa de atualização suportada. O carimbo de data/hora e o identificador derivado de hash identificam este registro gerado; eles não o tornam assinado, imutável ou arquivado de forma durável.
Uma classificação desconhecida necessita de incerteza, não de um valor substituto
O rascunho sintético da jaqueta Summit Ridge promete impermeabilidade total, enquanto seu atributo de classificação de impermeabilidade é desconhecido. O gate se abstém em relação a essa promessa. Ele não conclui que a jaqueta não é impermeável nem inventa uma classificação. Uma equipe de catálogo precisaria de evidências adequadas do produto antes de fazer uma afirmação mais forte.
Uma implicação configurada pode revelar uma afirmação omitida
O rascunho sintético do notebook Nimbus o descreve como um fantástico notebook gamer e afirma que ele possui 16GB de RAM. Sua lista de afirmações fornecida contém apenas RAM. Uma regra determinística de completude mapeia a linguagem de jogos para uma asserção de GPU dedicada e, em seguida, compara essa asserção adicionada com a placa de vídeo integrada Intel Arc do catálogo. A RAM é aprovada; a implicação de GPU configurada é corrigida. Isso ilustra uma regra de interpretação finita, não uma extração semântica completa ou um julgamento sobre todos os jogos.
Um registro de produto não pode estabelecer uma resposta de interação medicamentosa
No cenário sintético do MagCalm, a consulta pergunta sobre um anticoagulante. Uma triagem regex configurada substitui a resposta sobre o produto por uma recusa e um texto indicando um farmacêutico licenciado como o destino proposto de revisão. O campo de interações medicamentosas também é desconhecido. Isso demonstra a decisão de reter a resposta sobre o produto; nenhum encaminhamento profissional é executado e nenhuma recomendação médica é validada.
Leia o benchmark com suas unidades de teste vinculadas
A avaliação fixa envia 60 fixtures de afirmações já decompostas diretamente para o gate e sete fixtures de consultas separadas para a triagem. Ela testa regras locais contra rótulos esperados preparados. Ela não testa extração por modelo, tráfego de compradores inédito, autenticação de fontes ou desempenho em produção.
| Métrica | Resultado | O que foi contabilizado |
|---|---|---|
| Correspondências de veredito de afirmações | 60/60 | 32 rótulos de fixture pass, 15 correct, 10 abstain e 3 outside-coverage |
| Preservação de afirmações verdadeiras | 32/32 | Afirmações rotuladas como verdadeiras que permanecem pass |
| Interceptação de afirmações falsas inseridas | 28/28 | Afirmações rotuladas como não-pass classificadas como correct, abstain ou outside-coverage; valores corrigidos ainda podem ser veiculados |
| Presença de referência | 47/47 | Registros pass/correct que contêm uma string de referência de fixture não vazia |
| Correspondências da triagem de consultas | 7/7 | Cinco acionadores configurados e duas consultas comuns sobre produtos |
O livro-razão combina unidades de teste diferentes. Seu total de 67 não significa 67 afirmações de produtos ou 67 encaminhamentos a especialistas. A presença de strings de referência explica para onde aponta uma decisão de fixture; ela não autentica uma fonte externa do fabricante.
