Minha IA de redação inventou uma citação que a prefeita nunca deu. Pegá-la antes dos leitores é o produto inteiro.

Na primeira vez em que vi meu próprio respondedor colocar palavras na boca de uma prefeita, senti aquele frio específico de perceber que você construiu a coisa de que tinha medo.

Eu tinha feito a ele uma pergunta simples de leitor: O que a Prefeita Reyes prometeu aos incorporadores sobre o lote da orla? O arquivo que ele lia, uma série sintética de 13 anos de um jornal fictício que chamo de The Riverbend Ledger, não registra nenhuma promessa desse tipo. Um artigo até observa que o lote "não estava na pauta." Nada disso deteve o modelo de linguagem. Ele devolveu uma frase fluente e confiante, com aspas: "Estamos comprometidos em levar o lote da orla adiante para os incorporadores." A Prefeita Elena Reyes, uma pessoa que não existe, acabara de ser forçada a prometer algo que nunca disse, em prosa limpa o bastante para publicar sob a marca de um jornal. Quero ver, decidir e reter o que falha em veriprajna.com/pt-BR/demos/ia-conversacional-para-publishers-the-standards-desk.

Este ensaio trata da premissa com que comecei — e que a maioria das pessoas que constroem IA para redações ainda compartilha — e do modo lento como construir esta demo a desmontou. A premissa é que o problema da fabricação se resolve com um modelo melhor. Eu já não acredito nisso, e não porque duvide de que os modelos continuarão melhorando.

Eu tinha uma falha real diante de mim antes de começar, e não era sintética. No fim de 2025, o Washington Post lançou o "Ask The Post AI", um podcast gerado por IA que inventou citações, atribuiu fontes de forma errada e inseriu comentários como se fossem a posição editorial do jornal. A coisa veio à tona como essas coisas costumam vir: quando o Slack do editor de padrões vazou (Semafor, 11 de dez. de 2025). A falha técnica por trás do embaraço era pequena e específica: uma etapa ausente de verificação de citação. Eu não queria construir um apresentador de podcast mais inteligente. Queria construir a etapa que faltava.

A semana em que tentei fazer o modelo parar de mentir

Passei cerca de uma semana tentando tornar o próprio respondedor confiável, e quero ser honesto: foi a semana errada.

O raciocínio parecia à prova de balas na época. Se o modelo fabrica uma citação, aperte o modelo. Prompts de ancoragem melhores, temperatura mais baixa, instruções mais rígidas para usar só trechos recuperados, uma passagem de auto-checagem em que o modelo relê a própria resposta e avalia se cada frase está sustentada. Eu construí tudo isso. Ajudou nas margens e falhou no centro, porque a falha que me importava não era o modelo ser descuidado. Era o modelo estar confiante e fluentemente errado exatamente no registro em que uma mesa de revisão confia. A citação de Reyes não soava como alucinação. Soava como reportagem.

A passagem de auto-checagem foi o momento em que a abordagem morreu para mim. Eu pedia ao mesmo modelo que escreveu a citação fabricada que me dissesse se a citação fabricada era real, e em uma fração relevante das vezes ele dizia que sim, bate. Claro que dizia. Ele não tinha acesso independente ao texto do arquivo naquele momento. Tinha a própria confiança — a única coisa que você não pode usar para auditar a si mesmo.

Eu pedia a um sistema probabilístico que certificasse a saída de um sistema probabilístico, e chamava o resultado de verificação. Não é verificação. São dois palpites concordando.

E as apostas não são acadêmicas, porque um publisher não tem a típica válvula de escape da internet. Não existe escudo da Seção 230 para conteúdo que o seu próprio sistema gera a partir do seu próprio arquivo. No momento em que você responde à pergunta de um leitor sob o seu nome, você é dono da resposta — citação e tudo. Um autor de ação por difamação não vai perguntar quão confiante o seu modelo estava. Vai perguntar se a citação era real e se o arquivo realmente disse aquilo. São duas perguntas, e eu vinha tratando as duas como um único problema para o modelo resolver.

A razão comercial de tudo isso importar é que os publishers estão sendo empurrados para isso queiram ou não. Os AI Overviews agora aparecem em 48% das buscas no Google (theStacc / Search Engine Land, mar. 2026). O tráfego de busca dos publishers caiu 33% ano a ano até novembro de 2025, com uma queda adicional de cerca de 43% esperada até 2029 (Reuters Institute Trends 2026). Quando um AI Overview aparecia acima do link, o Daily Mail viu a taxa de cliques no desktop cair 89%. O tráfego que vinha de leitores encontrando o seu arquivo está desaparecendo, então a pressão para que os leitores perguntem ao seu arquivo diretamente é enorme. A armadilha é que a primeira coisa honesta que acontece quando você faz isso é a citação de Reyes.

A resposta que um widget comum não consegue escrever

Quero ser justo com a ambição primeiro, porque o motivo pelo qual uma redação quer isso de fato é real — e uma caixa de busca não dá conta.

Pergunte ao The Standards Desk a versão difícil e longitudinal de uma pergunta de leitor, Como a posição da Prefeita Reyes sobre a lei de densidade do centro mudou de 2014 a 2025?, e um planejador temporal primeiro parte a década em janelas (2014-2017, 2018-2021, 2022-2025), recupera em cada uma e monta uma narrativa cronológica. Ele caminha de 2014, "Não vou trocar o caráter de Riverbend por torres," a 2025, "Eu faria de novo," com um marcador inline [S#] em cada cláusula que, ao passar o mouse, aponta para o trecho real do arquivo por trás dela. Esta é a resposta que um widget vector-RAG vanilla não consegue produzir, porque não é uma única consulta. É uma síntese planejada ao longo do tempo, fundamentada frase por frase.

Aquele banner verde é a parte sedutora, e é onde quase perdi o fio pela segunda vez. Quando o pipeline funciona, funciona lindamente, e uma demo bonita faz você querer confiar no motor que a produziu. Mas o banner verde não é o produto. O que decide se um banner pode ser verde é o produto. A resposta longitudinal é liberada porque cada afirmação foi ancorada e cada citação checada verbatim. A resposta da orla, escrita pelo mesmo motor minutos antes, não. A diferença entre elas não é qualidade do modelo. É um portão.

A citação que a Prefeita Reyes nunca deu

Fico voltando à resposta da orla porque foi ela que me ensinou o que eu estava de fato construindo.

Eis o que o portão faz com ela, e nada disso é o modelo se avaliando. A resposta é decomposta em afirmações atômicas. Cada afirmação é ancorada contra um trecho recuperado específico. Toda string entre aspas é checada, caractere a caractere, contra o texto-fonte que cita. Na resposta da orla a cobertura veio a 50%, uma de duas afirmações sustentadas, e o trecho citado — aquela linha de compromisso em mover o lote — não foi encontrado verbatim em nenhuma fonte citada. Um portão de política determinístico leu esses fatos e encaminhou a resposta inteira para RETIDO PARA REVISÃO DO STANDARDS DESK. Nunca foi mostrado a um leitor.

A linguagem do banner importa para mim mais do que provavelmente deveria. Ela não diz "baixa confiança" nem "por favor, revise." Diz retido, e não mostrado aos leitores, e é o que significa, porque o widget do leitor literalmente nunca recebe o rascunho retido. Essa é toda a diferença entre a fabricação de Reyes e a do Ask The Post AI um. O motor do Post produziu uma citação falsa e um leitor a ouviu. O meu produziu uma citação igualmente falsa e um leitor nunca a verá, porque a fabricação e a publicação são dois eventos separados e eu coloquei uma parede entre eles.

O respondedor confabulou exatamente como um widget sem proteção faria. A única coisa que mudou o desfecho foi uma checagem que não confia no respondedor.

Em algum momento parei de tentar impedir o modelo de confabular. Ele pode, ele fez, ele fará. O valor nunca foi um modelo que nunca mente. Foi pegar a mentira antes que um leitor a veja. Essa é uma afirmação menor e mais honesta do que "nossa IA não alucina," e é a única que estou disposto a defender, porque vi o modelo falhar e vi o portão reter na mesma sessão.

Por que a segurança de publicação não pode viver dentro do modelo

Tomei uma decisão arquitetural cedo, e é a que eu defenderia com mais força: a parte que decide o que é seguro publicar vive inteiramente fora dos modelos de linguagem.

Há três agents no pipeline, e eles são genuinamente úteis. Um planejador temporal, um respondedor, um auditor de proveniência, trocáveis por provedor e com padrão em claude-opus-4-8. Eles aconselham. Mas a regra de citação verbatim — um match exato de string de cada trecho entre aspas contra a fonte citada — e o portão de política que lê a cobertura e encaminha a resposta são Python puro. Sem prompt, sem temperatura, sem autorrelato do modelo. Eu me repito isso o tempo todo enquanto construo: agents aconselham, código decide. Se o motivo de você precisar de uma checagem é que a saída do modelo não pode ser confiada pelo valor aparente, a checagem não pode ser outra coisa que o modelo diz sobre si mesmo.

É por isso que a regra verbatim é determinística de propósito. "Esta string exata entre aspas apareceu no trecho que ela cita" não é um juízo. É aritmética contra o texto-fonte, e devolve o mesmo veredito toda vez que você a executa. Essa reprodutibilidade é o que faz o recibo de auditoria valer alguma coisa. Um clique exporta um recibo JSON por resposta: a consulta, as subperguntas decompostas, as fontes recuperadas com datas e ids, a resposta publicada, um veredito por afirmação com o trecho de evidência, um resultado verbatim por citação, a decisão do portão e seu motivo, o motor e o modelo, e um timestamp UTC. Você pode rodar de novo e obter o recibo idêntico. Um juiz baseado em modelo, por melhor que seja, não pode te prometer isso, e eu vivi a versão em que a mesma entrada me deu três respostas diferentes.

Quero ser preciso sobre o que é real aqui e o que é encenado, porque a honestidade é a marca. Tudo roda offline por um stub determinístico ou uma ponte local Claude sem chave, então a demo é reproduzível. Algumas partes difíceis ficam deliberadamente adiadas e não vou fingir o contrário: a resolução de entidades em produção é um fixture pré-resolvido, o grafo de conhecimento temporal é demonstrado por tags de data e entidade mais o planejador em vez de um Neo4j ao vivo, a sincronização com o CMS é um fixture do Arc XP, e o kill switch respalda uma flag local. O que é real é o mecanismo: a ancoragem, a checagem verbatim, o portão determinístico e o recibo.

O que "10 em 10" tem permissão de significar

Me cobro uma regra sobre números, porque dei à empresa o nome Veriprajna, sabedoria verdadeira, e um nome assim é um desafio permanente a exagerar.

Então aqui está exatamente o que o benchmark diz e exatamente o que ele não diz. Sobre um conjunto de avaliação rotulado de 10 consultas, cada consulta cai no bucket esperado do portão, 10 em 10. Seis das dez foram publicadas sem toque humano: três auto-liberadas limpas, três publicadas depois que uma frase sem suporte foi podada e o restante liberado. Duas foram encaminhadas para revisão da mesa de padrões — os dois casos de armadilha de citação, a válvula de segurança visivelmente funcionando. Duas foram abstenções honestas de "fora da cobertura", em que a recuperação não liberou nada acima do piso de score e o sistema recusou adivinhar em vez de confabular um número. Treze testes unitários passam. O corpus são 200 artigos sintéticos de 2014 a 2025.

Esses são os números da demo construída em dez casos genuinamente difíceis plantados em quatro buckets. Não são uma garantia de acurácia em mundo aberto, e eu não vou inflá-los até transformá-los em uma. A divisão 60/20/20 é o resultado deste conjunto de avaliação, não uma promessa sobre o seu arquivo. A única afirmação que faço de forma categórica é a determinística, porque é um invariante testado por unidade e não uma esperança: nenhuma resposta com citação inverificável ou afirmação sem suporte é jamais auto-liberada. Contra uma baseline vector-RAG vanilla sem proteção — o tipo de widget de chat SaaS que um publisher de fato compraria — houve cinco respostas que ela teria publicado com um trecho fabricado ou uma afirmação sem suporte e que este portão reteve. Cinco é um número pequeno. Cinco citações erradas sob a sua marca não é.

Uma resposta confiante é barata. Uma comprovável, com um recibo que você pode rodar de novo e entregar a um advogado, é a coisa inteira pela qual você está de fato pagando.

Reter não é só a máquina fugindo da decisão difícil?

Recebo alguma versão dessa pergunta em quase toda conversa, e minha resposta ficou mais curta e mais certa.

Não. Reter a resposta é a decisão difícil, tomada com honestidade, e enviar um palpite confiante é a fuga. A alternativa sedutora é um widget que sempre devolve uma resposta limpa e publicável a todo leitor, porque isso demonstra lindamente e nunca dificulta o dia de um editor de padrões. Também é a Ask The Post AI arquitetura, e falha exatamente do jeito que aquela falhou. Um sistema que não consegue dizer "não consigo verificar isto, retenha" é um sistema fabricando certeza que não tem. E uma redação, de todas as instituições, sabe que a disposição de não publicar algo é o trabalho inteiro de uma mesa de padrões.

É por isso que acho que este trabalho sobrevive à geração atual de modelos. Conceda tudo o que os otimistas prometem: um modelo maior, treino mais limpo, uma taxa de fabricação mais baixa. Um modelo perfeito que nunca inventa uma citação ainda atribuirá alegremente uma real à pessoa errada ou ao ano errado, porque de dentro do rascunho aquela frase soa verdadeira e exatamente o que foi pedido. "Seguro para publicar sob a sua marca" não é uma capacidade que você espera o modelo adquirir. É uma propriedade de governança do sistema que você constrói em torno dele, e não há escudo da Seção 230 que te devolva o dia em que você publicar a citação de Reyes. O corolário desconfortável em que continuo caindo é que a IA mais valiosa que uma redação pode rodar é a parte disposta a dizer não consigo verificar isto, retenha para a mesa de padrões. Se você quiser ver decidir, reter a fabricação e exportar o recibo, está aqui: veriprajna.com/pt-BR/demos/ia-conversacional-para-publishers-the-standards-desk.

E se preferir assistir a isso a me ouvir descrever, aqui está a coisa inteira rodando de ponta a ponta.

Então a pergunta que eu deixaria a um publisher é a que reorganizou toda a minha construção. Quando o seu arquivo responde a um leitor em seu nome, e a resposta é fluente e limpa e cita alguém, você tem uma camada disposta a provar que a citação era real antes que o leitor a veja? Porque o modelo sempre soará seguro. O recibo é a única coisa que é.