A alegação era verdadeira. Eu a matei mesmo assim.
O primeiro e-mail que eu me recusei a enviar estava completamente preciso.
Eu me lembro da frase porque a li cerca de quarenta vezes: "Vi que vocês recentemente expandiram a frota One-Way Truckload para 2.735 caminhões." Cada palavra era verdadeira. A Werner Enterprises realmente reportou essa frota, no próprio Formulário 10-K, protocolado na SEC. E eu, sentado diante da demo que eu estava construindo, matei a alegação mesmo assim.
Aquela decisão pareceu errada por cerca de um dia. Depois pareceu ser o ponto central de tudo.
Eu tinha começado este projeto acreditando, como quase todo mundo que constrói em vendas com IA agora, que o inimigo era a alucinação. O modelo inventa algo, a coisa falsa entra no e-mail, o prospect percebe, sua credibilidade morre. Identifique as fabricações e você vence. Esse enquadramento é limpo, demonstra bem, e agora acho que é silenciosamente responsável por muitos domínios de envio queimados. A frase da Werner tinha zero fabricação. Ainda assim era uma alegação que eu nunca deixaria sair do prédio.
Este ensaio é sobre o que mudou minha opinião, contado do jeito que realmente aconteceu, ou seja, devagar e com uma semana constrangedora no meio. Se você quiser ver o que eu acabei construindo, está aqui: veriprajna.com/pt-BR/demos/inteligencia-de-vendas-com-ia-prospeccao-verificada. Mas o produto é a parte chata. A parte interessante é por que uma frase verdadeira não é uma frase segura, e por que parei de confiar no modelo para fazer essa distinção.
A semana em que tentei fazer o modelo corrigir a própria lição de casa
Passei cerca de uma semana tentando fazer o modelo de linguagem pegar suas próprias citações desatualizadas, e quero ser honesto: não funcionou.
A configuração era razoável no papel. Um agente pesquisador coleta fatos. Um agente redator elabora o e-mail, restrito apenas a esses fatos. Depois um agente verificador de fatos lê o rascunho contra as fontes e sinaliza qualquer coisa que não se sustente. Três agentes, um pipeline organizado, o tipo de arquitetura que recebe um aceno em uma revisão de design. Eu genuinamente esperava que o verificador de fatos fosse a parte fácil.
Foi a parte que quebrou. Sem barulho. Esse era o problema. O verificador lia o rascunho da Werner, via uma frase sobre 2.735 caminhões, encontrava uma fonte que dizia 2.735 caminhões e aprovava com confiança. O que está correto, se a única pergunta for "existe uma fonte que sustenta este número." O modelo não tinha senso duradouro de que a fonte tinha mais de dois anos e a frase dizia "recentemente." Quando eu o pressionava a raciocinar sobre datas, às vezes pegava a desatualização e às vezes deixava passar, e eu não conseguia prever qual. Um verificador que você não consegue prever não é um verificador. É uma segunda opinião.
O momento em que realmente caiu a ficha foi tarde da noite, quando rodei o mesmo rascunho pelo verificador três vezes e obtive duas aprovações e uma rejeição, sem mudança na entrada. Fiquei olhando para aquilo por um tempo. Eu estava pedindo a um sistema probabilístico para ser o portão determinístico de outro sistema probabilístico.
Eu estava pedindo a um LLM para ser o árbitro confiável de um LLM, e chamando o resultado de "verificação."
Isso não é verificação. Isso é dois modelos concordando, o que é uma coisa diferente e bem mais fraca. Se a razão inteira de você precisar de um verificador é que a saída do modelo não pode ser confiada à primeira vista, então a saída de um segundo modelo não pode ser a coisa em que você confia para verificá-la. Eu tinha construído um salão de espelhos e colocado nele um adesivo de compliance.
O que é pior, um fato inventado ou um verdadeiro?
O que mais me surpreendeu enquanto construía isso foi perceber que as fabricações nunca foram as falhas assustadoras. As alegações verdadeiras, mas usadas de forma indevida, eram.
Pense no que realmente acontece quando um AI SDR alucina um detalhe de empresa. Muitas vezes é absurdo, obviamente errado, o tipo de coisa que um prospect lê e apaga. Constrangedor, claro. Mas a alegação que realmente te coloca em apuros é a que é verificável e correta e ainda assim errada no contexto. Ela passa por todo filtro de "isso é inventado" precisamente porque não é inventada. A gramática é perfeita. O número é real. E é uma mentira sobre o tempo presente.
Comecei a chamar isso de uso contextual indevido, e depois que tive um nome para isso vi em todo lugar na demo que estava montando. Tem mais de uma forma, mas cada versão compartilha a propriedade que a torna perigosa: cada uma é uma afirmação verdadeira.
A forma que mais me ensinou é a fonte desatualizada, e Werner foi onde eu a vi com clareza pela primeira vez. "Recentemente cresceu para 2.735 caminhões" cita um 10-K real, mas aquele documento chegou em 2024-02-26, e em relação à data de trabalho da demo tem bem mais de dois anos. O número não deixou de ser verdadeiro. A palavra "recentemente" deixou de ser verdadeira. Esses não são o mesmo fato, e uma verificação de correspondência de fonte os trata como idênticos.
Construí a mesma forma uma segunda vez com um lead sintético, uma empresa de logística de médio porte chamada Northwind, para poder mostrar o padrão sem fingir que uma empresa real disse algo que não disse. O rascunho alegava que a Northwind tinha "recentemente expandido para APAC." Há uma fonte de aparência real para isso. A fonte é de março de 2019, o que na demo dá aproximadamente 2.652 dias, mais de sete anos. A sobreposição de fundamentação entre alegação e fonte é um 100% limpo. A entidade corresponde. E ainda assim é o tipo de frase que faz um prospect pensar que você não olha para eles desde a última Copa do Mundo.
Um fato verdadeiro em uma fonte desatualizada ainda é uma mentira sobre o presente. A data faz parte da alegação, a frase admita isso ou não.
A outra forma é a colisão de mesmo nome, e também a mantive como caso sintético. "Northwind Logistics acabou de captar uma Série B de US$ 40 milhões" tem uma fonte real por trás. A fonte é sobre Northwind Inc., uma startup de cibersegurança de Austin, uma empresa completamente diferente que só acontece de compartilhar o nome. Cada palavra é precisa sobre uma Northwind. Nada disso é preciso sobre esta.
Note o que os três exemplos têm em comum. Nenhum deles é uma alucinação. Se você construísse toda a sua história de segurança em torno de pegar fabricações, enviaria os três. Este é o modo de falha por trás dos colapsos de AI-SDR que todo mundo cita e ninguém explica direito. As ferramentas de passagem única de fato alucinam uma fatia mensurável de alegações específicas de prospect, algo na faixa de 12 a 18 por cento por uma contabilidade do setor (AI SDR Industry Report, 2026), mas as fabricações são as falhas que você pelo menos consegue imaginar pegar. As alegações verdadeiras-mas-desatualizadas, verdadeiras-mas-entidade-errada são as que parecem sucesso até o momento em que te custam.
O que me fez parar de confiar no modelo e começar a confiar em uma subtração de datas
A coisa que finalmente funcionou foi quase insultuosamente simples, e eu resisti a ela por mais tempo do que deveria.
Se o problema com a alegação da Werner é que "recentemente" aponta para uma fonte mais antiga do que uma janela de atualidade sensata, então a verificação não é uma tarefa de raciocínio. É aritmética. Pegue a data da fonte, pegue a data de trabalho, subtraia. Se a alegação usa linguagem de atualidade e o intervalo é maior que 365 dias, a alegação está desatualizada e não é enviada. Idade da fonte 2652 dias é maior que 365 dias em uma alegação de atualidade, portanto falha. Não há prompt, não há temperatura, não há "como um modelo de linguagem de IA." Há um número e um limiar.
Depois que me permiti escrever isso, o resto das verificações também quis ser código. A alegação é de fato implicada por um trecho de fonte, medida como sobreposição de tokens contra as palavras de conteúdo, com o próprio nome da empresa excluído para que uma frase não pontue alto só por repetir "Werner, Werner, Werner"? Código. A fonte é sobre esta entidade e não outra com o mesmo nome? Código. O modelo de linguagem ainda é o autor, e é um autor genuinamente bom. Só não é o juiz.
Acabei formulando o princípio de duas formas que agora digo o tempo todo. Uma é "agentes aconselham, o código decide." A outra é "não um LLM julgando um LLM." A rede neural cuida do que redes neurais são boas, que é escrever um rascunho fluente e humano. Um verificador determinístico em Python puro cuida do que o código é bom, que é aplicar a mesma regra do mesmo jeito toda vez. Autoria neural, verificação simbólica. A palavra da indústria para esse emparelhamento é neurossimbólico, embora eu me importe menos com o rótulo do que com a propriedade que ele compra.
Modelos melhores escrevem frases melhores. Eles não tornam recente um documento de dois anos. Isso não é uma lacuna de capacidade. É um erro de categoria.
E a propriedade que isso compra é a reprodutibilidade. Quando eu rodo o verificador na mesma entrada, obtenho o mesmo veredito, toda vez. Isso parece um pequeno detalhe de engenharia. Na verdade é o jogo inteiro, porque a reprodutibilidade é o que torna uma decisão certificável. Eu posso te entregar o rastreamento. Idade da fonte 2652 dias, maior que 365, alegação de atualidade presente, veredito desatualizada, alegação removida. Você pode rodar de novo e obter o resultado idêntico. Um juiz LLM, mesmo um bom, não pode te prometer isso. Eu vivi a noite das três execuções e dois vereditos. Não estou construindo uma história de compliance em cima disso.
Isso não é só um problema de alucinação disfarçado?
Me perguntam alguma versão disso em quase toda conversa, geralmente alguém técnico, e minha resposta ficou mais curta com o tempo. Não. E a razão pela qual não é — é a razão pela qual acho que este trabalho sobrevive à geração atual de modelos.
O enquadramento da alucinação assume em silêncio que a correção é um modelo melhor. Contexto maior, treino mais limpo, menor taxa de fabricações, e eventualmente o problema encolhe até sumir. Talvez isso seja verdade para fabricação pura. Não faz nada pelas falhas com que eu realmente me importo. Um modelo perfeito, um que nunca inventa um único fato, ainda escreverá alegremente "recentemente" sobre um documento de 2024, porque de dentro do rascunho aquela frase é verdadeira e fluente e exatamente o que você pediu. O modelo não tem obrigação com o calendário. A lacuna entre "cresceu para 2.735 caminhões" e "recentemente cresceu para 2.735 caminhões" não é uma lacuna que a escala fecha.
É aqui que o mercado continua ensinando a lição do jeito difícil. A categoria AI-SDR otimizou forte por volume e por personalização baseada em sinais, e em grande parte pulou o passo em que você reverifica a alegação resultante contra uma fonte atual e correta quanto à entidade. A economia não tem sido gentil. O churn de AI-SDR empresarial fica em algum lugar entre 50 e 70 por cento ao ano (UserGems, 2026). O conto de advertência mais citado, 11x.ai, levantou 74 milhões de dólares e depois se desfez em 2025 com churn reportado na faixa de 70 a 80 por cento (TechCrunch). Você não posta esses números porque seu modelo alucinava ocasionalmente. Você os posta porque a saída parecia personalizada e não era confiável, e os compradores eventualmente sentem a diferença mesmo quando não conseguem nomeá-la.
Então a tese a que continuo voltando é direta. Personalização não é verificação. Seu AI SDR não tem principalmente um problema de alucinação. Tem um problema de verificação, e um modelo base melhor não vai resolvê-lo, porque verificação e proveniência não são capacidades de modelo. São propriedades do sistema que você envolve em torno do modelo.
Personalização não é verificação. Verificação e proveniência não são capacidades de modelo. São propriedades do sistema que você constrói em torno do modelo.
O que "100%" realmente tem permissão de significar
Quero ter cuidado aqui, porque este é exatamente o lugar em que um fundador é tentado a exagerar, e a empresa que estou construindo tem o nome do instinto oposto.
Há dois números na demo e não são o mesmo número. O primeiro é o Veracity Score, que é apenas alegações suportadas divididas pelo total de alegações factuais no rascunho. Ele responde "quanto do que a IA escreveu acabou sendo verdadeiro," e em um rascunho real muitas vezes fica bem abaixo de 100, o que é a coisa honesta e útil nele. O e-mail da Werner perde sua alegação de destaque. O e-mail da Northwind perde duas. Isso é o sistema funcionando, não falhando.
O segundo número é a integridade do envio, e é 100% por construção sempre que qualquer coisa sobrevive, porque o portão de política remove toda alegação não suportada antes que o e-mail tenha permissão de ser enviado. A garantia não é "a IA sempre esteve certa." A garantia é "o e-mail que sai contém apenas alegações respaldadas por fonte." Essas são promessas muito diferentes, e eu vi pessoas misturá-las em uma bem maior e bem mais falsa.
Há também um benchmark, e aqui está a frase que me recuso a encurtar: em um conjunto dourado fixo e rotulado à mão de 25 casos, o verificador determinístico acerta 25 de 25 vereditos. Isso é 100% naquele benchmark rotulado. Não é uma alegação sobre o mundo aberto, não é uma promessa sobre sua caixa de entrada, e enfaticamente não é "zero alucinação," uma frase que acho que ninguém honesto deveria dizer. O modelo ainda redige. Os rascunhos ainda contêm alegações não comprovadas. O ponto é que as não comprovadas são capturadas e removidas, e a captura é determinística o bastante para certificar. Quem te vende uma garantia de zero alucinação está te vendendo a coisa que eu passei uma semana falhando em construir.
Também digo com clareza, porque o padrão que me imponho exige, que os conectores da demo são simulados. A coleta EDGAR, a recuperação de notícias, a escrita de volta no CRM, o envio real, tudo simulado. O que é real é o mecanismo: as verificações, o portão, a trilha de auditoria e os trechos do 10-K da Werner, que são registro público genuíno. Estou mostrando como o motor decide, não um pipeline de produção com seus dados. Se quiser ver ele decidir, está aqui mais uma vez: veriprajna.com/pt-BR/demos/inteligencia-de-vendas-com-ia-prospeccao-verificada.
A pergunta com que fico
Descobri que a última coisa que esta construção mudou em mim foi menor que a tese, e ficou grudada por mais tempo.
Há um terceiro lead na demo, um broker-dealer sintético regulado pela FINRA, e o rascunho dele sai completamente limpo. Toda alegação suportada, nada removido, um Veracity Score perfeito. E o portão de política ainda o encaminha para um humano, porque é regulado e C-level e um negócio grande, e a regra diz que um humano olha esses independentemente de quão limpo esteja o rascunho. Na primeira vez que vi um e-mail impecável ser retido para revisão, meu instinto foi que o sistema tinha errado. Não tinha. Eu só tinha assumido, sem perceber, que correção e segurança eram a mesma propriedade.
Não são. Uma alegação pode ser verdadeira e insegura. Um rascunho pode estar limpo e ainda assim precisar de uma pessoa. O trabalho inteiro acabou sendo separar essas ideias e construir para as duas, em vez de colapsá-las em um único número que faz uma boa manchete.
Então a pergunta que eu deixaria com você é a que agora faço antes que qualquer coisa escrita por IA saia das minhas mãos. Não "isso é verdadeiro," que eu geralmente consigo responder e que geralmente não basta. A mais difícil: consigo provar, agora, qual fonte atual respalda exatamente esta alegação, e essa prova sobreviveria a alguém que quisesse que ela falhasse?
Se a resposta for não, não importa o quão bom o modelo fique. A frase não está pronta para enviar.
