Minha IA de rastreamento de conhecimento queria certificar um aluno que trapaceou o curso. O código que escrevi recusou.

Dois funcionários, dois vistos verdes idênticos, e um deles é mentira

Na primeira vez em que coloquei os dois registros lado a lado, os vistos pareciam idênticos, e esse era o problema inteiro. Uma analista sênior de BSA com oito anos no cargo e um gerente de agência seis meses após a transferência tinham acabado de "concluir" a mesma recertificação de quatro horas em prevenção à lavagem de dinheiro. O LMS deles reportava a mesma coisa para cada um: um visto verde, "SCORM Concluído", pronto. Uma delas conseguia conduzir uma investigação de atividade suspeita dormindo. O outro tinha lacunas reais exatamente nos conceitos com que um regulador se importa. O sistema que deveria certificá-los para o trabalho de compliance não conseguia distingui-los, porque nunca estava medindo o que eles sabiam. Estava medindo se o vídeo terminou de tocar.

Essa lacuna não é acadêmica, e construir esta demo me forçou a manter as consequências à minha frente. As empresas dos EUA gastam cerca de US$ 102,8 bilhões por ano em treinamento corporativo, aproximadamente US$ 874 por aluno (Training Magazine, 2025), e um quarto inteiro dos líderes de L&D diz que não consegue medir se algo disso funcionou. Em trabalho regulado, a lacuna tem um preço no registro público. O TD Bank absorveu uma penalidade de PLD de US$ 3,1 bilhões atrelada em parte a um programa de treinamento inadequado. A partir de 2 de agosto de 2026, o Artigo 4 do EU AI Act começa a aplicar letramento em IA baseado no papel, com penalidades de até € 35 milhões ou 7% da receita global. Em todos esses casos, o registro de "Concluído" é inútil como evidência, porque conclusão nunca foi competência.

O sistema não estava medindo se eles aprenderam. Estava medindo se o vídeo terminou de tocar.

Construí uma demo chamada Attest para ver se eu conseguia fechar essa lacuna com honestidade. Você pode rodá-la em veriprajna.com/pt-BR/demos/attest-ia-de-aprendizagem-adaptativa-que-certifica-competencia-nao-conclusao. Este ensaio é sobre a parte de construí-la que de fato me surpreendeu, e não foi o modelo.

O que eu de fato me propus a construir era um modelo que soubesse o que cada pessoa sabia

Comecei onde todo pitch de "aprendizagem adaptativa" começa, e depois joguei a maior parte fora. A maioria dos produtos que se chamam adaptativos está rodando filtragem colaborativa por baixo: "pessoas como você fizeram o Curso X em seguida." Isso é um motor de recomendação vestindo uma toga de diploma. Ele sabe o que alunos semelhantes fizeram. Não tem ideia do que você, especificamente, entende. A Cornerstone lançou um "Adaptive Learning Agent" em março de 2026 que ainda funciona assim. Eu não queria um recomendador melhor. Queria um modelo que lesse o fluxo bruto de interação de uma pessoa e inferisse, conceito por conceito, o que ela de fato dominou.

Esse é um problema de pesquisa real e antigo chamado rastreamento de conhecimento, e a versão honesta dele é um transformer, não uma média de quiz. Treinei um modelo de rastreamento de conhecimento autoatentivo, SAKT, cerca de 119.809 parâmetros, pequeno o bastante para treinar em uma CPU em noventa segundos e fazer cache depois. Ele repassa a sequência de interações de cada aluno e produz uma probabilidade de domínio para cada um dos dezoito conceitos do curso. No nosso benchmark sintético seedado de rastreamento de conhecimento, alcançou uma AUC hold-out de 0,8315, com acurácia de próximo passo de 0,771. Os dados do benchmark são gerados por uma família de modelos completamente diferente (Performance Factors Analysis, um modelo logístico clássico), então o transformer não está avaliando suas próprias premissas. Para contexto externo, resultados publicados do SAKT no dataset público ASSISTments ficam em torno de 0,80 (Pandey e Karypis, 2019). O meu estava na mesma vizinhança.

Eu me orgulhava daquele número. Eu achava que o número era o produto. Bastou exatamente um aluno para me mostrar que não era.

Então alimentei o modelo com alguém que tinha trapaceado o curso inteiro

O aluno que quebrou minha confiança foi o terceiro da coorte, um associado de operações que tinha usado um assistente de IA para responder automaticamente o módulo inteiro. Observe o que meu modelo fez com ele. Conceito após conceito, a inferência do SAKT voltava alta: 0,927 em identificação de red flags de SAR, 0,95 em lavagem de dinheiro baseada em comércio, 0,992 em risco de correspondent banking, 0,994 em gatilhos de due diligence reforçada. Quase perfeito em tudo. Se eu tivesse confiado no modelo, teria certificado todos os dezoito conceitos e entregado a essa pessoa um registro de compliance limpo e assinado.

O problema é que o domínio era falso. As respostas eram rápidas e perfeitas em dezoito não relacionados conceitos, uma distribuição de tempo de resposta inconsistente com recall genuíno. Um especialista de verdade é rápido em algumas coisas e lento em outras. Esse padrão era plano e impossivelmente rápido em tudo, a assinatura de um gabarito, não de uma memória. Meu cuidadoso modelo de AUC 0,83 olhou para um gabarito e viu um aluno estrela.

Meu modelo não apenas deixou passar a trapaça. Ele estava mais confiante exatamente onde estava mais errado.

Foi aquele o momento em que este ensaio se tornou verdade para mim. Um modelo melhor não teria me salvado aqui. Um transformer mais preciso treinado em dados mais limpos teria olhado para as mesmas respostas rápidas e perfeitas e ficado ainda mais certo de que essa pessoa tinha dominado tudo. A falha não era falta de acurácia. Era que eu tinha deixado um modelo probabilístico tomar uma decisão que um modelo nunca deveria ter permissão de tomar sozinho.

Por que não simplesmente treinar o modelo para detectar isso?

Meu primeiro instinto foi o errado, e quero ser honesto sobre o dia que perdi por causa dele. Tentei tornar o próprio modelo robusto à trapaça. Adicionar features de tempo de resposta, treiná-lo a desconfiar de sequências implausivelmente rápidas, ensinar o transformer a ser suspeito. É um plano sedutor porque mantém tudo dentro de um sistema elegante só, e eu gosto de sistemas elegantes. Também não funciona, por uma razão que demorei mais do que deveria para aceitar. Tudo o que você ensina um modelo a detectar, você também o ensinou a errar com confiança nos casos que não antecipou. O trabalho inteiro de um modelo é generalizar e suavizar. Uma decisão de governança precisa do oposto: tem de ser frágil exatamente no lugar certo, e recusar.

Então parei, e tirei a decisão do modelo por completo. O modelo aconselha. Código determinístico puro decide. Depois que a inferência do SAKT roda, um pedaço de lógica em Python puro que chamo de portão de competência faz a chamada de certificar-ou-não, e o modelo não pode sobrescrevê-la. O portão certifica um conceito só se três coisas forem verdade ao mesmo tempo: o domínio está em ou acima de 0,747, há pelo menos três interações reais de evidência por trás, e o padrão de resposta não é anômalo. Se falhar em qualquer uma das três, o conceito não é certificado. Ele é marcado "precisa de prova," e o aluno recebe um desafio de verificação em vez de um visto.

Quando o portão olhou para o associado de operações, fez a coisa que meu modelo não conseguia. Sinalizou a evidência como anômala, recusou todos os conceitos e certificou zero de dezoito. Tempo de presença retido, pendente de verificação.

Quero ter cuidado com como enquadro isso, porque o brief que escrevi para mim mesmo é cuidadoso a respeito. Isto não é um detector de trapaceiros com uma taxa de acerto, e nunca o apresento como tal. É um resultado de governança em um aluno ilustrativo: conceitos retidos porque a evidência não era boa o bastante para certificar. O ponto não é "peguei você, trapaceou." O ponto é que o Attest certifica só o que consegue provar, e permanece honesto sobre o resto.

Agentes aconselham, código decide, e essa linha acabou sendo portante

Continuo voltando a essa divisão de trabalho porque, quando terminei, ela era a arquitetura inteira e não um slogan. Há exatamente dois lugares no Attest onde algo inteligente e probabilístico roda, e ambos só aconselham. Um agente LLM (construído sobre Pydantic AI, com padrão claude-opus-4-8) faz a marcação de conceitos, decompondo um curso plano de "Treinamento de PLD" em uma taxonomia de dezoito conceitos: CDD, narrativa de SAR, detecção de transações estruturadas, triagem OFAC, e o resto. Esse passo de marcação é o que o campo vai te dizer que é a maior razão isolada pela qual projetos de aprendizagem adaptativa morrem, e é genuinamente difícil, mas é consultivo. O modelo SAKT infere domínio, também consultivo. Toda decisão que de fato importa — qual caminho um aluno percorre e o que é certificado — é tomada por código determinístico que nenhum modelo consegue contornar na conversa.

O sequenciador é a outra metade desse código, e é onde o dinheiro se esconde. Por conceito: se o domínio está em ou acima de 0,67 o aluno pula ou só verifica; entre 0,38 e 0,67 fica na zona de fluxo; abaixo de 0,38 recebe apoio estruturado. Esses pontos de corte não são números que escolhi por intuição. São cross-validados contra a coorte rotulada, e o repositório inclui um teste A/B de cinco folds mostrando que eles batem o fallback definido à mão sem mudar o significado da decisão. Rode essa lógica sobre a analista sênior e ela pula quase tudo o que já sabe: dezesseis de dezoito conceitos certificados, tempo de presença caindo de 240 minutos para 47,3, uma redução de 80,3%. Rode o código idêntico sobre o gerente de agência que tem lacunas reais, e o código se recusa a entregar o mesmo desconto: dez de dezoito certificados, só 38,9% economizados, porque ele de fato precisa do treinamento.

O mesmo código entrega à especialista um curso de 47 minutos e ao novato um curso de verdade. Nenhum dos dois consegue discutir com o código.

Essa assimetria é o ponto inteiro. Um sistema que economiza o mesmo tempo para todo mundo é só um curso mais curto com branding melhor. Um sistema que economiza tempo em proporção estrita ao que cada pessoa consegue provar que sabe está fazendo rastreamento de conhecimento, e está fazendo isso em código que eu consigo ler linha por linha.

O que você entrega a um regulador no lugar de um visto

O artefato do qual mais me orgulho é o que um visto verde nunca consegue produzir. Quando o portão termina, o Attest exporta um Certificado de Competência assinado, e eu mantenho duas amostras reais em disco. Para a analista sênior ele lista todos os dezoito conceitos, cada um com sua probabilidade de domínio, a contagem de interações por trás dessa estimativa, o status certificar-ou-precisa-de-prova, e a regulação específica a que mapeia (31 CFR 1020.220, FATF Rec. 12, 31 USC 5318, e o resto). Registra o nome do modelo, sua versão e a AUC do benchmark. Carrega um rodapé honesto de limitação notando que a AUC mede predição do próximo item e não retenção de longo prazo, porque uma probabilidade de domínio é evidência, não garantia. E o documento inteiro é assinado com uma assinatura HMAC-SHA256 para que não possa ser editado em silêncio depois do fato.

Esta é a resposta durável à verdadeira pergunta do auditor, que nunca é "eles terminaram?" É "prove quais interações respaldaram qual reivindicação de domínio." Um visto não consegue responder isso. Tampouco um modelo-base melhor, por melhor que fique, porque acurácia não é proveniência. Um modelo mais preciso ainda não consegue mostrar a um auditor a trilha de evidências por trás de uma decisão que ele tomou. Essa trilha tem de ser construída como um artefato, de propósito, fora do modelo. É isso que o certificado é, e é a coisa que me fez parar de pensar no modelo como o produto.

Acurácia não é proveniência. Um modelo melhor ainda não consegue provar quais interações respaldaram qual reivindicação.

Você pode inspecionar tudo isso na demo em execução em veriprajna.com/pt-BR/demos/attest-ia-de-aprendizagem-adaptativa-que-certifica-competencia-nao-conclusao, incluindo os dois conceitos que o certificado se recusa a certificar para a analista, onde o domínio dela honestamente fica abaixo da linha de 0,747.

A parte que sobrevive a um modelo melhor

Construí isto esperando que o modelo fosse a parte difícil, e estar errado sobre isso mudou como penso a categoria inteira. O modelo foi a parte tratável: noventa segundos em uma CPU e uma AUC respeitável. A parte difícil, a que de fato torna a saída confiável, foi tudo o que coloquei ao redor do modelo para impedir que ele tomasse decisões que não tinha o direito de tomar: o portão determinístico, a regra de suficiência de evidência, a recusa por anomalia, a trilha assinada.

Essa também é a parte que não envelhece. Quando mostro os números da coorte (cerca de 51,9% de redução de tempo de presença em uma coorte simulada de recertificação de 500 pessoas, aproximadamente US$ 77.872 recuperados neste único módulo, uma figura anualizada perto de US$ 389.362 que o app rotula como projeção na tela), a manchete deliberadamente não é a AUC. A AUC só prova que é um modelo real de rastreamento de conhecimento e não um livro de notas. A manchete é o percentual de tempo de presença economizado e o percentual de conceitos autocertificados versus encaminhados para prova, e ambos se sustentam independentemente de quão bom o modelo subjacente se torne. Um transformer mais inteligente no ano que vem não muda o fato de que a decisão, e o recibo, vivem em código que você pode auditar.

E se você preferir ver a ouvir minha descrição, aqui está a coisa inteira rodando de ponta a ponta.

Então aqui está a pergunta com que tenho convivido, e a que eu faria a qualquer um construindo neste espaço. Se a saída mais importante do seu sistema é uma decisão em que um regulador vai se apoiar, você quer que essa decisão seja tomada pelo modelo, ou tomada por algo que o modelo só tem permissão de aconselhar? Eu tinha as coisas invertidas por um dia. Então um aluno estrela falso, rápido e perfeito em dezoito coisas que ele não sabia, entrou e me colocou no caminho certo.