Um Modelo Farmacêutico de Descoberta de Fármacos Projetou 40.000 Toxinas em Seis Horas. A Solução Não Foi a que Eu Esperava.

Na primeira vez que realmente entendi o problema, eu estava lendo um artigo de quatro anos atrás e sentindo um frio.

Em 2022, uma pequena equipe da Collaborations Pharmaceuticals pegou seu modelo comercial de descoberta de fármacos — um sistema de química generativa chamado MegaSyn, o tipo de coisa que pontua moléculas quanto ao potencial terapêutico — e inverteu um número. A função de recompensa que dizia ao modelo "recompense-me por moléculas seguras e com perfil de fármaco" passou a ser "recompense-me pelas tóxicas". Não foi um hack. Não foi uma violação. Foi um único sinal em um arquivo de configuração Python, do mesmo jeito que você mudaria um termostato de aquecer para resfriar.

Em menos de seis horas, em um servidor comum, o modelo produziu 40.000 moléculas candidatas — incluindo agentes neurotóxicos conhecidos como o VX, e milhares de compostos inéditos que ele previa serem ainda mais letais. Esse estudo, publicado na Nature Machine Intelligence, é onde toda conversa honesta sobre biossegurança em IA ainda começa. E o que me tirou o sono não foi o fato de ter acontecido uma vez em um experimento controlado. Foi que a arquitetura que tornou isso possível — uma função de recompensa alojada em um arquivo de configuração em vez de soldada ao modelo — ainda está em produção na maioria das farmacêuticas de médio porte que rodam pipelines como o REINVENT 4. A chave invertida nunca foi consertada. Ela apenas não foi invertida de novo.

Essa é a lacuna que minha equipe na Veriprajna passou dois anos construindo defesas contra. Este ensaio é o que erramos no caminho, e o que hoje acredito ser a única coisa que realmente funciona.

A diferença entre o modo descoberta-de-fármacos e o modo projeto-de-armas, na maioria dos pipelines de química generativa, é uma única linha de código que ninguém protege.

As Defesas em que as Farmacêuticas Confiam Foram Construídas para uma Ameaça que Já Não Existe

Quando comecei a conversar com responsáveis por compliance — o Diretor de Compliance, o Responsável Oficial que assina a papelada de biossegurança, o chefe de ML que de fato é dono dos modelos — quase todos descreviam as mesmas três defesas. Treinamento de recusa, para que o modelo diga não quando você lhe pede algo perigoso. Alinhamento por RLHF, para que ele se comporte. E filtros de alertas estruturais — software que examina a saída de uma molécula e sinaliza subestruturas tóxicas conhecidas.

Todas as três foram projetadas para um mundo em que um ataque parecia alguém digitando "projete-me um agente neurotóxico". A superfície de ataque de 2025 não se parece em nada com isso. Ela é mais silenciosa, mais automatizada, e opera abaixo do nível que essas defesas vigiam.

Veja os filtros de alertas estruturais, aqueles em que as farmacêuticas mais se apoiam. Plataformas como o Chemistry42 da Insilico Medicine vêm com mais de 460 filtros internos de química medicinal que eliminam toxicóforos conhecidos. São boa engenharia. Mas eles inspecionam a saída — a molécula finalizada — em busca de padrões conhecidamente ruins. Não fazem nada quanto ao objetivo. Um modelo otimizando em direção ao manifold das armas químicas gerará de bom grado compostos estruturalmente inéditos que não correspondem a nenhum toxicóforo conhecido e passam direto pelo filtro, porque "inédito" é exatamente para o que serve um modelo generativo. Eu já vi uma string SMILES — a notação de texto que os químicos usam para escrever uma molécula — passar rolando por um log de saída e sabia que ela passaria por todos os alertas que a equipe havia instalado, justamente por ser nova.

Então a primeira coisa que tive de desaprender foi a ideia reconfortante de que filtrar a saída é o mesmo que governar o modelo.

A Noite em que Nossa Ideia Mais Limpa Desmoronou

Aqui está a falha que eu mesmo defendi, e que nos custou meses.

Quando minha equipe delimitou isso pela primeira vez, nos apaixonamos pelo que parecia a resposta elegante: não filtrar o conhecimento perigoso, removê-lo. Existe um corpo de trabalho acadêmico real e belíssimo sobre desaprendizado de máquina — técnicas como o RMU, validadas contra o benchmark WMDP de um artigo do ICML de 2024 que mede exatamente quanto conhecimento de biologia armamentizável um modelo retém. A promessa é linda. Você pega um modelo que pontua cerca de 75% no WMDP-Bio — perigosamente instruído — e o desaprende até que ele pontue 26%, que é o acaso, que é "o modelo genuinamente não sabe". Um modelo com lacuna de conhecimento. Não dá para fazer jailbreak de um conhecimento que não está lá.

Construímos uma demonstração. Funcionou. A pontuação caiu para o nível do acaso. Lembro de ter orgulho disso — eu tinha um slide que dizia o conhecimento se foi, e parecia um argumento fechado.

Então um dos nossos engenheiros rodou nele um ataque de reaprendizado, do tipo descrito no trabalho de Lucki et al. da CMU que foi parar no ICLR 2025. Ele não o alimentou com dados secretos. Ele fez fine-tuning nele com artigos médicos públicos — o tipo de coisa que há em qualquer biblioteca de biologia — e a capacidade supostamente apagada começou a voltar a subir. O mesmo artigo mostrou que o truque também funciona com trivialidades: um modelo desaprendido que havia "esquecido" Harry Potter podia ser instigado a recitar novamente trechos memorizados depois de ver a wiki. O conhecimento não tinha se ido. Ele estava ofuscado. Profunda e impressionantemente ofuscado — mas recuperável por qualquer um com os pesos e uma tarde livre.

Não apagamos o conhecimento perigoso. Nós o escondemos bem o bastante para enganar a nós mesmos, que é o tipo mais perigoso de segurança que existe.

Aquela foi a noite em que a proposta limpa morreu. E ela precisava morrer, porque a versão seguinte dela teria sido vendida a uma farmacêutica de verdade como "seu modelo não pode ser usado de forma indevida" — uma frase que não é verdadeira, e sob a qual nenhum responsável por compliance jamais deveria assinar seu nome.

A Recusa É um Comportamento, Não uma Capacidade

A falha do reaprendizado me forçou a internalizar algo que agora digo em toda primeira reunião. A recusa é um comportamento que o modelo executa. A capacidade é o que o modelo pode fazer. Não são a mesma coisa, e quase toda camada de segurança na indústria farmacêutica as confunde.

A recusa por RLHF ensina um modelo a dizer não. Não o ensina a não saber. Há um estudo de 2025 — o trabalho "gpt-oss" sobre risco no pior cenário — que colocou um número em quão tênue é essa distinção: com algo entre 10 e 50 exemplos de fine-tuning e algumas centenas de dólares de tempo de GPU, você pode arrancar o alinhamento de segurança de um modelo de pesos abertos e restaurar sua capacidade biológica quase de fronteira. Dias de trabalho. O preço de um bom jantar. Para qualquer farmacêutica rodando modelos de pesos abertos on-premise — e muitas o fazem, por razões de propriedade intelectual perfeitamente boas — "alinhado à segurança" é uma propriedade que sobrevive exatamente até que um insider ou um arquivo de pesos exfiltrado decida que não deveria.

É por isso que a realidade dos pesos abertos importa tanto. Quando o Arc Institute lançou o Evo 2 em fevereiro de 2025 — um modelo fundacional de DNA de 40 bilhões de parâmetros treinado com nove trilhões de nucleotídeos — eles fizeram um trabalho de segurança genuinamente cuidadoso, excluindo do treinamento os patógenos que infectam humanos e fazendo red-teaming do resultado. E então um framework chamado GeneBreaker, apresentado no NeurIPS 2025, alcançou uma taxa de sucesso de ataque de até 60% fazendo jailbreak do Evo 2-40B em seis categorias virais.

O modo como o GeneBreaker funciona é a parte que todo CISO precisa parar para digerir. Ele nunca pede um patógeno. Ele usa um agente de IA para orquestrar ferramentas de bioinformática e pede, por meio de uma busca em feixe guiada por homologia, uma proteína "homóloga a" uma referência benigna que por acaso é estruturalmente próxima de uma perigosa. Os filtros de palavras-chave veem uma requisição legítima de genômica comparativa. O treinamento de recusa não vê nada a recusar. O perigo só se torna visível quando você analisa a função do que saiu — e a essa altura já saiu. Uma vez que os pesos estão abertos, você tem de assumir que o modelo está solto no mundo e que todo concorrente e agente malicioso tem a mesma cópia que você.

Por Que a "Última Linha de Defesa" Não Pegou Isso?

Sempre que exponho isso, alguém — geralmente a pessoa mais experiente da sala — diz alguma versão de: "Tudo bem, mas nada disso importa, porque para tornar qualquer coisa real você precisa sintetizar DNA, e nosso fornecedor de síntese examina todo pedido."

Eu também costumava acreditar nisso pela metade. Então veio outubro de 2025.

A Microsoft Research, trabalhando discretamente por dez meses com a Twist Bioscience, a IDT e o International Gene Synthesis Consortium, conduziu o que hoje se chama Projeto Paráfrase, publicado na Science. Eles usaram um modelo de design de proteínas de código aberto para gerar milhares de variantes sintéticas de uma toxina — preservando a parte funcional essencial enquanto mutavam tudo ao redor, o equivalente molecular de parafrasear uma frase para que o software antiplágio não a sinalize. Essas variantes parafraseadas por IA passaram despercebidas pelo software de triagem baseado em homologia que todo grande fornecedor de síntese de DNA usa. A "última linha de defesa" estava cega a elas.

Para enorme crédito da equipe, eles passaram aqueles dez meses co-desenvolvendo e distribuindo globalmente um patch que adiciona predição funcional por cima da correspondência por homologia. A detecção melhorou. Mas a lição para um comprador é permanente: qualquer pipeline interno que rodava sob a premissa de "nosso fornecedor de DNA vai pegar isso" estava, durante todo o ano de 2024 e a maior parte de 2025, rodando sob uma garantia que não existia. Eu já me sentei diante de um responsável por compliance descrevendo exatamente esse resguardo com total confiança, semanas depois de o artigo ter saído. Você não pode tratar a triagem do fornecedor como seu resguardo. Você tem de fazer a triagem internamente, antes que o pedido sequer saia do prédio.

A história reconfortante é sempre "algo mais adiante vai pegar isso". Na biossegurança, 2025 foi o ano em que toda captura mais adiante foi demonstrada como superável.

O Piso Regulatório se Moveu — Em Duas Direções ao Mesmo Tempo

Se o terreno técnico fosse a única coisa mudando, já seria difícil o bastante. O terreno jurídico também está se movendo, e está se afastando.

Nos Estados Unidos, o arcabouço executivo contra o qual as equipes de compliance haviam passado 2023 e 2024 se planejando foi desmontado em questão de meses. A ordem de segurança em IA de Biden foi revogada em janeiro de 2025; a ordem da bioeconomia em março; uma ordem de segurança em pesquisa biológica substituta emitida em maio veio com um prazo de implementação de 90 dias que passou sem que nenhum arcabouço aparecesse. As pessoas cujo trabalho é o compliance de biossegurança estão, neste exato momento, operando em um vácuo.

Enquanto isso, a UE seguiu o caminho oposto. As obrigações do AI Act para modelos de propósito geral entraram em vigor em agosto de 2025, com a aplicação plena de alto risco chegando em agosto de 2026. As penalidades não são simbólicas: até €35 milhões ou 7% do faturamento global para práticas proibidas, €15M ou 3% para não conformidade de modelos de propósito geral. Modelos fundacionais usados em biologia estão claramente no escopo. E aqui está a assimetria que decide toda a questão para a maioria dos meus clientes: uma farmacêutica com qualquer operação na UE tem de cumprir o padrão da UE independentemente de onde os EUA parem. A régua mais baixa do mundo é irrelevante se você vende para Frankfurt.

Por baixo da regulação de destaque, a ISO/IEC 42001 — o primeiro padrão internacional para sistemas de gestão de IA — silenciosamente se tornou aquilo que seguradoras e parceiros esperam que você tenha. E as seguradoras são o fiscal silencioso aqui. Ao longo do fim de 2025, as seguradoras de responsabilidade cibernética começaram a adicionar perguntas em seus formulários de subscrição sobre exclusões de dados de treinamento de uso dual, procedimentos de desaprendizado e frequência de red-team, e passaram a excluir danos gerados por IA ou a reprecificá-los para empresas que rodam modelos de pesos abertos sem controles documentados. Eu já vi um questionário no estilo Munich Re chegar à mesa de um cliente e reformular toda a conversa: aquilo já não era uma discussão de ética, era um prêmio de seguro.

É aqui também que a armadilha da responsabilidade se fecha. Imagine o processo judicial. Um funcionário insatisfeito exfiltra os pesos do modelo de biologia privado de uma farmacêutica. Meses depois ele surge em um relatório de inteligência de ameaças sobre um quase-incidente. O advogado do autor faz uma pergunta: qual era o seu arcabouço de controle? Em 2024 você talvez sobrevivesse respondendo "usamos treinamento de recusa". Depois da pesquisa sobre MFT e reaprendizado, essa resposta está mais para uma confissão. A defesa de dever de cuidado em 2026 é "tomamos precauções de última geração, documentadas e em camadas" — e ou você tem o registro do red-team para provar isso, ou não tem.

Então o Que de Fato se Sustenta?

A conclusão honesta de tudo isso é a que eu menos queria, porque é menos elegante que "apagamos o conhecimento". Nenhuma técnica isolada funciona. A recusa é reversível. O desaprendizado é recuperável. Os filtros de saída são cegos à novidade. A triagem do fornecedor foi burlada. Toda defesa individual tem uma quebra demonstrada.

O que se sustenta são camadas que falham de forma independente — para que derrotar uma não derrote o sistema. Essa é a coisa que acabamos construindo, e é em torno dela que a prática de segurança de IA em biossegurança da Veriprajna está agora organizada. Não é um produto que você instala. É uma defesa embutida em qualquer pilha que a farmacêutica já rode, porque eles não vão arrancar o Chemistry42 ou o REINVENT por mim, e nem deveriam ter de fazê-lo.

Começa no momento da geração. Colocamos um middleware de segurança na frente do modelo que intercepta a saída em SMILES, SELFIES ou grafo molecular antes que ela chegue ao pesquisador — triagem de toxicóforos como todo mundo faz, mas com pontuação de proximidade no espaço latente ao manifold das armas químicas e detecção de penhascos de atividade sobrepostas por cima. O ataque de estrutura inédita que passa por um filtro de padrões é capturado por onde ele se situa na representação do modelo, não pelo que ele parece — porque um análogo de arma química e um fármaco benigno podem parecer estruturalmente sem relação e ainda assim se agrupar na mesma região do espaço latente aprendido pelo modelo, o único invariante do qual um gerador em busca de novidade não consegue escapar. Toda interceptação escreve um log de auditoria, porque o log é o que um avaliador da ISO 42001 de fato pede para ver.

O desaprendizado ainda tem seu lugar no nível dos pesos, mas apenas com a humildade que a pesquisa sobre reaprendizado nos impôs. RMU, ablação de features por autoencoder esparso, o refinamento UIPE de um artigo da ACL de 2025 — e então um ciclo mensal de recertificação com red-teams contínuos de reaprendizado, porque agora assumimos que a lacuna de conhecimento pode se erodir e preferimos flagrar a erosão a fingir que ela não pode acontecer. A pontuação no WMDP-Bio deixou de ser um certificado que emolduramos uma vez e passou a ser um sinal vital que monitoramos.

Nada disso é confiável sem alguém tentando ativamente quebrá-lo, então o red team roda trimestralmente: ataques por homologia no estilo GeneBreaker, jailbreaks por prompting em SMILES, simulação de fine-tuning malicioso, recuperação por reaprendizado. A entrega é um relatório escrito mapeado aos controles do NIST AI 600-1 — o perfil de IA Generativa que, desde julho de 2024, nomeou explicitamente CBRN como um dos doze riscos singulares. E o laço só se fecha quando fazemos a triagem internamente: sequências geradas são checadas contra o IGSC, contra o protocolo de hashing criptográfico do SecureDNA e contra uma camada de predição funcional, antes que qualquer pedido de síntese saia do prédio — exatamente a lacuna que o Projeto Paráfrase expôs.

A Parte que a Maioria dos Fornecedores Não Vai Colocar por Escrito

Há uma seção de todo projeto que eu faço questão, e é a que torna o resto crível: as coisas que não podemos consertar.

Não podemos resolver a política organizacional. Se o líder de P&D vivencia a revisão de biossegurança como um imposto sobre a velocidade de iteração, nenhuma camada técnica sobrevive ao contato com o calendário. Não podemos tornar o desaprendizado comprovadamente permanente contra um adversário que detém os pesos e tem acesso a fine-tuning — a UIPE e a ablação por SAE reduzem o risco, mas não o zeram. O WMDP é um proxy para conhecimento de precursores conhecidos; um modelo no nível do acaso não está certificado como seguro contra capacidades que ninguém ainda enumerou. E ataques de envenenamento de dados a montante acontecem antes de o modelo sequer chegar à farmacêutica, o que significa que detectá-los exige uma cooperação que um consultor a jusante não pode impor.

Um fornecedor de biossegurança que afirma fechar todas as lacunas está lhe dizendo a única coisa que prova que ele não as encontrou todas.

Essas ressalvas pertencem à mesa em linguagem clara, no deck do conselho, na matriz de controles. Não porque a honestidade seja legal, mas porque a alternativa — o confiante slide "seu modelo não pode ser usado de forma indevida" que quase entreguei — é exatamente o exagero que se transforma no depoimento judicial.

As pessoas me perguntam se isso significa que as pequenas biotechs estão simplesmente sem sorte, afogadas por uma capacidade de laboratório de fronteira que não conseguem igualar. O oposto, na verdade. Os laboratórios de fronteira fazem trabalho de verdade — a Anthropic lançou proteções ASL-3 no Claude Opus 4 em maio de 2025, o primeiro modelo comercial com medidas de implantação voltadas explicitamente ao incremento de capacidade para bioarmas. Mas esses classificadores protegem o Claude. Eles não fazem nada pela sua instância de REINVENT ajustada por fine-tuning, pelo seu pipeline de recuperação ou pelo modelo de pesos abertos nas suas próprias GPUs. A camada de pipeline específica de farmacêuticas é exatamente o espaço que os laboratórios de fronteira não conseguem alcançar e que os fornecedores de plataforma tratam como um recurso em vez do foco. Essa é a lacuna, e é uma lacuna construível.

A outra pergunta que recebo é a operacional: isso não é lento? É mais lento do que não entregar nada, mais rápido do que um processo judicial, e muito mais rápido do que o dia em que um regulador ou uma seguradora pede evidências que você nunca gerou. O estudo de red-team da RAND de 2024 descobriu que a IA não elevou o teto do que um virologista treinado poderia fazer — ela elevou o piso do que um não especialista poderia tentar. O risco nunca foi superpoderes para poucos. Foi sofisticação democratizada para muitos. Esse é um piso que você defende com camadas documentadas, não com um prompt de recusa e boas intenções.

Entrei nesse trabalho esperando construir um jeito engenhoso de apagar conhecimento perigoso de um modelo. Saí convencido de que todo o enquadramento estava errado — de que não se vence a biossegurança fazendo um modelo que não pode ser usado de forma indevida, porque tal modelo não existe. Você vence construindo um sistema em que cada camada assume que as outras serão derrotadas, e você guarda os comprovantes. Se você roda um pipeline de química ou biologia generativa hoje e a resposta honesta para "qual é o seu arcabouço de controle" é um arquivo de configuração e um prompt de recusa, isso não é uma postura de segurança. É um único sinal esperando para ser invertido — e você pode ver exatamente como é uma postura em camadas em vez disso.