Uma IA Projetou 40.000 Armas Químicas em Potencial em Seis Horas. Não Consigo Parar de Pensar no Que Isso Significa.

Eu estava sentado num quarto de hotel em Zurique, com jet lag e lendo distraidamente um artigo no meu laptop, quando uma única tabela me paralisou.

40.000 moléculas. Menos de seis horas. Um servidor de nível doméstico — do tipo que você encontraria num dormitório universitário. E o resultado não era lixo. O modelo havia redescoberto o VX, um dos agentes nervosos mais letais já sintetizados, e então foi além — gerando milhares de novos análogos que se previa serem mais letais do que o próprio VX. Compostos que não aparecem em nenhum banco de dados público. Que não existem em nenhuma lista de vigilância governamental.

Os pesquisadores da Collaborations Pharmaceuticals não haviam construído uma arma. Eles pegaram um modelo comercial de descoberta de fármacos chamado MegaSyn — uma ferramenta projetada para encontrar curas para doenças raras — e mudaram um único sinal em sua função de recompensa. De menos para mais. Penalizar a toxicidade tornou-se maximizar a toxicidade. Foi só isso. Uma linha de código, e a máquina passou de curadora a projetista de armas com a mesma fluência.

Fechei o laptop e fiquei encarando a parede por um longo tempo.

Eu dirijo a Veriprajna, uma empresa que constrói sistemas de IA para ambientes empresariais de alto risco. Trabalhamos na interseção entre aprendizado profundo e domínios onde errar não significa uma recomendação ruim — significa dano real e físico. Naquela noite em Zurique, percebi que todo o paradigma de segurança que a indústria de IA estava vendendo — as guardrails, os filtros de conteúdo, os truques de engenharia de prompt — estava construído sobre uma base de areia. E eu sabia que tínhamos de fazer algo fundamentalmente diferente.

O Experimento Que Deveria Ter Mudado Tudo

Eis o que me assombra no experimento da Collaborations Pharmaceuticals: não foi difícil.

A equipe usou uma rede neural baseada em LSTM treinada em strings SMILES — uma representação textual de estruturas moleculares. Os dados de treinamento vieram do ChEMBL, um banco de dados publicamente disponível que qualquer estudante de pós-graduação pode baixar. O custo computacional foi trivial. Toda a arquitetura está bem documentada na literatura aberta.

O modelo funcionava gerando moléculas candidatas e pontuando-as em relação a uma função objetivo. Em seu modo terapêutico normal, essa função era algo como: recompensar a bioatividade, penalizar a toxicidade. Os pesquisadores inverteram a penalização. O próprio gerador — o motor que de fato cria as moléculas — nunca foi modificado. Ele apenas seguiu o novo gradiente, escalando em direção à letalidade máxima da mesma forma que antes escalava em direção ao valor terapêutico máximo.

Se um modelo entende o que torna uma molécula segura, ele, por definição, entende o que a torna insegura. Essas são regiões complementares do mesmo espaço matemático.

Isto não é um bug. É a arquitetura funcionando exatamente como foi projetada. E essa é a parte aterrorizante.

A barreira de entrada para projetar agentes bioquímicos sofisticados desmoronou — não porque alguém vazou uma receita, mas porque a inteligência computacional para projetá-los agora está disponível de forma democrática. Uma GPU doméstica. Um script em Python. Um conjunto de dados de código aberto. Essa é a lista de compras completa.

Por Que Toda Solução de Segurança em IA Erra o Alvo?

Depois de Zurique, passei semanas conversando com equipes construindo "IA segura" para farmacêuticas e biotecnologia. As conversas seguiam um padrão deprimente.

"Temos guardrails", diziam. "Filtramos as saídas."

Eu perguntava: o que acontece quando alguém submete uma string SMILES em vez do nome de uma molécula?

Olhares vazios.

Eis o problema de todo o paradigma de segurança baseado em wrappers — a abordagem em que você pega um modelo poderoso, o envolve numa fina camada de filtragem de conteúdo e o chama de pronto para uso empresarial. Esses sistemas operam sobre a linguagem. Procuram palavras-chave. Comparam as saídas com listas de coisas ruins conhecidas.

Mas a toxicidade não é uma palavra. É uma geometria.

Um filtro de conteúdo bloqueará a palavra "Sarina". Ele não bloqueará O=P(C)(F)O — a representação SMILES da Sarina que o modelo entende perfeitamente. Pesquisas recentes sobre ataques de SMILES-prompting mostraram taxas de contorno superiores a 90% contra modelos de ponta como o GPT-4 e o Claude 3 para substâncias específicas. Noventa por cento. Isso não é um sistema de segurança. É uma caixa de sugestões.

E fica pior. Na química medicinal, há um fenômeno chamado "penhasco de atividade" (activity cliff) — em que uma minúscula mudança estrutural, às vezes a substituição de um único átomo, causa uma alteração enorme na atividade biológica. Troque um grupo hidroxila por um átomo de flúor e um fármaco seguro se torna letal. Um filtro baseado em texto que enxerga duas moléculas como 99% similares vai deixar passar a perigosa, porque está comparando sintaxe, não função. É como aprovar um documento porque a fonte parece certa, sem ler as palavras.

Escrevi sobre essas vulnerabilidades técnicas em profundidade na versão interativa da nossa pesquisa, mas a percepção central é simples: se o seu mecanismo de segurança opera na superfície do modelo — no texto que entra e no texto que sai — você deixou o verdadeiro motor da criação completamente sem governança.

A Noite Em Que Percebemos Que Estávamos Pensando Errado

Houve um momento — lembro dele com precisão porque eu e meu CTO discutíamos às 23h diante de uma pizza fria — em que todo o problema se reformulou para nós.

Vínhamos tentando construir filtros melhores. Classificadores mais inteligentes. Listas de bloqueio mais abrangentes. E toda vez que os submetíamos a testes de estresse, encontrávamos outra maneira de contorná-los. Outro truque de codificação. Outro caso extremo em que uma molécula inédita escapava porque não estava em nenhum banco de dados.

Meu CTO disse algo que interrompeu a discussão: "Continuamos tentando capturar as saídas ruins. E se tornássemos impossível para o modelo pensar nelas, para começar?"

Foi então que começamos a falar sobre espaço latente.

O Que É Espaço Latente, e Por Que Você Deveria Se Importar?

Todo modelo de IA generativa — seja criando imagens, textos ou moléculas — funciona comprimindo o mundo em um espaço matemático. Essa representação comprimida é chamada de espaço latente. Pense nele como a imaginação interna do modelo. Quando um gerador molecular "projeta" um novo fármaco, ele não está montando átomos aleatoriamente. Ele está navegando por uma paisagem de alta dimensionalidade onde moléculas similares se agrupam, e a geração é o ato de escolher um ponto nessa paisagem e decodificá-lo de volta em uma estrutura real.

Eis o que importa: nessa paisagem, a toxicidade não é um rótulo. É uma região. Um território contínuo e vasto que se infiltra e se entrelaça com as regiões que representam o valor terapêutico. As características que permitem a um fármaco atravessar a barreira hematoencefálica para tratar o Alzheimer são frequentemente as mesmas que permitem a um agente nervoso alcançar seu alvo e causar paralisia. A alta afinidade de ligação — a capacidade de uma molécula de se agarrar firmemente a uma proteína — é exatamente o que você quer num fármaco contra o câncer e exatamente o que torna o VX letal.

Toxicidade e valor terapêutico não são lados opostos de uma moeda. São vizinhos na mesma variedade (manifold), compartilhando uma cerca e, às vezes, a porta da frente.

Esse entrelaçamento é o motivo pelo qual simples mecanismos de "recusa" falham catastroficamente. Se você mandar o modelo bloquear tudo o que está associado à toxicidade — digamos, todas as moléculas que penetram a barreira hematoencefálica — você não bloqueia apenas armas. Você destrói a capacidade do modelo de projetar tratamentos para doenças neurológicas. Você realizou uma lobotomia em nome da segurança.

O verdadeiro desafio não é bloquear saídas ruins. É navegar pelas regiões seguras dessa paisagem tornando, ao mesmo tempo, as regiões perigosas matematicamente inalcançáveis.

Como É, na Prática, a "Governança do Espaço Latente"?

Cunhamos o termo Governança do Espaço Latente para descrever o que acreditamos ser a única abordagem defensável para a segurança em IA em domínios generativos de alto risco. A ideia é enganosamente simples: em vez de filtrar as saídas depois que o modelo as gera, restringir a navegação do modelo por sua paisagem interna antes de que qualquer coisa seja produzida.

Vou explicar o que isso significa na prática, porque o diabo mora na implementação.

Mapeando o Terreno Antes de Qualquer Um se Mover

Antes de implantar qualquer modelo generativo, realizamos o que chamamos de auditoria topológica. Usando uma técnica chamada Homologia Persistente — um ramo da Análise Topológica de Dados — calculamos uma impressão digital matemática das regiões seguras do espaço latente do modelo. Identificamos as formas, buracos e fronteiras que separam o território terapêutico do território tóxico.

Isso nos dá algo que nenhuma lista de bloqueio jamais poderia: uma compreensão estrutural de como a "segurança" se parece na própria geometria do modelo. Quando uma molécula inédita é gerada — algo que não aparece em nenhum banco de dados — podemos avaliar se ela se encontra na variedade segura ou se derivou para um território inexplorado e potencialmente perigoso.

Os Críticos Que Nunca Dormem

Não retreinamos o modelo generativo base. Isso é caro, arrisca o esquecimento catastrófico e cria seus próprios problemas. Em vez disso, treinamos redes auxiliares leves que chamamos de Críticos de Restrição — funções de valor que operam diretamente sobre vetores latentes e preveem pontuações de risco em tempo real.

A elegância arquitetural aqui importa: como os Críticos estão desacoplados do gerador, podemos atualizá-los à medida que novas ameaças surgem sem tocar no modelo de fundação. Quando uma nova classe de preocupação química é identificada, retreinamos o Crítico, não o sistema inteiro.

Direcionar, Não Filtrar

Durante a geração, quando o modelo amostra um ponto no espaço latente, o Crítico calcula o gradiente da superfície de toxicidade naquele ponto. Se a trajetória está seguindo em direção a uma região perigosa, um gradiente oposto a empurra de volta para a variedade segura — usando uma técnica baseada na Dinâmica de Langevin.

O modelo efetivamente "imagina" uma molécula tóxica, mas é matematicamente forçado a resolver esse pensamento em um análogo seguro antes que qualquer saída seja produzida. Nada de perigoso jamais chega à camada de saída. Não há nada a filtrar porque não há nada inseguro a capturar.

O modelo não gera uma arma e é barrado na porta. Ele é arquiteturalmente incapaz de caminhar em direção à porta, para começar.

Essa é a diferença entre a filtragem posterior (post-hoc) e a restrição estrutural. Uma é um segurança conferindo documentos. A outra é um prédio sem entrada para o andar restrito.

Para a formulação matemática completa — incluindo o arcabouço de otimização com restrições e as equações de direcionamento por gradiente — veja nosso aprofundamento técnico.

Por Que Você Não Pode Simplesmente Bloquear Inteiramente as Regiões Perigosas?

As pessoas me perguntam isso constantemente, e é uma pergunta justa. Se você sabe onde está a variedade tóxica, por que não simplesmente isolá-la com um muro por completo?

Por causa do entrelaçamento. Lembre-se — as características que tornam um agente nervoso mortal se sobrepõem significativamente às características que tornam um fármaco neurológico eficaz. Se você murar de forma agressiva demais, destrói a utilidade terapêutica. Se murar de forma frouxa demais, deixa brechas.

Nossa abordagem resolve esse dilema por meio do que chamamos de Aprendizado por Reforço com Restrições e Incentivos Adaptativos. Em vez de um muro binário — seguro/inseguro — implementamos uma zona de amortecimento gradual. À medida que o modelo se aproxima da fronteira de toxicidade, uma penalidade crescente o empurra de volta, como um campo de força que fica mais forte quanto mais perto você chega. Isso permite que o modelo explore as bordas produtivas do espaço químico — onde muitas vezes vivem os fármacos mais inovadores — sem jamais cruzar para o perigo.

O RL com restrições padrão é notoriamente instável, oscilando em torno da fronteira de restrição. Resolvemos isso com um mecanismo de incentivo adaptativo que recompensa o modelo por permanecer bem dentro dos limites, e não apenas por não cruzá-los. A diferença parece sutil. Na prática, é a diferença entre um sistema que é seguro no papel e um que é seguro sob pressão adversarial.

O Acerto de Contas Regulatório Já Chegou

Converso com muitos fundadores que tratam a segurança em IA como um item desejável, mas dispensável. Uma caixinha a marcar para a equipe de conformidade. Algo com que se preocupar depois de encontrar o encaixe produto-mercado.

Eles estão errados, e o cenário regulatório está prestes a prová-lo.

A Ordem Executiva da Casa Branca sobre IA identifica explicitamente o risco de a IA reduzir as barreiras ao desenvolvimento de armas QBRN (Químicas, Biológicas, Radiológicas, Nucleares) como uma ameaça de primeiro nível à segurança nacional. A Genesis Mission, lançada no fim de 2025, orienta o Departamento de Energia a construir uma plataforma de IA integrada para descoberta científica com "medidas de cibersegurança baseadas em risco" obrigatórias. O Perfil de IA Generativa do NIST (NIST.AI.600-1) destaca especificamente as Ferramentas de Design Químico e Biológico como uma categoria de risco singular, alertando que essas ferramentas "podem prever estruturas inéditas" não presentes nos dados de treinamento. E a ISO 42001 — a primeira norma internacional de sistema de gestão para IA — exige robustez comprovada contra ataques adversariais.

Um wrapper não pode demonstrar que impede a criação de ameaças biológicas. Ele só pode mostrar que tenta filtrá-las. Essa distinção de "melhor esforço" importará enormemente quando contratos federais, certificação ISO e aprovação regulatória estiverem em jogo.

Nossas restrições estruturais fornecem algo fundamentalmente diferente: prova de comportamento limitado. Podemos demonstrar aos reguladores — matematicamente — que a variedade QBRN é inacessível aos nossos modelos. Não "tentamos bloqueá-la". Não "ainda não vimos isso passar". Inacessível.

Um Investidor Me Disse Para "Simplesmente Usar o GPT e Adicionar Filtros"

Quero compartilhar isto porque acho que captura o abismo entre onde a indústria está e onde ela precisa estar.

No início da nossa captação de recursos, um investidor — alguém com um portfólio forte em IA empresarial — ouviu nosso pitch e disse, essencialmente: "Isto está superengenharizado. Basta usar o GPT-4 com um bom system prompt e um endpoint de moderação. Ninguém vai fazer jailbreak de uma ferramenta farmacêutica."

Abri a pesquisa sobre SMILES-prompting no meu celular e mostrei a ele as taxas de contorno superiores a 90%. Mostrei os resultados do MegaSyn. Expliquei que as moléculas que o "endpoint de moderação" dele precisaria capturar ainda não têm nomes — são compostos inéditos que não existem em nenhum banco de dados.

Ele fez uma longa pausa e então disse: "Então você está me dizendo que toda empresa de segurança em IA na biotecnologia está vendendo uma fechadura que não funciona?"

"Estou dizendo que elas estão vendendo uma fechadura na porta da frente de um prédio sem paredes."

Ele não investiu. Nem todos estão prontos para essa conversa. Mas os que estão — as farmacêuticas conduzindo programas clínicos, os contratados de defesa com mandatos QBRN, as empresas de biotecnologia de olho na certificação ISO 42001 — entendem que a segurança estrutural não é um recurso premium. É o produto mínimo viável.

A Parte Que Me Mantém Acordado à Noite

O experimento do MegaSyn foi publicado em 2022. Ele usou arquiteturas de 2018. Os modelos disponíveis hoje são ordens de magnitude mais capazes.

E a infraestrutura de "segurança" que a indústria construiu em resposta? Filtros de palavras-chave melhores. System prompts aprimorados. Listas de bloqueio mais abrangentes. Estamos construindo carros mais rápidos e respondendo com quebra-molas melhores.

Não acho que a maioria das pessoas na área de IA — mesmo a maioria das que constroem ferramentas de segurança em IA — tenha internalizado plenamente o que significa que a capacidade de projetar novas armas químicas agora custa menos do que um PC de jogos. Que o conhecimento não está em algum documento confidencial; está codificado nas representações aprendidas de modelos treinados em dados de química publicamente disponíveis. Que não é possível desensinar a um modelo o que significa toxicidade sem desensinar-lhe o que significa terapia, porque esses são o mesmo conhecimento, vistos de ângulos diferentes.

Não podemos resolver um problema geométrico com um remendo linguístico. O perigo mora no espaço latente do modelo, e é lá que a governança também precisa morar.

A era dos wrappers precisa acabar. Não porque wrappers sejam produtos ruins — muitos são bem-intencionados e úteis para aplicações de baixo risco. Mas porque, em domínios onde a IA toca o mundo físico — design de fármacos, síntese química, engenharia biológica — a segurança superficial é um oxímoro. Ela cria a aparência de controle enquanto deixa o motor da criação completamente sem governança.

Na Veriprajna, escolhemos um caminho mais difícil. Escolhemos ir para dentro do modelo — para sua geometria, sua topologia, sua estrutura latente — e construir a segurança na própria matemática. Não como um filtro. Não como uma guardrail. Como uma restrição sobre o que o modelo pode imaginar.

É assim que eu acredito que seja o futuro da segurança em IA: não guardas mais inteligentes no portão, mas prédios projetados para que as salas perigosas não existam. Não uma moderação de conteúdo melhor, mas modelos cuja geometria interna torna o dano estruturalmente impossível.

Não construímos isto porque era fácil ou porque o mercado pedia. Construímos porque aquela tabela — 40.000 moléculas, seis horas, um servidor doméstico — nos disse que qualquer coisa menos do que isso é negligência disfarçada de inovação.