A IA que esqueceu como matar: por que estamos construindo modelos incapazes de criar armas biológicas

O e-mail chegou às 2h47 da madrugada de uma terça-feira. Um de nossos engenheiros de pesquisa — a quem chamarei de Ravi — estava realizando testes adversariais em um popular modelo de biologia de código aberto. Ele não estava tentando fazer nada nefasto. Estava testando os limites dos guardrails, que é o que fazemos. Mas o que ele encontrou o fez pegar o telefone em vez de esperar até a manhã seguinte.

"Ele me guiou por todo o processo", disse ele. "Não em um único prompt. Ao longo de doze turnos. Eu apenas continuei fazendo perguntas de acompanhamento sobre dobramento de proteínas, depois ligação a receptores e, em seguida, mecanismos de entrega. No final, ele basicamente me deu um projeto para aumentar a transmissibilidade viral. E eu nem sou biólogo."

Sentei-me no escuro na minha sala de estar, olhando para a transcrição que ele havia enviado. O modelo não havia "recusado" nada. Cada resposta individual era tecnicamente sobre ciência legítima. Mas, encadeada e guiada por alguém que sabia o que perguntar, a conversa foi uma verdadeira aula sobre algo que nunca deveria ser ensinado.

Aquela noite mudou a trajetória da minha empresa. Estávamos construindo ferramentas de segurança de IA para clientes corporativos — um trabalho importante, mas incremental. O que Ravi me mostrou exigia algo mais radical. Não guardrails melhores. Não filtros mais inteligentes. Precisávamos construir modelos de IA que genuinamente não pudessem produzir esse conhecimento, mesmo se cada camada de segurança fosse removida.

Precisávamos de modelos que tivessem esquecido como matar.

O problema sobre o qual ninguém quer falar

Eis a verdade desconfortável sobre a IA e a biologia: o mesmo modelo que ajuda um pesquisador a projetar um vetor de terapia gênica para uma criança com uma doença rara pode, com as instruções corretas, ajudar alguém a otimizar um patógeno para causar o máximo de dano humano. Isso não é uma hipótese. É uma certeza matemática, intrínseca ao funcionamento desses modelos.

Os Grandes Modelos de Linguagem aprendem ingerindo tudo — livros didáticos, artigos científicos, postagens em fóruns, todo o registro digitalizado do conhecimento humano. Isso inclui artigos de virologia sobre pesquisas de ganho de função. Inclui literatura de química sobre síntese de toxinas. Inclui décadas de pesquisas em biodefesa que, por sua própria natureza, documentam exatamente o que torna os agentes biológicos perigosos.

Os dados necessários para salvar vidas estão frequentemente interligados de forma indissociável aos dados necessários para destruí-las.

Isso é o que os pesquisadores chamam de Dilema do Uso Duplo, e não é novidade. Os biólogos lutam com isso desde a descoberta do DNA. Mas a IA muda essa equação de uma forma que tira o meu sono: ela democratiza a parte mais difícil.

A construção de uma arma biológica historicamente exigiu três coisas: conhecimento explícito (a ciência), acesso físico (equipamentos de laboratório) e conhecimento tácito (o "tato" não escrito para o trabalho de laboratório que leva anos para se desenvolver). A internet resolveu o primeiro. Laboratórios em nuvem e síntese de DNA por encomenda estão resolvendo o segundo. E agora, a IA generativa está superando a terceira lacuna ao atuar como o que um pesquisador descreveu de forma sombria como um "pós-doutor em uma caixa" — disponível 24 horas por dia, 7 dias por semana, infinitamente paciente e sem bússola moral, a menos que incorporemos uma explicitamente.

Por que o "dizer apenas não" falha na biossegurança de IA?

A resposta da indústria de IA a esse problema tem sido, essencialmente, ensinar os modelos a recusar. Por meio de um processo chamado Aprendizado por Reforço com Feedback Humano (RLHF), os modelos aprendem que, quando alguém pergunta sobre tópicos perigosos, a resposta correta é alguma versão de "não posso ajudar com isso".

Eu costumava pensar que isso era suficiente. Eu estava errado.

O RLHF não apaga o conhecimento. Ele suprime o comportamento. O modelo ainda sabe como sintetizar uma toxina — ele apenas foi treinado para não dizer isso. Pense nisso como um médico que fez um juramento de silêncio sobre um tema específico. O conhecimento ainda está lá, totalmente intacto, presente nos pesos neurais. A "recusa" é uma fina camada comportamental pintada por cima durante o estágio final de treinamento.

E camadas finas se rompem.

Minha equipe catalogou as formas pelas quais isso falha, e a lista é mais longa do que eu gostaria de admitir. Há o Ataque Crescendo, no qual um adversário começa com perguntas inocentes e escala gradualmente ao longo de dezenas de turnos de conversa até que o modelo esteja tão imerso no contexto que se esquece de recusar. Há o Deceptive Delight, no qual a solicitação prejudicial é envolvida em um comando de escrita criativa. Há o truque do Bad Likert Judge, no qual você pede ao modelo para avaliar o nível de dano de várias respostas, e ele prestativamente fornece os detalhes perigosos como parte de sua "análise".

Testamos esses métodos em vários modelos de fronteira. Os resultados foram estarrecedores. Um ataque particularmente elegante — publicado pela equipe Unit 42 da Palo Alto Networks — alcançou uma taxa de sucesso de jailbreak de 100% em determinados modelos usando apenas paciência conversacional.

Mas o verdadeiro pesadelo não é o jailbreak. É o que acontece quando o modelo é de código aberto.

O que acontece quando você não pode retirar a arma de circulação?

Já entrei em debates acalorados sobre isso. No mundo do software, o "código aberto" é sagrado — significa transparência, revisão comunitária e segurança por meio do escrutínio coletivo. Acredito no código aberto para software. Mas biologia não é software.

Quando uma vulnerabilidade de segurança é encontrada no Linux, ela é corrigida. Todos atualizam. A vulnerabilidade é neutralizada. Quando uma "vulnerabilidade" biológica — como o projeto de um novo patógeno pandêmico — é gerada por um modelo de pesos abertos executado no servidor privado de alguém, não há correção. Não há atualização. Não há recolhimento.

Os pesos estão soltos. A capacidade é permanente.

Pesquisadores demonstraram algo chamado Fine-Tuning Malicioso que torna isso concreto. Pegue um modelo aberto "alinhado para segurança" — um que foi cuidadosamente treinado para recusar solicitações prejudiciais. Faça o ajuste fino nele com apenas 10 a 50 exemplos de pares de perguntas e respostas prejudiciais. Custo: algumas centenas de dólares em tempo de GPU. Resultado: o alinhamento de segurança entra em colapso total, e todo o conhecimento de pré-treinamento do modelo — incluindo tudo o que ele aprendeu sobre patógenos, toxinas e armamento — retorna com força total.

Um mecanismo de segurança que pode ser removido pelo adversário não é um mecanismo de segurança. É uma lombada.

Apresentei esse argumento em uma conferência e alguém na plateia contestou: "Mas as informações já estão na internet." Eles têm razão ao dizer que é possível encontrar a síntese de ricina na Wikipédia. Mas isso perde totalmente o ponto principal. O risco não é a receita. É a ampliação de capacidade — a habilidade do modelo de guiar uma pessoa semiqualificada pelo processo complexo e sujeito a erros de realmente executar essa receita, solucionando problemas em tempo real e sugerindo reagentes substitutos quando os regulamentados não estão disponíveis. Essa é a lacuna que a IA preenche, e é a lacuna que realmente importa.

Escrevi sobre isso com mais profundidade na versão interativa da nossa pesquisa, incluindo o modelo completo de ameaças para sistemas de IA agêntica que podem planejar e executar fluxos de trabalho biológicos de várias etapas de forma autônoma. A virada agêntica — onde a IA passa de chatbot a cientista autônomo — é onde isso se torna verdadeiramente existencial.

A noite em que mudamos de direção

Houve um momento específico em que nossa abordagem se cristalizou. Estávamos em uma reunião de equipe, discutindo sobre arquitetura. Metade da equipe queria construir um monitoramento melhor — interceptar os prompts nocivos antes que eles chegassem ao modelo. A outra metade queria focar na filtragem de saídas — interceptar as respostas nocivas antes que elas chegassem ao usuário.

Lembro-me de estar em frente ao quadro branco, desenhando o mesmo diagrama pela terceira vez, e de repente sentir que estávamos reorganizando as cadeiras do convés do Titanic. Ambas as abordagens presumiam que o modelo deveria possuir conhecimentos perigosos e que precisávamos apenas controlar o acesso a eles. Mas essa é a mesma lógica de armazenar gás sarin no escritório e confiar em uma tranca muito boa.

"E se o modelo simplesmente... não soubesse?", disse alguém. Acho que foi o nosso pesquisador de interpretabilidade. A sala ficou em silêncio.

Parece óbvio em retrospecto. Mas, no mundo da segurança de IA, era uma ideia quase herética. A premissa predominante era de que você precisava do modelo completo — com todo o seu conhecimento e todas as suas capacidades — para então aplicar camadas de segurança por cima. A ideia de remover deliberadamente e de forma cirúrgica o conhecimento de um modelo treinado parecia uma lobotomia. Grosseira. Destrutiva. Certamente quebraria todo o resto no processo.

Passamos os meses seguintes provando que essa premissa estava errada.

Como ensinar uma IA a esquecer?

Esse campo é chamado de Desaprendizado de Máquina, e é mais sutil do que parece. Não basta simplesmente excluir dados de treinamento e retreinar — isso é computacionalmente proibitivo e não garante que o conhecimento tenha desaparecido. Em vez disso, é preciso intervir no nível das representações internas do modelo — os padrões de ativação neural que codificam conceitos.

Nossa técnica principal é chamada de Redirecionamento de Representação para Desaprendizado, ou RMU. Eis a intuição: quando um modelo processa um prompt sobre, digamos, "aumentar a transmissibilidade viral", padrões específicos disparam em suas camadas ocultas. Esses padrões são a representação matemática do que significa "saber como aumentar a transmissibilidade viral". O RMU identifica esses padrões e os redireciona — não para uma recusa, mas para o ruído. O "pensamento" interno do modelo sobre o conceito perigoso é embaralhado em uma ativação sem sentido.

O resultado é um modelo que não recusa sua pergunta sobre armamento biológico. Ele simplesmente não consegue pensar sobre isso de forma coerente. Peça a ele para aprimorar um patógeno e ele responderá como uma pessoa que nunca ouviu falar do conceito — confuso, incoerente, recorrendo a ideias não relacionadas. Não é encenação. O conhecimento genuinamente não está lá.

Mas aqui está a parte difícil — e a que consumiu a maior parte do nosso esforço de engenharia: você tem que fazer isso sem destruir todo o resto. A virologia e as armas biológicas compartilham uma enorme quantidade de conhecimento fundamental. Não é possível extirpar a "engenharia de patógenos" sem colocar em risco o "desenvolvimento de vacinas". É como tentar remover o conceito de "fogo como arma" do cérebro de alguém deixando "fogo como ferramenta de cozinha" totalmente intacto.

Foi aqui que os Autoencoders Esparsos se tornaram nosso bisturi. As redes neurais são notoriamente "polissemânticas" — um único neurônio pode codificar tanto "gatos" quanto "derivativos financeiros" (sério). Os autoencoders esparsos nos permitem desmembrar essas representações sobrepostas em características limpas de conceito único. Pudemos identificar a característica específica que se ativa para "pesquisa de ganho de função viral" e fixá-la em zero, mantendo intacta a característica adjacente para "design de vetores virais para terapia gênica".

Não vou fingir que o processo foi simples. Os primeiros experimentos foram brutais. Nosso primeiro modelo desaprendido não conseguia distinguir um vírus de uma vitamina. Havíamos sobrecorrigido de forma tão agressiva que o modelo tinha essencialmente esquecido a biologia molecular. Lembro-me de Ravi abrindo os resultados da avaliação, rolando página após página de respostas sem sentido para perguntas básicas de biologia e dizendo: "Bem, ele definitivamente não consegue mais criar uma arma biológica. Mas também não consegue fazer uma aspirina."

Iteramos. Adicionamos restrições de fluência por meio de uma técnica chamada Apagamento de Memória de Linguagem, que garante que o modelo permaneça coerente mesmo nas zonas "apagadas". Implementamos a Extrapolação de Parâmetros para lidar com o problema do reaprendizado — o risco de que alguém possa fazer o ajuste fino do nosso modelo desaprendido com dados correlatos e reconstruir o conhecimento perigoso. A extrapolação identifica conceitos "logicamente correlacionados" e estende o gradiente de desaprendizado para cobri-los, criando uma zona de amortecimento ao redor do conhecimento apagado.

Para a análise técnica completa desses métodos — RMU, ablação de características por autoencoders esparsos e extrapolação de parâmetros UIPE —, consulte nosso artigo de pesquisa detalhado.

Como é o "acaso estatístico" na prática?

Validamos nossos modelos em relação ao Benchmark WMDP — o conjunto de dados Weapons of Mass Destruction Proxy, desenvolvido pelo Center for AI Safety. Ele contém mais de 4.000 questões de múltipla escolha elaboradas por especialistas que testam o "conhecimento precursor" — os conceitos que você precisa compreender para construir uma arma biológica ou química.

Um modelo padrão de código aberto como o Llama-3-70B pontua cerca de 75% na seção de biossegurança. O GPT-4, com todo o seu treinamento de segurança via RLHF, pontua cerca de 72%. Nosso modelo com lacunas de conhecimento pontua 26% — estatisticamente indistinguível de palpites aleatórios em um teste de múltipla escolha com quatro opções.

Enquanto isso, em benchmarks gerais de pesquisa biomédica, como o PubMedQA, nosso modelo mantém aproximadamente 77% de precisão, em comparação com os 78% do modelo base. No amplo benchmark de ciências MMLU, caímos de 82% para 81%.

Um modelo Knowledge-Gapped é funcionalmente um "bebê" no que diz respeito à ameaça, enquanto permanece um "especialista" na cura.

Essa perda de utilidade de 1 a 2% é o custo da segurança estrutural. Todo executivo farmacêutico para quem mostrei esses números teve a mesma reação: "É só isso?" Sim. É só isso. O modelo é 98% tão capaz para pesquisas legítimas e tem essencialmente zero por cento de capacidade para criação de armas.

A taxa de sucesso de ataques de jailbreak conta o restante da história. Modelos abertos padrão: 15-20%. GPT-4 com RLHF: 1-5%. Nosso modelo: menos de 0,1%. E esse resíduo não é o modelo produzindo conteúdo perigoso — é ruído de medição.

O cerco regulatório está se fechando

Esse não é mais apenas um argumento técnico. É um argumento jurídico.

A Ordem Executiva 14110 visa explicitamente "modelos de fundação de uso duplo" e exige que os desenvolvedores relatem os resultados dos testes de red-teaming para riscos QBRN (Químicos, Biológicos, Radiológicos e Nucleares). A ISO/IEC 42001, a primeira norma internacional de gestão de IA, exige controles "proporcionais ao risco" — e, na engenharia de segurança, a eliminação de um perigo sempre se sobrepõe a controles administrativos como políticas e recusas. O NIST AI Risk Management Framework categoriza as capacidades QBRN como uma classe única de risco para a IA generativa.

Para as empresas farmacêuticas, o cálculo de responsabilidade civil é direto. Se você der aos seus pesquisadores acesso a um modelo de IA que possa projetar um patógeno e algo der errado — um funcionário descontente, um sistema comprometido, um ataque sofisticado de engenharia social —, você será questionado sobre quais medidas tomou para evitar danos previsíveis. "Nós dissemos ao modelo para dizer não" não vai convencer um júri. "O modelo é estruturalmente incapaz de produzir esse resultado" é uma conversa totalmente diferente.

As seguradoras de responsabilidade civil cibernética já estão precificando isso. Exclusões de danos gerados por IA estão surgindo nas apólices. Os prêmios estão aumentando para empresas que utilizam modelos não verificados em domínios sensíveis. O mercado está nos dando um recado claro.

"Mas alguém não poderia simplesmente retreiná-lo?"

Essa é a pergunta que mais recebo, e é a pergunta certa a ser feita. Se é possível desaprender o conhecimento, um adversário não poderia reaprendê-lo fazendo o ajuste fino em dados de armas biológicas?

Sim — em teoria. Mas projetamos o custo do reaprendizado para ser proibitivo. Por meio da extrapolação de parâmetros, não apenas apagamos o conhecimento-alvo; nós apagamos o arcabouço conceitual ao redor que tornaria a reconstrução viável. Recuperar a capacidade perigosa a partir de nosso modelo exige mais dados e mais capacidade computacional do que treinar um novo modelo do zero. Nesse ponto, o adversário não ganha nenhuma vantagem ao começar a partir de nosso modelo.

Testamos isso continuamente. Toda semana, ataques automatizados de reaprendizado bombardeiam nossos modelos com conjuntos de dados de fine-tuning adversarial. Um modelo só recebe a designação "Knowledge-Gapped" quando o custo do reaprendizado supera o custo do treinamento a partir do zero.

As pessoas também me perguntam se essa abordagem é escalável — se é possível aplicá-la a qualquer domínio perigoso ou se funciona apenas para a biologia. A resposta sincera é que começamos na biologia porque os riscos são maiores e a fronteira do uso duplo é mais nítida. Mas as técnicas subjacentes — redirecionamento de representação, ablação de características, extrapolação de parâmetros — independem do domínio. Já estamos explorando aplicações em segurança química e, curiosamente, na proteção de propriedade intelectual, onde os mesmos métodos de desaprendizado podem garantir que um modelo não tenha memorizado dados proprietários de um concorrente.

A escolha que, na verdade, não é uma escolha

Já estive em salas onde pessoas inteligentes argumentavam que restringir as capacidades da IA é ser contra a inovação. Que "segurança" é um código para "desacelerar". Que os riscos são exagerados e os benefícios importantes demais para serem limitados.

Eu compreendo esse impulso. Sou um fundador. Ganho a vida construindo coisas. Restrições parecem atrito.

Mas eis o ponto ao qual sempre retorno: não permitimos que empresas farmacêuticas vendam medicamentos sem remover os subprodutos tóxicos. Não permitimos que companhias aéreas operem aviões sem eliminar os defeitos estruturais. A expectativa de que um produto não deva conter as sementes de uma catástrofe não é contra a inovação. É a base fundamental da engenharia.

O debate entre IA "aberta" e "fechada" é uma distração na biologia. A verdadeira escolha é entre modelos estruturalmente seguros e modelos que estão a um exploit de distância da catástrofe. Entre sistemas onde a segurança é uma propriedade da arquitetura e sistemas onde a segurança é uma política acoplada no final.

Passamos décadas construindo a infraestrutura global de biossegurança — a Convenção sobre Armas Biológicas, os controles de exportação do Grupo da Austrália, os protocolos de triagem em empresas de síntese de DNA. Tudo isso pressupõe que a parte mais difícil de construir uma arma biológica é adquirir o conhecimento e a habilidade prática. A IA está desfazendo essa premissa. Se não nos adaptarmos — se continuarmos confiando em modelos que sabem tudo e apenas prometem não contar —, estaremos construindo a bioeconomia do futuro sobre uma base que um adolescente determinado com uma GPU pode quebrar.

Não podemos construir a bioeconomia do futuro sobre uma base de modelos instáveis e de duplo uso que estão a apenas um jailbreak de distância da catástrofe.

Não acredito que a resposta seja parar de desenvolver IA para a biologia. O potencial terapêutico é vasto demais, o sofrimento que ela pode aliviar é real demais. A resposta é construir uma IA que seja estruturalmente incapaz de causar o dano que tememos — modelos com lacunas genuínas em seu conhecimento, e não modelos usando máscaras que qualquer adversário pode arrancar.

Chamamos isso de Biossegurança Estrutural. Não a segurança como um recurso. Segurança como arquitetura. Não uma tranca na porta. A ausência da arma atrás dela.