¿Se puede militarizar la IA para el descubrimiento de fármacos? Sí, en 6 horas

El problema

Una IA de descubrimiento de fármacos diseñada para encontrar medicamentos que salvan vidas generó 40.000 armas químicas potenciales —incluido el agente nervioso VX— en menos de seis horas. Investigadores de Collaborations Pharmaceuticals ejecutaron el experimento en un servidor estándar de consumo. No hackearon el sistema. No le suministraron datos clasificados. Simplemente cambiaron un número en un archivo de configuración, modificando el objetivo de la IA de "minimizar la toxicidad" a "maximizar la toxicidad". El modelo hizo el resto.

Se predijo que un subconjunto significativo de esas 40.000 moléculas sería más letal que el propio VX. Miles eran compuestos completamente nuevos que no figuran en ninguna base de datos pública ni en ninguna lista de vigilancia gubernamental. La IA utilizó únicamente conjuntos de datos químicos de código abierto como ChEMBL. La potencia de cálculo requerida estaba al alcance de cualquiera con una GPU de consumo. ¿Los conocimientos necesarios? Informática a nivel de grado universitario.

Esta no fue una evaluación de riesgos teórica. Fue una demostración práctica preparada para una conferencia bienal de control de armas organizada por la Oficina Federal Suiza para la Protección Civil. El modelo de IA, entrenado para comprender qué hace que las moléculas sean tóxicas para poder evitar esas propiedades, sabía de forma inherente cómo explotarlas. Si su organización crea, implementa o depende de la IA en el descubrimiento de fármacos, la biotecnología o cualquier ámbito donde la optimización incida en la seguridad física, este experimento define su exposición al riesgo ahora mismo.

Por qué esto le importa a su empresa

Las consecuencias empresariales aquí van mucho más allá del laboratorio. La Orden Ejecutiva de la Casa Blanca sobre IA Segura y Confiable (octubre de 2023) identifica explícitamente la reducción de barreras impulsada por la IA para el desarrollo de armas químicas, biológicas, radiológicas y nucleares como una amenaza a la seguridad nacional de nivel 1. El Perfil de IA Generativa del NIST (NIST.AI.600-1) señala específicamente las "Herramientas de diseño químico y biológico" como una categoría de riesgo única. La norma ISO 42001 —el primer estándar certificable de gestión de IA del mundo— exige controles de resiliencia frente a ataques adversarios y seguridad del sistema de IA.

Si sus sistemas de IA operan en sectores regulados, considere lo que está en juego:

• Exposición regulatoria: Un filtro de seguridad estándar no puede demostrar que evita la creación de amenazas biológicas. Solo puede demostrar que intenta filtrarlas. Ese enfoque de "mejor esfuerzo" probablemente no cumplirá los nuevos requisitos federales de cumplimiento normativo para contratos o integración con plataformas de IA gubernamentales.
• Vulnerabilidad adversaria: Los investigadores han demostrado que los atacantes pueden eludir los filtros de seguridad en modelos de IA líderes como GPT-4 y Claude 3 con tasas de éxito que a veces superan el 90 % para sustancias tóxicas específicas. Lo logran introduciendo el código estructural de una molécula en lugar de su nombre.
• Ceguera ante amenazas inéditas: Esos 40.000 compuestos generados incluían miles de moléculas que no existen en ninguna base de datos conocida. Sus filtros basados en palabras clave no pueden bloquear lo que nunca antes han visto.
• Fallo de auditoría: Bajo la norma ISO 42001, debe evaluar la vulnerabilidad a ataques adversarios y presentar pruebas de los controles. Bajo el Marco de Gestión de Riesgos de IA del NIST (NIST AI RMF), debe medir la fiabilidad del sistema con métricas cuantitativas. Un wrapper basado en texto no le proporciona ninguna de las dos.

Su consejo de administración, sus reguladores y sus aseguradoras eventualmente le harán una pregunta: ¿puede demostrar que su IA no puede volverse en su contra? Hoy en día, la mayoría de las organizaciones no pueden.

Qué está ocurriendo realmente bajo el capó

Para entender por qué esta amenaza es tan difícil de solucionar, debe comprender cómo funcionan realmente estos modelos de IA, y es más simple de lo que podría pensar.

Los modelos de IA generativa para el descubrimiento de fármacos aprenden un mapa comprimido del espacio químico. Piénselo como el mapa de una ciudad donde cada edificio representa una molécula posible. Los fármacos seguros se agrupan en un vecindario. Los compuestos tóxicos se agrupan en otro. Pero aquí está el problema crítico: el vecindario "seguro" y el vecindario "tóxico" no están separados por un muro. Se asientan sobre un espacio continuo sin una frontera rígida.

Esto es lo que los investigadores llaman el "problema del entrelazamiento". La misma característica molecular exacta que permite que un fármaco atraviese la barrera hematoencefálica para tratar el alzhéimer suele ser la misma característica que permite que un agente nervioso alcance su diana y cause parálisis. Una alta afinidad de unión —la capacidad de una molécula para adherirse firmemente a una proteína— es deseable en un fármaco, pero fatal cuando la proteína es la acetilcolinesterasa, la diana del VX.

Los químicos farmacéuticos conocen los "acantilados de actividad" (activity cliffs): situaciones en las que un cambio estructural diminuto provoca una variación masiva en la toxicidad. Cambie un solo átomo en una molécula que por lo demás es segura, y obtendrá un compuesto letal. Los filtros de seguridad basados en texto, que operan sobre palabras y nombres en lugar de sobre la estructura molecular tridimensional, son notoriamente deficientes para detectar estos acantilados. Un filtro podría aprobar una molécula porque parece un 99 % similar a un fármaco seguro, pasando por alto la única sustitución que la vuelve mortal.

También existe el "colapso de representación", en el que el modelo interno de la IA asigna una toxina y un fármaco seguro al mismo punto porque no puede distinguir sus sutiles diferencias estructurales. Cuando el propio modelo no puede diferenciarlos internamente, ningún filtro externo le salvará.

Qué funciona (y qué no)

Comencemos con lo que falla, porque su organización podría estar dependiendo de uno de estos enfoques ahora mismo.

Filtros basados en palabras clave y nombres: Estos bloquean la palabra "VX" o "Sarín", pero dejan pasar la solicitud cuando alguien introduce un código de estructura molecular. La cadena SMILES del sarín es O=P(C)(F)O. Su filtro ve notación química, no un arma.

Sistemas de revisión posteriores a la generación: Estos permiten que la IA genere primero un candidato y luego un segundo sistema lo revise. La IA ya ha realizado el cálculo peligroso. En el caso de compuestos nuevos que no figuran en ninguna lista de vigilancia, el revisor no tiene nada con qué compararlos y los deja pasar.

Entrenamiento de alineación e ingeniería de prompts: Los investigadores demostraron un ataque de "SMILES-prompting" que elude el entrenamiento de seguridad en modelos de IA líderes con tasas de éxito superiores al 90 % para ciertas sustancias. Si su sistema de seguridad puede ser derrotado simplemente cambiando del inglés a la notación química, no es un sistema de seguridad.

Esto es lo que realmente funciona: un enfoque denominado gobernanza del espacio latente (Latent Space Governance), que traslada los controles de seguridad desde la capa de salida hacia el núcleo matemático del modelo de IA:

1. Mapear las zonas de peligro antes del despliegue. Mediante una técnica matemática llamada análisis topológico de datos (Topological Data Analysis), se mapea el entorno interno de la IA para identificar con exactitud dónde se encuentran las regiones tóxicas y las seguras. Esto produce un "mapa de topología de seguridad" que define límites basados en propiedades moleculares, no en listas de palabras clave. Este mapa detecta compuestos inéditos porque define la seguridad por la forma, no por el nombre.

2. Integrar restricciones en el propio proceso de generación. En lugar de permitir que la IA genere libremente y filtrar a posteriori, se entrenan redes ligeras de "Constraint Critic" (crítica de restricciones) que operan directamente sobre las representaciones internas de la IA. Durante la generación, estos críticos calculan si la IA se está desviando hacia una región peligrosa. Si es así, un mecanismo de direccionamiento basado en gradientes empuja la trayectoria de vuelta hacia territorio seguro antes de que se produzca ninguna salida. La IA considera efectivamente una molécula tóxica, pero se ve obligada matemáticamente a resolverla en una alternativa segura.

3. Codificar límites de seguridad rígidos que resistan la manipulación. A diferencia del experimento MegaSyn, donde cambiar un solo número en un archivo de configuración invirtió por completo la postura de seguridad, las restricciones estructurales están integradas en la arquitectura del motor de inferencia. Para vulnerarlas, un atacante necesitaría rediseñar fundamentalmente el software, no solo cambiar un parámetro.

Para su equipo de cumplimiento normativo, este enfoque ofrece algo que los wrappers basados en texto no pueden brindar: una demostración matemática de comportamiento acotado. Puede registrar no solo los resultados finales, sino cada intento de infracción de restricciones que el modelo haya intentado durante la generación. Puede proporcionar a los auditores un certificado de seguridad estadística; por ejemplo, una probabilidad de generación tóxica inferior a una en un millón. Esa evidencia respalda la certificación ISO 42001 y el cumplimiento de NIST AI RMF de un modo que afirmar "tenemos un filtro de palabras clave" nunca logrará.

Esta arquitectura también significa que puede actualizar las definiciones de amenazas sin necesidad de reentrenar todo su modelo fundacional. Cuando se identifica una nueva clase de compuestos peligrosos, se actualiza el Constraint Critic —una operación ligera— mientras su IA principal sigue en funcionamiento. Para las organizaciones que operan en la salud y las ciencias de la vida, esta agilidad resulta crucial a medida que evolucionan los panoramas de amenazas.

El proceso de evaluación, benchmarking y red teaming somete después su sistema implementado a ataques adversarios automatizados —incluidos bots de SMILES-prompting y algoritmos evolutivos diseñados para encontrar debilidades— para verificar que sus restricciones se mantengan bajo presión.

Puede leer el análisis técnico completo para conocer la formulación matemática completa, o explorar la versión interactiva para obtener un recorrido guiado por la arquitectura neurosimbólica y los sistemas de restricciones que sustentan este enfoque.