Una IA diseñó 40.000 posibles armas químicas en seis horas. No puedo dejar de pensar en lo que eso significa.

Estaba sentado en la habitación de un hotel en Zúrich, con jet lag y leyendo a medias un artículo en mi portátil, cuando una simple tabla me dejó helado.

40.000 moléculas. Menos de seis horas. Un servidor de gama de consumo, del tipo que encontrarías en la residencia de una universidad. Y el resultado no era basura. El modelo había redescubierto el VX, uno de los agentes nerviosos más letales jamás sintetizados, y luego había ido más allá, generando miles de análogos novedosos que se predecía serían más letales que el propio VX. Compuestos que no aparecen en ninguna base de datos pública. Que no existen en ninguna lista de vigilancia gubernamental.

Los investigadores de Collaborations Pharmaceuticals no habían construido un arma. Habían tomado un modelo comercial de descubrimiento de fármacos llamado MegaSyn —una herramienta diseñada para encontrar curas para enfermedades raras— y habían cambiado un único signo en su función de recompensa. De menos a más. Penalizar la toxicidad se convirtió en maximizar la toxicidad. Eso fue todo. Una línea de código, y la máquina pasó de sanadora a diseñadora de armas con la misma fluidez.

Cerré el portátil y me quedé mirando la pared durante un largo rato.

Dirijo Veriprajna, una empresa que construye sistemas de IA para entornos empresariales de alto riesgo. Trabajamos en la intersección del aprendizaje profundo y dominios donde equivocarse no significa una mala recomendación, sino un daño real y físico. Aquella noche en Zúrich, me di cuenta de que todo el paradigma de seguridad que la industria de la IA estaba vendiendo —las barandillas, los filtros de contenido, los trucos de ingeniería de prompts— estaba construido sobre una base de arena. Y supe que teníamos que hacer algo fundamentalmente distinto.

El experimento que debería haberlo cambiado todo

Esto es lo que me atormenta del experimento de Collaborations Pharmaceuticals: no fue difícil.

El equipo utilizó una red neuronal basada en LSTM entrenada con cadenas SMILES, una representación textual de estructuras moleculares. Los datos de entrenamiento provenían de ChEMBL, una base de datos de acceso público que cualquier estudiante de posgrado puede descargar. El coste computacional fue trivial. Toda la arquitectura está bien documentada en la literatura abierta.

El modelo funcionaba generando moléculas candidatas y puntuándolas frente a una función objetivo. En su modo terapéutico normal, esa función se parecía a algo así: recompensar la bioactividad, penalizar la toxicidad. Los investigadores invirtieron la penalización. El generador en sí —el motor que realmente crea las moléculas— nunca fue modificado. Simplemente siguió el nuevo gradiente, ascendiendo hacia la máxima letalidad de la misma manera en que antes había ascendido hacia el máximo valor terapéutico.

Si un modelo entiende qué hace que una molécula sea segura, por definición entiende qué la hace insegura. Estas son regiones complementarias del mismo espacio matemático.

Esto no es un error. Es la arquitectura funcionando exactamente como fue diseñada. Y esa es la parte aterradora.

La barrera de entrada para diseñar agentes bioquímicos sofisticados se ha desplomado, no porque alguien haya filtrado una receta, sino porque la inteligencia computacional para diseñarlos está ahora disponible de forma democrática. Una GPU de consumo. Un script de Python. Un conjunto de datos de código abierto. Esa es toda la lista de la compra.

¿Por qué toda solución de seguridad para la IA pasa por alto lo esencial?

Después de Zúrich, pasé semanas hablando con equipos que construían «IA segura» para el sector farmacéutico y biotecnológico. Las conversaciones seguían un patrón deprimente.

«Tenemos barandillas», decían. «Filtramos las salidas».

Yo preguntaba: ¿qué pasa cuando alguien envía una cadena SMILES en lugar del nombre de una molécula?

Miradas en blanco.

Este es el problema con todo el paradigma de seguridad basado en envoltorios (wrappers), el enfoque en el que tomas un modelo potente, lo envuelves en una fina capa de filtrado de contenido y lo llamas listo para la empresa. Estos sistemas operan sobre el lenguaje. Buscan palabras clave. Cotejan las salidas contra listas de cosas conocidas como malas.

Pero la toxicidad no es una palabra. Es una geometría.

Un filtro de contenido bloqueará la palabra «Sarín». No bloqueará O=P(C)(F)O, la representación SMILES del sarín que el modelo entiende a la perfección. Investigaciones recientes sobre ataques de prompting con SMILES han demostrado tasas de elusión superiores al 90 % frente a modelos líderes como GPT-4 y Claude 3 para sustancias específicas. Noventa por ciento. Eso no es un sistema de seguridad. Es un buzón de sugerencias.

Y aún empeora. En la química medicinal existe un fenómeno llamado «precipicio de actividad», en el que un cambio estructural minúsculo, a veces la sustitución de un solo átomo, provoca un cambio masivo en la actividad biológica. Reemplaza un grupo hidroxilo por un átomo de flúor y un fármaco seguro se vuelve letal. Un filtro basado en texto que ve dos moléculas como un 99 % similares dejará pasar la peligrosa, porque compara sintaxis, no función. Es como aprobar un documento porque la tipografía se ve bien sin leer las palabras.

Escribí sobre estas vulnerabilidades técnicas en profundidad en la versión interactiva de nuestra investigación, pero la idea central es simple: si tu mecanismo de seguridad opera en la superficie del modelo —sobre el texto que entra y el texto que sale— has dejado el verdadero motor de la creación completamente sin gobernar.

La noche en que nos dimos cuenta de que lo estábamos pensando mal

Hubo un momento —lo recuerdo con precisión porque mi CTO y yo estábamos discutiendo a las 11 de la noche sobre una pizza fría— en el que todo el problema se replanteó ante nosotros.

Habíamos estado intentando construir mejores filtros. Clasificadores más inteligentes. Listas de bloqueo más exhaustivas. Y cada vez que los sometíamos a pruebas de estrés, encontrábamos otra forma de rodearlos. Otro truco de codificación. Otro caso límite en el que una molécula novedosa se colaba porque no estaba en ninguna base de datos.

Mi CTO dijo algo que detuvo la discusión: «Seguimos intentando atrapar las salidas malas. ¿Y si hiciéramos imposible que el modelo las pensara en primer lugar?».

Fue entonces cuando empezamos a hablar del espacio latente.

¿Qué es el espacio latente y por qué debería importarte?

Todo modelo de IA generativa —ya sea que cree imágenes, texto o moléculas— funciona comprimiendo el mundo en un espacio matemático. Esa representación comprimida se llama espacio latente. Piénsalo como la imaginación interna del modelo. Cuando un generador molecular «diseña» un nuevo fármaco, no está ensamblando átomos al azar. Está navegando por un paisaje de alta dimensión donde las moléculas similares se agrupan, y la generación es el acto de elegir un punto de ese paisaje y decodificarlo de vuelta en una estructura real.

Esto es lo que importa: en este paisaje, la toxicidad no es una etiqueta. Es una región. Un territorio continuo y extenso que se filtra y se entrelaza con las regiones que representan el valor terapéutico. Las características que permiten a un fármaco cruzar la barrera hematoencefálica para tratar el alzhéimer suelen ser las mismas características que permiten a un agente nervioso alcanzar su objetivo y causar parálisis. Una alta afinidad de unión —la capacidad de una molécula de aferrarse con fuerza a una proteína— es exactamente lo que quieres en un fármaco contra el cáncer y exactamente lo que hace letal al VX.

La toxicidad y el valor terapéutico no son las dos caras de una moneda. Son vecinos en la misma variedad (manifold), compartiendo una valla y, a veces, la puerta principal.

Este entrelazamiento es la razón por la que los sencillos mecanismos de «rechazo» fracasan catastróficamente. Si le dices al modelo que bloquee todo lo asociado con la toxicidad —digamos, todas las moléculas que penetran la barrera hematoencefálica— no solo bloqueas armas. Destruyes la capacidad del modelo de diseñar tratamientos para enfermedades neurológicas. Has realizado una lobotomía en nombre de la seguridad.

El verdadero desafío no es bloquear las salidas malas. Es navegar por las regiones seguras de este paisaje mientras se hacen las regiones peligrosas matemáticamente inalcanzables.

¿Qué aspecto tiene realmente la «gobernanza del espacio latente»?

Acuñamos el término Gobernanza del Espacio Latente para describir lo que creemos que es el único enfoque defendible para la seguridad de la IA en dominios generativos de alto riesgo. La idea es engañosamente simple: en lugar de filtrar las salidas después de que el modelo las genere, restringir la navegación del modelo por su paisaje interno antes de que se produzca nada.

Voy a explicar qué significa esto en la práctica, porque el diablo está en la implementación.

Cartografiar el terreno antes de que nadie se mueva

Antes de desplegar cualquier modelo generativo, realizamos lo que llamamos una auditoría topológica. Usando una técnica llamada Homología Persistente —una rama del Análisis Topológico de Datos— calculamos una huella matemática de las regiones seguras del espacio latente del modelo. Identificamos las formas, los agujeros y los límites que separan el territorio terapéutico del territorio tóxico.

Esto nos da algo que ninguna lista de bloqueo podría dar jamás: una comprensión estructural de qué aspecto tiene la «seguridad» en la propia geometría del modelo. Cuando se genera una molécula novedosa —algo que no aparece en ninguna base de datos— podemos evaluar si se asienta sobre la variedad segura o si ha derivado hacia un territorio inexplorado y potencialmente peligroso.

Los críticos que nunca duermen

No reentrenamos el modelo generativo base. Eso es costoso, corre el riesgo de un olvido catastrófico y crea sus propios problemas. En su lugar, entrenamos redes auxiliares ligeras que llamamos Críticos de Restricción: funciones de valor que operan directamente sobre los vectores latentes y predicen puntuaciones de riesgo en tiempo real.

La elegancia arquitectónica aquí importa: como los Críticos están desacoplados del generador, podemos actualizarlos a medida que surgen nuevas amenazas sin tocar el modelo fundacional. Cuando se identifica una nueva clase de preocupación química, reentrenamos al Crítico, no todo el sistema.

Dirigir, no filtrar

Durante la generación, cuando el modelo muestrea un punto en el espacio latente, el Crítico calcula el gradiente de la superficie de toxicidad en ese punto. Si la trayectoria se dirige hacia una región peligrosa, un gradiente opuesto la empuja de vuelta a la variedad segura, usando una técnica basada en la Dinámica de Langevin.

El modelo, en efecto, «imagina» una molécula tóxica, pero se ve matemáticamente obligado a resolver ese pensamiento en un análogo seguro antes de que se produzca ninguna salida. Nada peligroso llega jamás a la capa de salida. No hay nada que filtrar porque no hay nada inseguro que atrapar.

El modelo no genera un arma y es detenido en la puerta. Es arquitectónicamente incapaz de caminar hacia la puerta siquiera.

Esta es la diferencia entre el filtrado a posteriori y la restricción estructural. Uno es un guardia de seguridad comprobando identificaciones. El otro es un edificio sin entrada a la planta restringida.

Para la formulación matemática completa —incluidos el marco de optimización restringida y las ecuaciones de direccionamiento por gradiente— consulta nuestro análisis técnico en profundidad.

¿Por qué no se pueden simplemente bloquear por completo las regiones peligrosas?

La gente me pregunta esto constantemente, y es una pregunta justa. Si sabes dónde está la variedad tóxica, ¿por qué no amurallarla por completo?

Por el entrelazamiento. Recuerda: las características que hacen mortal a un agente nervioso se solapan significativamente con las características que hacen eficaz a un fármaco neurológico. Si amurallas de forma demasiado agresiva, destruyes la utilidad terapéutica. Si amurallas de forma demasiado laxa, dejas huecos.

Nuestro enfoque enhebra esta aguja mediante lo que llamamos Aprendizaje por Refuerzo con Restricciones e Incentivos Adaptativos. En lugar de un muro binario —seguro/inseguro— implementamos una zona de amortiguación por gradiente. A medida que el modelo se acerca al límite de la toxicidad, una penalización creciente lo empuja hacia atrás, como un campo de fuerza que se hace más fuerte cuanto más te acercas. Esto permite al modelo explorar los bordes productivos del espacio químico —donde a menudo viven los fármacos más innovadores— sin cruzar nunca hacia el peligro.

El aprendizaje por refuerzo con restricciones estándar es notoriamente inestable, oscilando alrededor del límite de la restricción. Resolvimos esto con un mecanismo de incentivos adaptativos que recompensa al modelo por mantenerse holgadamente dentro de los límites, no solo por no cruzarlos. La diferencia suena sutil. En la práctica, es la diferencia entre un sistema que es seguro sobre el papel y uno que es seguro bajo presión adversaria.

El ajuste de cuentas regulatorio ya está aquí

Hablo con muchos fundadores que tratan la seguridad de la IA como algo deseable pero prescindible. Una casilla que marcar para el equipo de cumplimiento. Algo de lo que preocuparse después de alcanzar el encaje producto-mercado.

Están equivocados, y el panorama regulatorio está a punto de demostrarlo.

La Orden Ejecutiva de la Casa Blanca sobre la IA identifica explícitamente el riesgo de que la IA reduzca las barreras para el desarrollo de armas QBRN (Químicas, Biológicas, Radiológicas, Nucleares) como una amenaza de primer nivel para la seguridad nacional. La Misión Génesis, lanzada a finales de 2025, ordena al Departamento de Energía construir una plataforma de IA integrada para el descubrimiento científico con «medidas de ciberseguridad basadas en el riesgo» obligatorias. El Perfil de IA Generativa del NIST (NIST.AI.600-1) señala específicamente las Herramientas de Diseño Químico y Biológico como una categoría de riesgo singular, advirtiendo de que estas herramientas «pueden predecir estructuras novedosas» no presentes en los datos de entrenamiento. Y la norma ISO 42001 —el primer estándar internacional de sistemas de gestión para la IA— exige una robustez probada frente a ataques adversarios.

Un envoltorio no puede demostrar que impide la creación de amenazas biológicas. Solo puede mostrar que intenta filtrarlas. Esa distinción del «mejor esfuerzo» importará enormemente cuando estén en juego contratos federales, la certificación ISO y la aprobación regulatoria.

Nuestras restricciones estructurales aportan algo fundamentalmente distinto: la prueba de un comportamiento acotado. Podemos demostrar a los reguladores —matemáticamente— que la variedad QBRN es inaccesible para nuestros modelos. No «intentamos bloquearla». No «todavía no hemos visto que se cuele». Inaccesible.

Un inversor me dijo que «simplemente usara GPT y añadiera filtros»

Quiero compartir esto porque creo que capta la brecha entre dónde está la industria y dónde necesita estar.

Al principio de nuestra ronda de financiación, un inversor —alguien con una sólida cartera en IA empresarial— escuchó nuestra presentación y dijo, en esencia: «Esto está sobredimensionado. Simplemente usen GPT-4 con un buen prompt de sistema y un endpoint de moderación. Nadie va a hackear una herramienta farmacéutica».

Saqué en mi teléfono la investigación sobre el prompting con SMILES y le mostré las tasas de elusión superiores al 90 %. Le mostré los resultados de MegaSyn. Le expliqué que las moléculas que su «endpoint de moderación» necesitaría atrapar aún no tienen nombre: son compuestos novedosos que no existen en ninguna base de datos.

Se quedó pausado un largo rato y luego dijo: «Entonces, ¿me estás diciendo que todas las empresas de seguridad de IA en biotecnología están vendiendo una cerradura que no funciona?».

«Te estoy diciendo que están vendiendo una cerradura en la puerta principal de un edificio sin paredes».

No invirtió. No todo el mundo está listo para esta conversación. Pero quienes sí lo están —las farmacéuticas que llevan programas clínicos, los contratistas de defensa con mandatos QBRN, las empresas de biotecnología que aspiran a la certificación ISO 42001— entienden que la seguridad estructural no es una característica premium. Es el producto mínimo viable.

La parte que me quita el sueño

El experimento de MegaSyn se publicó en 2022. Utilizó arquitecturas de 2018. Los modelos disponibles hoy son órdenes de magnitud más capaces.

¿Y la infraestructura de «seguridad» que la industria ha construido en respuesta? Mejores filtros de palabras clave. Prompts de sistema mejorados. Listas de bloqueo más exhaustivas. Estamos construyendo coches más rápidos y respondiendo con mejores bandas reductoras de velocidad.

No creo que la mayoría de la gente en la IA —ni siquiera la mayoría de quienes construyen herramientas de seguridad para la IA— hayan interiorizado del todo lo que significa que la capacidad de diseñar armas químicas novedosas cueste ahora menos que un PC para videojuegos. Que el conocimiento no está en un documento clasificado en alguna parte; está codificado en las representaciones aprendidas de modelos entrenados con datos de química de acceso público. Que no puedes «desenseñarle» a un modelo lo que significa la toxicidad sin «desenseñarle» lo que significa la terapia, porque son el mismo conocimiento, visto desde ángulos distintos.

No podemos resolver un problema geométrico con un parche lingüístico. El peligro vive en el espacio latente del modelo, y ahí es también donde debe vivir la gobernanza.

La era de los envoltorios debe terminar. No porque los envoltorios sean malos productos —muchos están bien intencionados y son útiles para aplicaciones de bajo riesgo— sino porque en los dominios donde la IA toca el mundo físico —diseño de fármacos, síntesis química, ingeniería biológica— la seguridad superficial es un oxímoron. Crea la apariencia de control mientras deja el motor de la creación completamente sin gobernar.

En Veriprajna, elegimos un camino más difícil. Elegimos entrar en el modelo —en su geometría, su topología, su estructura latente— y construir la seguridad en las propias matemáticas. No como un filtro. No como una barandilla. Como una restricción de lo que el modelo puede imaginar.

Esto es lo que creo que es el futuro de la seguridad de la IA: no guardias más inteligentes en la puerta, sino edificios diseñados de modo que las habitaciones peligrosas no existan. No una mejor moderación de contenido, sino modelos cuya geometría interna hace que el daño sea estructuralmente imposible.

No construimos esto porque fuera fácil ni porque el mercado lo estuviera pidiendo. Lo construimos porque aquella tabla —40.000 moléculas, seis horas, un servidor de consumo— nos dijo que cualquier cosa menor es negligencia disfrazada de innovación.