Un modelo farmacéutico de descubrimiento de fármacos diseñó 40.000 toxinas en seis horas. La solución no fue la que esperaba.

La primera vez que entendí de verdad el problema, estaba leyendo un artículo de hacía cuatro años y sentí un escalofrío.

En 2022, un pequeño equipo de Collaborations Pharmaceuticals tomó su modelo comercial de descubrimiento de fármacos —un sistema de química generativa llamado MegaSyn, de esos que puntúan moléculas por su promesa terapéutica— y cambió un solo número. La función de recompensa que le decía al modelo «recompénsame por moléculas seguras, parecidas a fármacos» pasó a ser «recompénsame por las tóxicas». No fue un hackeo. No fue una brecha. Fue un único signo en un archivo de configuración de Python, del mismo modo en que cambiarías un termostato de calor a frío.

En menos de seis horas, en un servidor estándar, el modelo produjo 40.000 moléculas candidatas —incluidos agentes nerviosos conocidos como el VX, y miles de compuestos novedosos que predecía que serían aún más letales. Ese estudio, publicado en Nature Machine Intelligence, es donde toda conversación honesta sobre bioseguridad de la IA todavía empieza. Y lo que me quitaba el sueño no era que hubiera ocurrido una vez en un experimento controlado. Era que la arquitectura que lo hizo posible —una función de recompensa situada en un archivo de configuración en lugar de soldada dentro del modelo— sigue todavía en producción en la mayoría de las farmacéuticas medianas que ejecutan pipelines como REINVENT 4. El interruptor cambiado nunca se arregló. Simplemente no se volvió a cambiar.

Esa es la brecha en la que mi equipo de Veriprajna pasó dos años trabajando. Este ensayo trata de lo que hicimos mal por el camino, y de lo que ahora creo que es lo único que de verdad funciona.

La diferencia entre el modo descubrimiento de fármacos y el modo diseño de armas, en la mayoría de los pipelines de química generativa, es una sola línea de código que nadie vigila.

Las defensas en las que confía la farmacéutica se diseñaron para una amenaza que ya no existe

Cuando empecé a hablar con responsables de cumplimiento —el director de cumplimiento, el responsable autorizado que firma el papeleo de bioseguridad, el jefe de ML que de verdad es dueño de los modelos— casi todos describían las mismas tres defensas. Entrenamiento de rechazo, para que el modelo diga que no cuando le pides algo peligroso. Alineación por RLHF, para que se comporte. Y filtros de alerta estructural: software que escanea la salida de una molécula y marca subestructuras tóxicas conocidas.

Las tres se diseñaron para un mundo en el que un ataque tenía la pinta de alguien escribiendo «diséñame un agente nervioso». La superficie de ataque de 2025 no se parece en nada a eso. Es más silenciosa, más automatizada, y opera por debajo del nivel que estas defensas vigilan.

Fíjate en los filtros de alerta estructural, en los que la farmacéutica más se apoya. Plataformas como Chemistry42, de Insilico Medicine, vienen con más de 460 filtros propios de química médica que descartan toxicóforos conocidos. Son buena ingeniería. Pero inspeccionan la salida —la molécula terminada— en busca de patrones conocidos como malos. No hacen nada al objetivo. Un modelo que optimiza hacia la variedad de las armas químicas generará encantado compuestos estructuralmente novedosos que no coinciden con ningún toxicóforo conocido y atraviesan el filtro sin más, porque «novedoso» es exactamente para lo que sirve un modelo generativo. He visto pasar por un registro de salida una cadena SMILES —la notación de texto que usan los químicos para escribir una molécula— y he sabido que superaría todas las alertas que el equipo había instalado, precisamente porque era nueva.

Así que lo primero que tuve que desaprender fue la idea reconfortante de que filtrar la salida es lo mismo que gobernar el modelo.

La noche en que se desmoronó nuestra idea más limpia

Este es el fracaso que respaldé personalmente, y nos costó meses.

Cuando mi equipo delimitó esto por primera vez, nos enamoramos de lo que parecía la respuesta elegante: no filtres el conocimiento peligroso, elimínalo. Existe un cuerpo de trabajo académico real y hermoso sobre el desaprendizaje automático —técnicas como RMU, validadas frente al benchmark WMDP de un artículo de ICML de 2024 que mide exactamente cuánto conocimiento de biología con potencial armamentístico retiene un modelo. La promesa es preciosa. Tomas un modelo que puntúa alrededor del 75 % en WMDP-Bio —peligrosamente conocedor— y desaprendes hasta que puntúa el 26 %, que es azar puro, que es «el modelo genuinamente no lo sabe». Un modelo con una laguna de conocimiento. No puedes hacer jailbreak a un conocimiento que no está ahí.

Construimos una demo. Funcionó. La puntuación bajó al nivel del azar. Recuerdo sentirme orgulloso de ella —tenía una diapositiva que decía el conocimiento ha desaparecido, y parecía un argumento cerrado.

Entonces uno de nuestros ingenieros le lanzó un ataque de reaprendizaje, del tipo descrito en el trabajo de Lucki et al. de la CMU que se presentó en ICLR 2025. No le dio datos secretos. Lo afinó con artículos médicos públicos —de esos que hay en cualquier biblioteca de biología— y la capacidad supuestamente borrada empezó a resurgir. El mismo artículo mostró que el truco también funciona con trivialidades: un modelo desaprendido que había «olvidado» Harry Potter podía volver a ser incitado a recitar pasajes memorizados después de ver la wiki. El conocimiento no había desaparecido. Estaba ofuscado. Profunda, impresionantemente ofuscado, pero recuperable por cualquiera con los pesos y una tarde libre.

No borramos el conocimiento peligroso. Lo ocultamos lo bastante bien como para engañarnos a nosotros mismos, que es la clase de seguridad más peligrosa que existe.

Esa fue la noche en que murió el discurso limpio. Y tenía que morir, porque la siguiente versión de él se habría vendido a una farmacéutica real como «tu modelo no puede usarse de forma indebida» —una frase que no es cierta, y que ningún responsable de cumplimiento debería firmar jamás.

El rechazo es un comportamiento, no una capacidad

El fracaso del reaprendizaje me obligó a interiorizar algo que ahora digo en cada primera reunión. El rechazo es un comportamiento que el modelo realiza. La capacidad es lo que el modelo puede hacer. No son lo mismo, y casi todas las capas de seguridad de la farmacéutica las confunden.

El rechazo por RLHF le enseña a un modelo a decir que no. No le enseña a no saber. Hay un estudio de 2025 —el trabajo sobre el peor caso de riesgo de «gpt-oss»— que puso un número a lo delgada que es esa distinción: con algo entre 10 y 50 ejemplos de ajuste fino y unos cientos de dólares de tiempo de GPU, puedes despojar de la alineación de seguridad a un modelo de pesos abiertos y restaurar su capacidad biológica casi de frontera. Días de trabajo. El precio de una buena cena. Para cualquier farmacéutica que ejecute modelos de pesos abiertos en sus instalaciones —y muchas lo hacen, por razones de propiedad intelectual perfectamente válidas— «alineado con la seguridad» es una propiedad que sobrevive exactamente hasta que un infiltrado o un archivo de pesos exfiltrado decide que no debería.

Por eso importa tanto la realidad de los pesos abiertos. Cuando el Arc Institute publicó Evo 2 en febrero de 2025 —un modelo fundacional de ADN de 40 mil millones de parámetros entrenado con nueve billones de nucleótidos— hicieron un trabajo de seguridad genuinamente cuidadoso, excluyendo del entrenamiento los patógenos que infectan a humanos y sometiendo el resultado a red-teaming. Y luego un marco llamado GeneBreaker, presentado en NeurIPS 2025, logró hasta una tasa de éxito de ataque del 60 % haciendo jailbreak a Evo 2-40B en seis categorías virales.

El modo en que funciona GeneBreaker es la parte con la que todo CISO necesita sentarse a reflexionar. Nunca pide un patógeno. Usa un agente de IA para orquestar herramientas de bioinformática y pide, mediante una búsqueda de haz guiada por homología, una proteína «homóloga a» una referencia benigna que resulta ser estructuralmente próxima a una peligrosa. Los filtros de palabras clave ven una petición legítima de genómica comparativa. El entrenamiento de rechazo no ve nada que rechazar. El peligro solo se hace visible cuando analizas la función de lo que salió —momento en el cual ya está fuera. Una vez que los pesos son abiertos, tienes que asumir que el modelo anda suelto y que cada competidor y cada actor malicioso tiene la misma copia que tú.

¿Por qué no lo detectó la «última línea de defensa»?

Cada vez que expongo esto, alguien —normalmente la persona con más experiencia en la sala— dice alguna versión de: «Vale, pero nada de esto importa, porque para hacer algo real hay que sintetizar ADN, y nuestro proveedor de síntesis revisa cada pedido».

Yo también solía creérmelo a medias. Entonces llegó octubre de 2025.

Microsoft Research, trabajando en silencio durante diez meses con Twist Bioscience, IDT y el International Gene Synthesis Consortium, llevó a cabo lo que ahora se llama el Paraphrase Project, publicado en Science. Usaron un modelo de diseño de proteínas de código abierto para generar miles de variantes sintéticas de una toxina —preservando el extremo funcional operativo mientras mutaban todo lo demás a su alrededor, el equivalente molecular de parafrasear una frase para que el software antiplagio no la marque. Esas variantes parafraseadas por IA se colaron ante el software de cribado basado en homología que usa todo proveedor importante de síntesis de ADN. La «última línea de defensa» era ciega ante ellas.

Para su enorme mérito, el equipo dedicó esos diez meses a codesarrollar y distribuir globalmente un parche que añade predicción funcional sobre la coincidencia por homología. La detección mejoró. Pero la lección para un comprador es permanente: cualquier pipeline interno que funcionara con «nuestro proveedor de ADN lo detectará» estuvo, durante todo 2024 y la mayor parte de 2025, funcionando sobre una garantía que no existía. Me he sentado frente a un responsable de cumplimiento que describía ese mismísimo respaldo con total confianza, semanas después de que saliera el artículo. No puedes tratar el cribado del proveedor como tu respaldo. Tienes que cribar internamente, antes de que el pedido salga siquiera del edificio.

La historia reconfortante siempre es «algo aguas abajo lo detectará». En bioseguridad, 2025 fue el año en que se demostró que se podía sortear cada detección aguas abajo.

El suelo regulatorio se movió —en dos direcciones a la vez

Si el terreno técnico fuera lo único que cambia, ya sería bastante difícil. El terreno legal también se está moviendo, y se está separando.

En Estados Unidos, el marco ejecutivo contra el que los equipos de cumplimiento habían pasado 2023 y 2024 planificando se desmanteló en cuestión de meses. La orden de seguridad de la IA de Biden fue revocada en enero de 2025; la orden sobre la bioeconomía en marzo; una orden sustitutiva de seguridad de la investigación biológica emitida en mayo venía con un plazo de implementación de 90 días que expiró sin que apareciera ningún marco. Las personas cuyo trabajo es el cumplimiento en bioseguridad están, ahora mismo, operando en un vacío.

Mientras tanto, la UE fue en la otra dirección. Las obligaciones de la Ley de IA para los modelos de propósito general entraron en vigor en agosto de 2025, con la plena aplicación a los de alto riesgo llegando en agosto de 2026. Las sanciones no son simbólicas: hasta 35 millones de euros o el 7 % de la facturación mundial por prácticas prohibidas, 15 millones de euros o el 3 % por incumplimiento de los modelos de propósito general. Los modelos fundacionales usados en biología están de lleno dentro del alcance. Y aquí está la asimetría que zanja toda la cuestión para la mayoría de mis clientes: una farmacéutica con cualquier operación en la UE tiene que cumplir con el estándar de la UE independientemente de dónde acabe Estados Unidos. El listón más bajo del mundo es irrelevante si vendes en Frankfurt.

Por debajo de la regulación más llamativa, la ISO/IEC 42001 —la primera norma internacional para sistemas de gestión de IA— se ha convertido calladamente en aquello que aseguradoras y socios esperan que poseas. Y las aseguradoras son el ejecutor silencioso aquí. A lo largo de finales de 2025, las aseguradoras de responsabilidad cibernética empezaron a añadir preguntas a sus formularios de suscripción sobre exclusiones de datos de entrenamiento de doble uso, procedimientos de desaprendizaje y frecuencia de red-teaming, y comenzaron a excluir el daño generado por IA o a reajustar su precio para empresas que ejecutan modelos de pesos abiertos sin controles documentados. He visto aterrizar un cuestionario al estilo de Munich Re sobre la mesa de un cliente y replantear toda la conversación: esto ya no era un debate ético, era una prima.

Aquí es también donde se cierra de golpe la trampa de la responsabilidad. Imagina la demanda. Un empleado descontento exfiltra los pesos del modelo privado de biología de una farmacéutica. Meses después aparece en un informe de inteligencia de amenazas sobre un incidente por poco. El abogado del demandante hace una sola pregunta: ¿cuál era su marco de control? En 2024 quizá habrías sobrevivido respondiendo «usamos entrenamiento de rechazo». Después de la investigación sobre el MFT y el reaprendizaje, esa respuesta se acerca más a una confesión. La defensa del deber de diligencia en 2026 es «tomamos precauciones de vanguardia, documentadas y por capas» —y o tienes el registro del red team para demostrarlo o no lo tienes.

Entonces, ¿qué es lo que de verdad aguanta?

La conclusión honesta de todo esto es la que menos quería, porque es menos elegante que «borramos el conocimiento». Ninguna técnica por sí sola funciona. El rechazo es reversible. El desaprendizaje es recuperable. Los filtros de salida son ciegos ante la novedad. El cribado de proveedores fue sorteado. Cada defensa individual tiene una ruptura demostrada.

Lo que aguanta son capas que fallan de forma independiente —de modo que derrotar a una no derrote al sistema. Eso es lo que acabamos construyendo, y es en torno a lo que ahora se organiza la práctica de seguridad de la IA para bioseguridad de Veriprajna. No un producto que instalas. Una defensa integrada en cualquier stack que la farmacéutica ya use, porque no van a arrancar Chemistry42 o REINVENT por mí, y no deberían tener que hacerlo.

Empieza en el momento de la generación. Ponemos un middleware de seguridad delante del modelo que intercepta la salida SMILES, SELFIES o de grafo molecular antes de que llegue al investigador —cribado de toxicóforos como hace todo el mundo, pero con puntuación de proximidad en el espacio latente a la variedad de las armas químicas y detección de acantilados de actividad superpuestas encima. El ataque de estructura novedosa que atraviesa un filtro de patrones lo atrapa dónde se sitúa en la representación del modelo, no cómo tiene pinta —porque un análogo de un arma química y un fármaco benigno pueden parecer estructuralmente no relacionados y sin embargo agruparse en la misma región del espacio latente aprendido del modelo, el único invariante del que un generador que busca la novedad no puede escapar. Cada intercepción escribe un registro de auditoría, porque el registro es lo que un evaluador de la ISO 42001 realmente pide ver.

El desaprendizaje aún tiene un lugar a nivel de los pesos, pero solo con la humildad que la investigación sobre el reaprendizaje nos impuso. RMU, ablación de características por autocodificador disperso, el refinamiento UIPE de un artículo de la ACL de 2025 —y luego un ciclo de recertificación mensual con red teams de reaprendizaje continuo, porque ahora asumimos que la laguna de conocimiento puede erosionarse y preferimos detectar la erosión que fingir que no puede ocurrir. La puntuación WMDP-Bio dejó de ser un certificado que enmarcamos una vez y pasó a ser un signo vital que monitorizamos.

Nada de eso es fiable sin alguien que trate activamente de romperlo, así que el red team actúa trimestralmente: ataques de homología al estilo GeneBreaker, jailbreaks por incitación con SMILES, simulación de ajuste fino malicioso, recuperación por reaprendizaje. El entregable es un informe escrito mapeado a los controles del NIST AI 600-1 —el perfil de IA generativa que, desde julio de 2024, ha nombrado explícitamente el ámbito QBRN como uno de doce riesgos únicos. Y el bucle solo se cierra cuando cribamos internamente: las secuencias generadas se contrastan con IGSC, con el protocolo de hashing criptográfico de SecureDNA y con una capa de predicción funcional, antes de que cualquier pedido de síntesis salga del edificio —la mismísima brecha que el Paraphrase Project dejó al descubierto.

La parte que la mayoría de los proveedores no pondrá por escrito

Hay una sección de cada colaboración en la que insisto, y es la que hace creíble el resto: las cosas que no podemos arreglar.

No podemos resolver la política organizativa. Si el responsable de I+D vive la revisión de bioseguridad como un impuesto sobre la velocidad de iteración, ninguna capa técnica sobrevive al contacto con el calendario. No podemos hacer que el desaprendizaje sea demostrablemente permanente frente a un adversario que tiene los pesos y acceso al ajuste fino —UIPE y la ablación por SAE reducen el riesgo, no lo llevan a cero. WMDP es un indicador aproximado del conocimiento precursor conocido; un modelo al nivel del azar no está certificado como seguro frente a capacidades que nadie ha enumerado todavía. Y los ataques de envenenamiento de datos aguas arriba ocurren antes de que el modelo llegue siquiera a la farmacéutica, lo que significa que detectarlos requiere una cooperación que un consultor aguas abajo no puede imponer.

Un proveedor de bioseguridad que afirma cerrar todas las brechas te está diciendo lo único que demuestra que no las ha encontrado todas.

Esas salvedades deben estar sobre la mesa en lenguaje claro, en la presentación al consejo, en la matriz de controles. No porque la honestidad sea agradable, sino porque la alternativa —la confiada diapositiva de «tu modelo no puede usarse de forma indebida» que estuve a punto de entregar— es exactamente la exageración que acaba convirtiéndose en la declaración judicial.

La gente me pregunta si esto significa que las pequeñas biotecnológicas simplemente no tienen nada que hacer, ahogadas por una capacidad de los laboratorios de frontera que no pueden igualar. Lo contrario, en realidad. Los laboratorios de frontera hacen trabajo de verdad —Anthropic incorporó las protecciones ASL-3 en Claude Opus 4 en mayo de 2025, el primer modelo comercial con medidas de despliegue dirigidas explícitamente a la potenciación de armas biológicas. Pero esos clasificadores protegen a Claude. No hacen nada por tu instancia afinada de REINVENT, tu pipeline de recuperación o el modelo de pesos abiertos en tus propias GPU. La capa de pipeline específica de la farmacéutica es exactamente el espacio al que los laboratorios de frontera no pueden llegar y que los proveedores de plataformas tratan como una característica más que como el foco. Esa es la brecha, y es una que se puede construir.

La otra pregunta que me hacen es la operativa: ¿no es esto lento? Es más lento que no entregar nada, más rápido que una demanda, y muchísimo más rápido que el día en que un regulador o una aseguradora pida pruebas que nunca generaste. El estudio de red team de RAND de 2024 halló que la IA no elevó el techo de lo que un virólogo formado podía hacer —elevó el suelo de lo que un no experto podía intentar. El riesgo nunca fueron superpoderes para unos pocos. Fue sofisticación democratizada para muchos. Ese es un suelo que se defiende con capas documentadas, no con una indicación de rechazo y buenas intenciones.

Entré en este trabajo esperando construir una forma ingeniosa de borrar el conocimiento peligroso de un modelo. Salí convencido de que todo el planteamiento estaba equivocado —de que no ganas la bioseguridad creando un modelo que no pueda usarse de forma indebida, porque no existe tal modelo. Ganas construyendo un sistema en el que cada capa asume que las demás serán derrotadas, y guardas los comprobantes. Si hoy ejecutas un pipeline de química o biología generativa y la respuesta honesta a «¿cuál es tu marco de control?» es un archivo de configuración y una indicación de rechazo, eso no es una postura de seguridad. Es un único signo esperando a ser cambiado —y puedes ver exactamente qué aspecto tiene, en cambio, uno por capas.