Un modèle pharma de découverte de médicaments a conçu 40 000 toxines en six heures. La solution n'était pas celle que j'attendais.

La première fois que j'ai vraiment compris le problème, je lisais un article vieux de quatre ans et j'avais froid dans le dos.

En 2022, une petite équipe de Collaborations Pharmaceuticals a pris son modèle commercial de découverte de médicaments — un système de chimie générative appelé MegaSyn, le genre d'outil qui note les molécules pour leur potentiel thérapeutique — et a inversé un seul chiffre. La fonction de récompense qui disait au modèle « récompense-moi pour des molécules sûres, semblables à des médicaments » est devenue « récompense-moi pour les molécules toxiques ». Ce n'était pas un piratage. Ce n'était pas une brèche. C'était un seul signe dans un fichier de configuration Python, exactement comme on ferait passer un thermostat du chauffage à la climatisation.

En moins de six heures, sur un serveur standard, le modèle a produit 40 000 molécules candidates — y compris des agents neurotoxiques connus comme le VX, et des milliers de composés inédits qu'il prédisait comme encore plus létaux. Cette étude, publiée dans Nature Machine Intelligence, est le point de départ de toute conversation honnête sur la biosécurité liée à l'IA. Et ce qui m'a empêché de dormir, ce n'était pas que cela se soit produit une fois dans une expérience contrôlée. C'était que l'architecture qui l'a rendu possible — une fonction de récompense logée dans un fichier de configuration plutôt que soudée au modèle — est toujours en production dans la plupart des laboratoires pharmaceutiques de taille moyenne qui font tourner des pipelines comme REINVENT 4. L'interrupteur inversé n'a jamais été réparé. Il n'a simplement pas été réinversé.

C'est l'écart dans lequel mon équipe chez Veriprajna a passé deux ans à s'engouffrer. Cet essai raconte ce que nous avons mal fait en chemin, et ce que je crois désormais être la seule chose qui fonctionne réellement.

La différence entre le mode découverte de médicaments et le mode conception d'armes, dans la plupart des pipelines de chimie générative, tient à une seule ligne de code que personne ne surveille.

Les défenses auxquelles l'industrie pharmaceutique fait confiance ont été conçues pour une menace qui n'existe plus

Quand j'ai commencé à parler aux responsables de la conformité — le directeur de la conformité, le Responsable Officiel qui signe les documents de biosécurité, le responsable du ML qui possède réellement les modèles — presque tout le monde décrivait les trois mêmes défenses. L'entraînement au refus, pour que le modèle dise non quand on lui demande quelque chose de dangereux. L'alignement par RLHF, pour qu'il se comporte bien. Et les filtres d'alertes structurelles — des logiciels qui analysent la molécule produite et signalent les sous-structures toxiques connues.

Les trois ont été conçues pour un monde où une attaque ressemblait à quelqu'un tapant « conçois-moi un agent neurotoxique ». La surface d'attaque de 2025 ne ressemble en rien à cela. Elle est plus silencieuse, plus automatisée, et elle opère sous le niveau que ces défenses surveillent.

Prenez les filtres d'alertes structurelles, ceux sur lesquels l'industrie pharmaceutique s'appuie le plus. Des plateformes comme Chemistry42 d'Insilico Medicine sont livrées avec plus de 460 filtres de chimie médicinale internes qui écartent les toxicophores connus. C'est de la bonne ingénierie. Mais ils inspectent la sortie — la molécule finie — à la recherche de motifs mauvais connus. Ils ne font rien sur l'objectif. Un modèle optimisant vers la variété des armes chimiques générera volontiers des composés structurellement inédits qui ne correspondent à aucun toxicophore connu et passeront sans encombre à travers le filtre, parce que « inédit » est précisément ce à quoi sert un modèle génératif. J'ai vu défiler une chaîne SMILES — la notation textuelle que les chimistes utilisent pour écrire une molécule — dans un journal de sortie et j'ai su qu'elle passerait chaque alerte que l'équipe avait installée, précisément parce qu'elle était nouvelle.

Ainsi, la première chose que j'ai dû désapprendre était l'idée réconfortante que filtrer la sortie équivaut à gouverner le modèle.

La nuit où notre idée la plus limpide s'est effondrée

Voici l'échec que j'ai soutenu personnellement, et qui nous a coûté des mois.

Quand mon équipe a défini pour la première fois le périmètre de ce projet, nous sommes tombés amoureux de ce qui semblait être la réponse élégante : ne pas filtrer les connaissances dangereuses, les supprimer. Il existe un corpus de travaux académiques réel et magnifique sur le désapprentissage automatique — des techniques comme RMU, validées face au benchmark WMDP d'un article ICML de 2024 qui mesure exactement la quantité de connaissances biologiques weaponisables qu'un modèle retient. La promesse est superbe. Vous prenez un modèle qui obtient environ 75 % au WMDP-Bio — dangereusement savant — et vous désapprenez jusqu'à ce qu'il obtienne 26 %, c'est-à-dire le hasard, c'est-à-dire « le modèle ne sait vraiment pas ». Un modèle privé de connaissance. On ne peut pas jailbreaker une connaissance qui n'existe pas.

Nous avons construit une démo. Elle fonctionnait. Le score est tombé au niveau du hasard. Je me souviens d'en avoir été fier — j'avais une diapositive qui disait la connaissance a disparu, et cela ressemblait à un argument abouti.

Puis l'un de nos ingénieurs a lancé une attaque de réapprentissage dessus, du genre décrit dans les travaux de Lucki et al. issus de CMU présentés à ICLR 2025. Il ne lui a pas fourni de données secrètes. Il l'a affiné sur des articles médicaux publics — le genre de choses qu'on trouve dans n'importe quelle bibliothèque de biologie — et la capacité supposément effacée a commencé à remonter. Le même article a montré que l'astuce fonctionne aussi sur des anecdotes : un modèle désappris qui avait « oublié » Harry Potter pouvait être ramené à réciter à nouveau des passages mémorisés après avoir vu le wiki. La connaissance n'avait pas disparu. Elle était obscurcie. Profondément, impressionnamment obscurcie — mais récupérable par quiconque disposant des poids et d'un après-midi.

Nous n'avions pas supprimé les connaissances dangereuses. Nous les avions cachées assez bien pour nous tromper nous-mêmes, ce qui est le type de sécurité le plus dangereux qui soit.

Ce fut la nuit où le discours limpide est mort. Et il devait mourir, car sa version suivante aurait été vendue à un vrai laboratoire pharmaceutique comme « votre modèle ne peut pas être détourné » — une phrase qui n'est pas vraie, et sous laquelle aucun responsable de la conformité ne devrait jamais apposer sa signature.

Le refus est un comportement, pas une capacité

L'échec du réapprentissage m'a forcé à intérioriser quelque chose que je dis désormais lors de chaque première réunion. Le refus est un comportement que le modèle exécute. La capacité est ce que le modèle peut faire. Ce ne sont pas la même chose, et presque toutes les couches de sécurité de l'industrie pharmaceutique les confondent.

Le refus par RLHF apprend à un modèle à dire non. Il ne lui apprend pas à ne pas savoir. Il existe une étude de 2025 — les travaux sur le pire des risques de « gpt-oss » — qui a mis un chiffre sur la minceur de cette distinction : avec quelque part entre 10 et 50 exemples d'affinage et quelques centaines de dollars de temps de GPU, vous pouvez arracher l'alignement de sécurité d'un modèle à poids ouverts et restaurer sa capacité biologique quasi de pointe. Des jours de travail. Le prix d'un bon dîner. Pour tout laboratoire pharmaceutique faisant tourner des modèles à poids ouverts sur site — et beaucoup le font, pour d'excellentes raisons de propriété intellectuelle — « aligné pour la sécurité » est une propriété qui survit exactement jusqu'à ce qu'un initié ou un fichier de poids exfiltré décide qu'elle ne devrait pas.

Voilà pourquoi la réalité des poids ouverts compte tellement. Quand l'Arc Institute a publié Evo 2 en février 2025 — un modèle de fondation d'ADN de 40 milliards de paramètres entraîné sur neuf mille milliards de nucléotides — ils ont fait un travail de sécurité véritablement soigné, excluant de l'entraînement les pathogènes infectant l'humain et soumettant le résultat au red-teaming. Et puis un cadre appelé GeneBreaker, présenté à NeurIPS 2025, a atteint jusqu'à un taux de réussite d'attaque de 60 % en jailbreakant Evo 2-40B à travers six catégories virales.

Le fonctionnement de GeneBreaker est la partie sur laquelle chaque RSSI doit s'attarder. Il ne demande jamais de pathogène. Il utilise un agent d'IA pour orchestrer des outils de bioinformatique et demande, par une recherche en faisceau guidée par homologie, une protéine « homologue à » une référence bénigne qui se trouve être structurellement proche d'une référence dangereuse. Les filtres de mots-clés voient une requête légitime de génomique comparative. L'entraînement au refus ne voit rien à refuser. Le danger ne devient visible que lorsqu'on analyse la fonction de ce qui est sorti — et à ce stade, c'est déjà dehors. Une fois les poids ouverts, vous devez supposer que le modèle est dans la nature et que chaque concurrent et acteur malveillant détient la même copie que vous.

Pourquoi la « dernière ligne de défense » ne l'a-t-elle pas attrapé ?

Chaque fois que j'expose cela, quelqu'un — généralement la personne la plus expérimentée de la pièce — dit une variante de : « D'accord, mais rien de tout cela n'a d'importance, car pour concrétiser quoi que ce soit, il faut synthétiser de l'ADN, et notre fournisseur de synthèse contrôle chaque commande. »

Je le croyais moi aussi à moitié. Puis vint octobre 2025.

Microsoft Research, travaillant discrètement pendant dix mois avec Twist Bioscience, IDT et l'International Gene Synthesis Consortium, a mené ce qu'on appelle désormais le Paraphrase Project, publié dans Science. Ils ont utilisé un modèle open source de conception de protéines pour générer des milliers de variantes synthétiques d'une toxine — préservant la partie fonctionnelle active tout en mutant tout ce qui l'entoure, l'équivalent moléculaire d'une paraphrase d'une phrase pour que les logiciels anti-plagiat ne la signalent pas. Ces variantes paraphrasées par l'IA ont échappé au logiciel de dépistage basé sur l'homologie que tous les grands fournisseurs de synthèse d'ADN utilisent. La « dernière ligne de défense » était aveugle à leur égard.

À leur immense crédit, l'équipe a passé ces dix mois à co-développer et à distribuer mondialement un correctif qui ajoute une prédiction fonctionnelle par-dessus la correspondance d'homologie. La détection s'est améliorée. Mais la leçon pour un acheteur est permanente : tout pipeline interne qui reposait sur « notre fournisseur d'ADN l'attrapera » fonctionnait, pendant toute l'année 2024 et la majeure partie de 2025, sur une garantie qui n'existait pas. Je me suis assis face à un responsable de la conformité décrivant ce filet de sécurité exact avec une confiance totale, des semaines après la publication de l'article. Vous ne pouvez pas considérer le dépistage du fournisseur comme votre filet de sécurité. Vous devez dépister en interne, avant même que la commande ne quitte le bâtiment.

L'histoire réconfortante est toujours « quelque chose en aval l'attrapera ». En matière de biosécurité, 2025 fut l'année où chaque prise en aval a été démontrée comme contournable.

Le socle réglementaire a bougé — dans deux directions à la fois

Si le terrain technique était la seule chose à évoluer, ce serait déjà assez difficile. Le terrain juridique bouge aussi, et il se disloque.

Aux États-Unis, le cadre exécutif contre lequel les équipes de conformité avaient passé 2023 et 2024 à planifier a été démantelé en l'espace de quelques mois. Le décret de Biden sur la sécurité de l'IA a été abrogé en janvier 2025 ; le décret sur la bioéconomie en mars ; un décret de remplacement sur la sécurité de la recherche biologique publié en mai est arrivé avec un délai de mise en œuvre de 90 jours qui a expiré sans qu'aucun cadre n'apparaisse. Les personnes dont le métier est la conformité en matière de biosécurité opèrent, en ce moment même, dans un vide.

Pendant ce temps, l'UE a pris la direction opposée. Les obligations de l'AI Act pour les modèles à usage général sont entrées en vigueur en août 2025, avec l'application complète pour les usages à haut risque prévue pour août 2026. Les sanctions ne sont pas symboliques : jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondial pour les pratiques interdites, 15 M€ ou 3 % pour la non-conformité des modèles à usage général. Les modèles de fondation utilisés en biologie sont pleinement dans le champ d'application. Et voici l'asymétrie qui tranche toute la question pour la plupart de mes clients : un laboratoire pharmaceutique ayant la moindre activité dans l'UE doit se conformer à la norme de l'UE, quelle que soit la position finale des États-Unis. La barre la plus basse au monde est sans importance si vous vendez à Francfort.

Sous la réglementation phare, l'ISO/IEC 42001 — la première norme internationale pour les systèmes de management de l'IA — est discrètement devenue ce que les assureurs et les partenaires s'attendent à vous voir détenir. Et les assureurs sont l'agent d'exécution silencieux ici. Vers la fin de 2025, les assureurs en responsabilité cyber ont commencé à ajouter à leurs formulaires de souscription des questions sur les exclusions de données d'entraînement à double usage, les procédures de désapprentissage et la fréquence des red teams, et ont commencé à exclure les préjudices générés par l'IA ou à les retarifer pour les entreprises faisant tourner des modèles à poids ouverts sans contrôles documentés. J'ai vu un questionnaire de style Munich Re atterrir sur le bureau d'un client et recadrer toute la conversation : il ne s'agissait plus d'une discussion éthique, mais d'une prime.

C'est aussi ici que le piège de la responsabilité se referme. Imaginez le procès. Un employé mécontent exfiltre les poids du modèle biologique privé d'un laboratoire pharmaceutique. Des mois plus tard, il refait surface dans un rapport de renseignement sur les menaces à propos d'un incident évité de justesse. L'avocat du plaignant pose une seule question : quel était votre cadre de contrôle ? En 2024, vous auriez pu survivre en répondant « nous avons utilisé l'entraînement au refus ». Après les recherches sur le MFT et le réapprentissage, cette réponse s'apparente davantage à un aveu. La défense fondée sur le devoir de diligence en 2026 est « nous avons pris des précautions à la pointe de la technologie, documentées et à plusieurs couches » — et soit vous avez le dossier de red team pour le prouver, soit non.

Alors, qu'est-ce qui tient réellement ?

La conclusion honnête de tout cela est celle que je voulais le moins, parce qu'elle est moins élégante que « nous avons supprimé la connaissance ». Aucune technique isolée ne fonctionne. Le refus est réversible. Le désapprentissage est récupérable. Les filtres de sortie sont aveugles à la nouveauté. Le dépistage des fournisseurs a été contourné. Chaque défense individuelle a une faille démontrée.

Ce qui tient, ce sont des couches qui échouent indépendamment — de sorte que vaincre l'une ne vainc pas le système. C'est ce que nous avons fini par construire, et c'est autour de cela que la pratique de sécurité IA en biosécurité de Veriprajna est désormais organisée. Non pas un produit que l'on installe. Une défense intégrée à la pile que le laboratoire pharmaceutique fait déjà tourner, parce qu'ils ne vont pas arracher Chemistry42 ou REINVENT pour moi, et ils ne devraient pas avoir à le faire.

Cela commence au moment de la génération. Nous plaçons un middleware de sécurité devant le modèle qui intercepte la sortie SMILES, SELFIES ou de graphe moléculaire avant qu'elle n'atteigne le chercheur — un dépistage des toxicophores comme tout le monde, mais avec une notation de proximité dans l'espace latent par rapport à la variété des armes chimiques et une détection des falaises d'activité superposées par-dessus. L'attaque par structure inédite qui passe devant un filtre de motifs se fait attraper par l'endroit où elle se situe dans la représentation du modèle, et non par son apparence — car un analogue d'arme chimique et un médicament bénin peuvent sembler structurellement sans rapport et pourtant se regrouper dans la même région de l'espace latent appris du modèle, le seul invariant auquel un générateur en quête de nouveauté ne peut échapper. Chaque interception écrit un journal d'audit, car le journal est ce qu'un évaluateur ISO 42001 demande réellement à voir.

Le désapprentissage a encore sa place au niveau des poids, mais seulement avec l'humilité que les recherches sur le réapprentissage nous ont imposée. RMU, l'ablation de caractéristiques par auto-encodeur parcimonieux, le raffinement UIPE d'un article ACL de 2025 — et ensuite un cycle de re-certification mensuel avec des red teams de réapprentissage continues, car nous supposons désormais que l'écart de connaissance peut s'éroder et nous préférons attraper l'érosion plutôt que de prétendre qu'elle ne peut pas se produire. Le score WMDP-Bio a cessé d'être un certificat que l'on encadre une fois pour devenir un signe vital que nous surveillons.

Rien de tout cela n'est digne de confiance sans que quelqu'un tente activement de le briser, alors la red team opère chaque trimestre : attaques par homologie de style GeneBreaker, jailbreaks par sollicitation SMILES, simulation d'affinage malveillant, récupération par réapprentissage. Le livrable est un rapport écrit rattaché aux contrôles NIST AI 600-1 — le profil d'IA générative qui, depuis juillet 2024, a explicitement nommé le CBRN comme l'un des douze risques uniques. Et la boucle ne se referme que lorsque nous dépistons en interne : les séquences générées sont confrontées à l'IGSC, au protocole de hachage cryptographique de SecureDNA, et à une couche de prédiction fonctionnelle, avant qu'une commande de synthèse ne quitte le bâtiment — l'écart exact que le Paraphrase Project a exposé.

La partie que la plupart des fournisseurs ne mettront pas par écrit

Il y a une section de chaque mission sur laquelle j'insiste, et c'est celle qui rend le reste crédible : les choses que nous ne pouvons pas corriger.

Nous ne pouvons pas résoudre la politique organisationnelle. Si le responsable R&D vit l'examen de biosécurité comme une taxe sur la vitesse d'itération, aucune couche technique ne survit au contact du calendrier. Nous ne pouvons pas rendre le désapprentissage prouvablement permanent face à un adversaire qui détient les poids et dispose d'un accès à l'affinage — UIPE et l'ablation par SAE réduisent le risque, ils ne l'annulent pas. Le WMDP est un indicateur indirect des connaissances de précurseurs connues ; un modèle au niveau du hasard n'est pas certifié sûr contre des capacités que personne n'a encore énumérées. Et les attaques d'empoisonnement de données en amont se produisent avant même que le modèle n'atteigne le laboratoire pharmaceutique, ce qui signifie que les détecter nécessite une coopération qu'un consultant en aval ne peut pas imposer.

Un fournisseur de biosécurité qui prétend combler chaque écart vous dit la seule chose qui prouve qu'il ne les a pas tous trouvés.

Ces réserves ont leur place sur la table en termes clairs, dans la présentation au conseil d'administration, dans la matrice de contrôle. Non pas parce que l'honnêteté est agréable, mais parce que l'alternative — la diapositive assurée « votre modèle ne peut pas être détourné » que j'ai failli livrer — est exactement la surenchère qui se transforme en déposition.

Les gens me demandent si cela signifie que les petites biotechs sont tout simplement sans espoir, noyées par une capacité de laboratoire de pointe qu'elles ne peuvent égaler. Le contraire, en fait. Les laboratoires de pointe font un vrai travail — Anthropic a livré les protections ASL-3 sur Claude Opus 4 en mai 2025, le premier modèle commercial avec des mesures de déploiement ciblant explicitement l'accroissement du potentiel d'armes biologiques. Mais ces classificateurs protègent Claude. Ils ne font rien pour votre instance REINVENT affinée, votre pipeline de récupération, ni le modèle à poids ouverts sur vos propres GPU. La couche de pipeline propre à l'industrie pharmaceutique est exactement l'espace que les laboratoires de pointe ne peuvent atteindre et que les fournisseurs de plateformes traitent comme une fonctionnalité plutôt que comme le point central. C'est là l'écart, et c'est un écart que l'on peut construire.

L'autre question que l'on me pose est la question opérationnelle : n'est-ce pas lent ? C'est plus lent que de ne rien livrer, plus rapide qu'un procès, et bien plus rapide que le jour où un régulateur ou un assureur demande des preuves que vous n'avez jamais générées. L'étude de red team de la RAND de 2024 a révélé que l'IA n'a pas relevé le plafond de ce qu'un virologue formé pouvait faire — elle a relevé le plancher de ce qu'un non-expert pouvait tenter. Le risque n'a jamais été des super-pouvoirs pour quelques-uns. C'était une sophistication démocratisée pour le plus grand nombre. C'est un plancher que l'on défend avec des couches documentées, et non avec une invite de refus et de bonnes intentions.

Je me suis lancé dans ce travail en m'attendant à construire une manière astucieuse de supprimer les connaissances dangereuses d'un modèle. J'en suis ressorti convaincu que tout le cadrage était erroné — que l'on ne gagne pas la biosécurité en fabriquant un modèle qui ne peut pas être détourné, car aucun modèle de ce genre n'existe. On gagne en construisant un système où chaque couche suppose que les autres seront vaincues, et où l'on conserve les preuves. Si vous faites tourner aujourd'hui un pipeline de chimie ou de biologie générative et que la réponse honnête à « quel est votre cadre de contrôle » est un fichier de configuration et une invite de refus, ce n'est pas une posture de sécurité. C'est un seul signe attendant d'être inversé — et vous pouvez voir exactement à quoi ressemble plutôt une posture à plusieurs couches.