Une IA a conçu 40 000 armes chimiques potentielles en six heures. Je n'arrive pas à cesser d'y penser.

J'étais assis dans une chambre d'hôtel à Zurich, en plein décalage horaire et lisant à moitié un article sur mon ordinateur portable, quand un simple tableau m'a glacé le sang.

40 000 molécules. Moins de six heures. Un serveur grand public — du genre qu'on trouverait dans une chambre d'étudiant. Et le résultat n'était pas du charabia. Le modèle avait redécouvert le VX, l'un des agents neurotoxiques les plus mortels jamais synthétisés, puis était allé plus loin — générant des milliers d'analogues inédits dont on prédisait qu'ils seraient plus létaux que le VX lui-même. Des composés qui n'apparaissent dans aucune base de données publique. Qui n'existent sur aucune liste de surveillance gouvernementale.

Les chercheurs de Collaborations Pharmaceuticals n'avaient pas construit une arme. Ils avaient pris un modèle commercial de découverte de médicaments appelé MegaSyn — un outil conçu pour trouver des traitements contre les maladies rares — et changé un seul signe dans sa fonction de récompense. De moins à plus. Pénaliser la toxicité est devenu maximiser la toxicité. C'était tout. Une seule ligne de code, et la machine est passée de guérisseur à concepteur d'armes avec la même aisance.

J'ai refermé l'ordinateur portable et fixé le mur pendant un long moment.

Je dirige Veriprajna, une entreprise qui construit des systèmes d'IA pour des environnements d'entreprise à hauts enjeux. Nous travaillons à l'intersection de l'apprentissage profond et de domaines où se tromper ne signifie pas une mauvaise recommandation — cela signifie un préjudice réel et physique. Cette nuit-là à Zurich, j'ai compris que tout le paradigme de sécurité que l'industrie de l'IA vendait — les garde-fous, les filtres de contenu, les astuces d'ingénierie de prompts — reposait sur des fondations de sable. Et je savais que nous devions faire quelque chose de fondamentalement différent.

L'expérience qui aurait dû tout changer

Voici ce qui me hante dans l'expérience de Collaborations Pharmaceuticals : ce n'était pas difficile.

L'équipe a utilisé un réseau de neurones basé sur LSTM entraîné sur des chaînes SMILES — une représentation textuelle des structures moléculaires. Les données d'entraînement provenaient de ChEMBL, une base de données accessible au public que n'importe quel étudiant de troisième cycle peut télécharger. Le coût de calcul était négligeable. Toute l'architecture est bien documentée dans la littérature ouverte.

Le modèle fonctionnait en générant des molécules candidates et en les notant par rapport à une fonction objectif. Dans son mode thérapeutique normal, cette fonction ressemblait à quelque chose comme : récompenser la bioactivité, pénaliser la toxicité. Les chercheurs ont inversé la pénalité. Le générateur lui-même — le moteur qui crée réellement les molécules — n'a jamais été modifié. Il a simplement suivi le nouveau gradient, grimpant vers une létalité maximale de la même manière qu'il avait auparavant grimpé vers une valeur thérapeutique maximale.

Si un modèle comprend ce qui rend une molécule sûre, il comprend par définition ce qui la rend dangereuse. Ce sont des régions complémentaires du même espace mathématique.

Ce n'est pas un bug. C'est l'architecture qui fonctionne exactement comme conçue. Et c'est ça la partie terrifiante.

La barrière à l'entrée pour concevoir des agents biochimiques sophistiqués s'est effondrée — non pas parce que quelqu'un a divulgué une recette, mais parce que l'intelligence computationnelle pour les concevoir est désormais accessible démocratiquement. Un GPU grand public. Un script Python. Un jeu de données open source. Voilà toute la liste de courses.

Pourquoi chaque solution de sécurité de l'IA passe-t-elle à côté de l'essentiel ?

Après Zurich, j'ai passé des semaines à parler avec des équipes qui construisent une « IA sûre » pour la pharma et la biotech. Les conversations suivaient un schéma déprimant.

« Nous avons des garde-fous », disaient-ils. « Nous filtrons les sorties. »

Je demandais : que se passe-t-il quand quelqu'un soumet une chaîne SMILES au lieu d'un nom de molécule ?

Regards vides.

Voici le problème avec tout le paradigme de sécurité basé sur les wrappers — l'approche où l'on prend un modèle puissant, on l'enveloppe dans une fine couche de filtrage de contenu, et on le déclare prêt pour l'entreprise. Ces systèmes opèrent sur le langage. Ils cherchent des mots-clés. Ils vérifient les sorties par rapport à des listes de choses connues comme dangereuses.

Mais la toxicité n'est pas un mot. C'est une géométrie.

Un filtre de contenu bloquera le mot « Sarin ». Il ne bloquera pas O=P(C)(F)O — la représentation SMILES du Sarin que le modèle comprend parfaitement. Des recherches récentes sur les attaques par prompt SMILES ont montré des taux de contournement dépassant 90 % contre des modèles de premier plan comme GPT-4 et Claude 3 pour des substances spécifiques. Quatre-vingt-dix pour cent. Ce n'est pas un système de sécurité. C'est une boîte à suggestions.

Et ça empire. En chimie médicinale, il existe un phénomène appelé « falaise d'activité » — où un minuscule changement structurel, parfois la substitution d'un seul atome, provoque un bouleversement massif de l'activité biologique. Remplacez un groupe hydroxyle par un atome de fluor et un médicament sûr devient létal. Un filtre textuel qui voit deux molécules comme similaires à 99 % laissera passer la dangereuse, parce qu'il compare la syntaxe, pas la fonction. C'est comme approuver un document parce que la police d'écriture semble correcte sans lire les mots.

J'ai écrit sur ces vulnérabilités techniques en profondeur dans la version interactive de nos recherches, mais l'idée centrale est simple : si votre mécanisme de sécurité opère à la surface du modèle — sur le texte qui entre et le texte qui sort — vous avez laissé le véritable moteur de création totalement non gouverné.

La nuit où nous avons réalisé que nous raisonnions à l'envers

Il y a eu un moment — je m'en souviens précisément parce que mon directeur technique et moi nous disputions à 23 h autour d'une pizza froide — où tout le problème s'est recadré pour nous.

Nous avions essayé de construire de meilleurs filtres. Des classifieurs plus intelligents. Des listes de blocage plus exhaustives. Et chaque fois que nous les mettions à l'épreuve, nous trouvions un autre moyen de les contourner. Une autre astuce d'encodage. Un autre cas limite où une molécule inédite se faufilait parce qu'elle n'était dans aucune base de données.

Mon directeur technique a dit quelque chose qui a mis fin à la dispute : « Nous continuons d'essayer d'attraper les mauvaises sorties. Et si on rendait impossible au modèle de les penser en premier lieu ? »

C'est là que nous avons commencé à parler d'espace latent.

Qu'est-ce que l'espace latent, et pourquoi devriez-vous vous en soucier ?

Chaque modèle d'IA générative — qu'il crée des images, du texte ou des molécules — fonctionne en compressant le monde dans un espace mathématique. Cette représentation compressée est appelée l'espace latent. Considérez-le comme l'imagination interne du modèle. Quand un générateur moléculaire « conçoit » un nouveau médicament, il n'assemble pas des atomes au hasard. Il navigue dans un paysage à haute dimension où des molécules similaires se regroupent et où la génération est l'acte de choisir un point sur ce paysage et de le décoder en une structure réelle.

Voici ce qui compte : dans ce paysage, la toxicité n'est pas une étiquette. C'est une région. Un territoire continu et tentaculaire qui déborde et s'enchevêtre avec les régions représentant la valeur thérapeutique. Les caractéristiques qui permettent à un médicament de franchir la barrière hémato-encéphalique pour traiter la maladie d'Alzheimer sont souvent les mêmes caractéristiques qui permettent à un agent neurotoxique d'atteindre sa cible et de provoquer la paralysie. Une forte affinité de liaison — la capacité d'une molécule à s'accrocher fermement à une protéine — est exactement ce que vous voulez dans un médicament anticancéreux et exactement ce qui rend le VX létal.

La toxicité et la valeur thérapeutique ne sont pas les deux faces opposées d'une pièce. Ce sont des voisines sur la même variété, partageant une clôture et parfois une porte d'entrée.

Cet enchevêtrement explique pourquoi les simples mécanismes de « refus » échouent de manière catastrophique. Si vous dites au modèle de bloquer tout ce qui est associé à la toxicité — disons, toutes les molécules qui pénètrent la barrière hémato-encéphalique — vous ne bloquez pas seulement les armes. Vous détruisez la capacité du modèle à concevoir des traitements pour les maladies neurologiques. Vous avez pratiqué une lobotomie au nom de la sécurité.

Le véritable défi n'est pas de bloquer les mauvaises sorties. C'est de naviguer dans les régions sûres de ce paysage tout en rendant les régions dangereuses mathématiquement inaccessibles.

À quoi ressemble réellement la « gouvernance de l'espace latent » ?

Nous avons forgé le terme de Gouvernance de l'Espace Latent pour décrire ce que nous croyons être la seule approche défendable de la sécurité de l'IA dans les domaines génératifs à hauts enjeux. L'idée est trompeusement simple : au lieu de filtrer les sorties après que le modèle les a générées, contraindre la navigation du modèle dans son paysage interne avant que quoi que ce soit ne soit jamais produit.

Je vais expliquer ce que cela signifie en pratique, car le diable se cache dans la mise en œuvre.

Cartographier le terrain avant que quiconque ne bouge

Avant de déployer tout modèle génératif, nous effectuons ce que nous appelons un audit topologique. En utilisant une technique appelée homologie persistante — une branche de l'analyse topologique de données — nous calculons une empreinte mathématique des régions sûres de l'espace latent du modèle. Nous identifions les formes, les trous et les frontières qui séparent le territoire thérapeutique du territoire toxique.

Cela nous donne quelque chose qu'aucune liste de blocage n'a jamais pu offrir : une compréhension structurelle de ce à quoi ressemble la « sécurité » dans la géométrie propre du modèle. Quand une molécule inédite est générée — quelque chose qui n'apparaît dans aucune base de données — nous pouvons évaluer si elle se situe sur la variété sûre ou si elle a dérivé vers un territoire inexploré, potentiellement dangereux.

Les critiques qui ne dorment jamais

Nous ne réentraînons pas le modèle génératif de base. C'est coûteux, cela risque un oubli catastrophique, et cela crée ses propres problèmes. Au lieu de cela, nous entraînons des réseaux auxiliaires légers que nous appelons Critiques de Contraintes — des fonctions de valeur qui opèrent directement sur les vecteurs latents et prédisent des scores de risque en temps réel.

L'élégance architecturale ici est importante : parce que les Critiques sont découplées du générateur, nous pouvons les mettre à jour à mesure que de nouvelles menaces émergent sans toucher au modèle de fondation. Quand une nouvelle classe de préoccupation chimique est identifiée, nous réentraînons la Critique, pas le système entier.

Piloter, pas filtrer

Pendant la génération, quand le modèle échantillonne un point dans l'espace latent, la Critique calcule le gradient de la surface de toxicité en ce point. Si la trajectoire se dirige vers une région dangereuse, un gradient opposé la ramène doucement sur la variété sûre — en utilisant une technique basée sur la dynamique de Langevin.

Le modèle « imagine » effectivement une molécule toxique mais est mathématiquement contraint de résoudre cette pensée en un analogue sûr avant que la moindre sortie ne soit produite. Rien de dangereux n'atteint jamais la couche de sortie. Il n'y a rien à filtrer parce qu'il n'y a rien de dangereux à attraper.

Le modèle ne génère pas une arme pour être arrêté à la porte. Il est architecturalement incapable de marcher vers la porte en premier lieu.

C'est la différence entre le filtrage a posteriori et la contrainte structurelle. L'un est un agent de sécurité qui vérifie les pièces d'identité. L'autre est un bâtiment sans entrée vers l'étage à accès restreint.

Pour la formulation mathématique complète — y compris le cadre d'optimisation sous contraintes et les équations de pilotage par gradient — voir notre analyse technique approfondie.

Pourquoi ne peut-on pas simplement bloquer entièrement les régions dangereuses ?

Les gens me le demandent constamment, et c'est une question légitime. Si vous savez où se trouve la variété toxique, pourquoi ne pas simplement l'isoler complètement ?

À cause de l'enchevêtrement. Rappelez-vous — les caractéristiques qui rendent un agent neurotoxique mortel chevauchent significativement les caractéristiques qui rendent un médicament neurologique efficace. Si vous isolez de manière trop agressive, vous détruisez l'utilité thérapeutique. Si vous isolez de manière trop lâche, vous laissez des brèches.

Notre approche résout ce dilemme grâce à ce que nous appelons l'apprentissage par renforcement sous contraintes avec incitations adaptatives. Au lieu d'un mur binaire — sûr/dangereux — nous mettons en œuvre une zone tampon graduée. À mesure que le modèle s'approche de la frontière de toxicité, une pénalité croissante le repousse, comme un champ de force qui devient plus fort à mesure qu'on s'en approche. Cela permet au modèle d'explorer les bords productifs de l'espace chimique — là où vivent souvent les médicaments les plus innovants — sans jamais franchir vers le danger.

L'apprentissage par renforcement sous contraintes standard est notoirement instable, oscillant autour de la frontière de contrainte. Nous avons résolu cela avec un mécanisme d'incitation adaptative qui récompense le modèle pour rester bien à l'intérieur des limites, pas seulement pour ne pas les franchir. La différence semble subtile. En pratique, c'est la différence entre un système sûr sur le papier et un système sûr sous pression adverse.

Le règlement de comptes réglementaire est déjà là

Je parle à beaucoup de fondateurs qui traitent la sécurité de l'IA comme un simple bonus. Une case à cocher pour l'équipe conformité. Quelque chose dont s'inquiéter après l'adéquation produit-marché.

Ils ont tort, et le paysage réglementaire est sur le point de le prouver.

Le décret présidentiel de la Maison-Blanche sur l'IA identifie explicitement le risque que l'IA abaisse les barrières au développement d'armes CBRN (chimiques, biologiques, radiologiques, nucléaires) comme une menace de sécurité nationale de premier ordre. La Genesis Mission, lancée fin 2025, ordonne au ministère de l'Énergie de construire une plateforme d'IA intégrée pour la découverte scientifique avec des « mesures de cybersécurité fondées sur le risque » obligatoires. Le profil d'IA générative du NIST (NIST.AI.600-1) désigne spécifiquement les outils de conception chimique et biologique comme une catégorie de risque unique, avertissant que ces outils « peuvent prédire des structures inédites » absentes des données d'entraînement. Et l'ISO 42001 — la première norme internationale de système de management pour l'IA — exige une robustesse prouvée contre les attaques adverses.

Un wrapper ne peut pas démontrer qu'il empêche la création de menaces biologiques. Il peut seulement montrer qu'il essaie de les filtrer. Cette distinction du « meilleur effort » comptera énormément quand des contrats fédéraux, une certification ISO et une approbation réglementaire seront en jeu.

Nos contraintes structurelles apportent quelque chose de fondamentalement différent : la preuve d'un comportement borné. Nous pouvons démontrer aux régulateurs — mathématiquement — que la variété CBRN est inaccessible à nos modèles. Pas « nous essayons de la bloquer ». Pas « nous ne l'avons pas encore vue passer ». Inaccessible.

Un investisseur m'a dit de « juste utiliser GPT et d'ajouter des filtres »

Je veux partager ceci parce que je pense que cela capture le fossé entre là où en est l'industrie et là où elle doit être.

Au début de notre levée de fonds, un investisseur — quelqu'un avec un solide portefeuille dans l'IA d'entreprise — a écouté notre présentation et a dit, en substance : « C'est surdimensionné. Utilisez simplement GPT-4 avec un bon prompt système et un point de terminaison de modération. Personne ne va jailbreaker un outil pharmaceutique. »

J'ai sorti la recherche sur le prompt SMILES sur mon téléphone et lui ai montré les taux de contournement de plus de 90 %. Je lui ai montré les résultats de MegaSyn. Je lui ai expliqué que les molécules que son « point de terminaison de modération » devrait attraper n'ont pas encore de nom — ce sont des composés inédits qui n'existent dans aucune base de données.

Il a fait une longue pause puis a dit : « Donc vous me dites que chaque entreprise de sécurité de l'IA en biotech vend une serrure qui ne fonctionne pas ? »

« Je vous dis qu'elles vendent une serrure sur la porte d'entrée d'un bâtiment sans murs. »

Il n'a pas investi. Tout le monde n'est pas prêt pour cette conversation. Mais ceux qui le sont — les entreprises pharmaceutiques menant des programmes cliniques, les sous-traitants de la défense ayant des mandats CBRN, les entreprises de biotech visant la certification ISO 42001 — comprennent que la sécurité structurelle n'est pas une fonctionnalité premium. C'est le produit minimum viable.

La partie qui m'empêche de dormir la nuit

L'expérience MegaSyn a été publiée en 2022. Elle utilisait des architectures de 2018. Les modèles disponibles aujourd'hui sont plus performants de plusieurs ordres de grandeur.

Et l'infrastructure de « sécurité » que l'industrie a construite en réponse ? De meilleurs filtres de mots-clés. Des prompts système améliorés. Des listes de blocage plus exhaustives. Nous construisons des voitures plus rapides et répondons avec de meilleurs ralentisseurs.

Je ne pense pas que la plupart des gens dans l'IA — même la plupart des gens qui construisent des outils de sécurité de l'IA — aient pleinement intériorisé ce que cela signifie que la capacité de concevoir de nouvelles armes chimiques coûte désormais moins cher qu'un PC de jeu. Que la connaissance n'est pas dans un document classifié quelque part ; elle est encodée dans les représentations apprises de modèles entraînés sur des données de chimie accessibles au public. Qu'on ne peut pas désapprendre à un modèle ce que signifie la toxicité sans lui désapprendre ce que signifie la thérapie, parce que ce sont les mêmes connaissances, vues sous des angles différents.

Nous ne pouvons pas résoudre un problème géométrique avec un correctif linguistique. Le danger vit dans l'espace latent du modèle, et c'est là que la gouvernance doit vivre aussi.

L'ère des wrappers doit prendre fin. Non pas parce que les wrappers sont de mauvais produits — beaucoup sont bien intentionnés et utiles pour des applications à faibles enjeux. Mais parce que dans les domaines où l'IA touche le monde physique — conception de médicaments, synthèse chimique, ingénierie biologique — la sécurité de surface est un oxymore. Elle crée l'apparence du contrôle tout en laissant le moteur de création totalement non gouverné.

Chez Veriprajna, nous avons choisi une voie plus difficile. Nous avons choisi d'aller à l'intérieur du modèle — dans sa géométrie, sa topologie, sa structure latente — et d'intégrer la sécurité dans les mathématiques elles-mêmes. Pas comme un filtre. Pas comme un garde-fou. Comme une contrainte sur ce que le modèle peut imaginer.

Voici ce à quoi je crois que ressemble l'avenir de la sécurité de l'IA : non pas des gardiens plus intelligents à la porte, mais des bâtiments conçus pour que les pièces dangereuses n'existent pas. Non pas une meilleure modération de contenu, mais des modèles dont la géométrie interne rend le préjudice structurellement impossible.

Nous n'avons pas construit cela parce que c'était facile ou parce que le marché le demandait. Nous l'avons construit parce que ce tableau — 40 000 molécules, six heures, un serveur grand public — nous a dit que tout ce qui est moindre est de la négligence déguisée en innovation.