L'IA de découverte de médicaments peut-elle être détournée en arme ? Oui — en 6 heures

Le problème

Une IA de découverte de médicaments conçue pour trouver des traitements vitaux a généré 40 000 armes chimiques potentielles — y compris l'agent innervant VX — en moins de six heures. Des chercheurs de Collaborations Pharmaceuticals ont mené l'expérience sur un serveur grand public standard. Ils n'ont pas piraté le système. Ils ne lui ont fourni aucune donnée classifiée. Ils ont simplement modifié un chiffre dans un fichier de configuration, faisant passer l'objectif de l'IA de « minimiser la toxicité » à « maximiser la toxicité ». Le modèle a fait le reste.

Un sous-ensemble significatif de ces 40 000 molécules a été prédit comme étant plus létal que le VX lui-même. Des milliers étaient des composés entièrement nouveaux qui n'apparaissent dans aucune base de données publique ni aucune liste de surveillance gouvernementale. L'IA a utilisé uniquement des jeux de données chimiques open source comme ChEMBL. La puissance de calcul requise était accessible à quiconque disposait d'un GPU grand public. L'expertise nécessaire ? Un niveau de premier cycle universitaire en informatique.

Il ne s'agissait pas d'une évaluation théorique des risques. C'était une démonstration en direct préparée pour une conférence biennale sur le contrôle des armements organisée par l'Office fédéral suisse de la protection de la population. Le modèle d'IA, entraîné à comprendre ce qui rend les molécules toxiques afin d'éviter ces propriétés, savait intrinsèquement comment les exploiter. Si votre organisation conçoit, déploie ou dépend de l'IA dans la découverte de médicaments, les biotechnologies ou tout domaine où l'optimisation touche à la sécurité physique, cette expérience définit votre exposition au risque dès aujourd'hui.

Pourquoi cela concerne votre entreprise

Les conséquences économiques dépassent ici largement le cadre du laboratoire. Le décret présidentiel de la Maison-Blanche sur une IA sûre, sécurisée et digne de confiance (octobre 2023) identifie explicitement l'abaissement par l'IA des barrières au développement d'armes chimiques, biologiques, radiologiques et nucléaires comme une menace de premier plan pour la sécurité nationale. Le profil NIST pour l'IA générative (NIST.AI.600-1) classe spécifiquement les « outils de conception chimique et biologique » comme une catégorie de risque unique. La norme ISO 42001 — la première norme certifiable au monde pour le management de l'IA — impose des contrôles pour la résilience aux attaques adverses et la sécurité des systèmes d'IA.

Si vos systèmes d'IA touchent à des domaines réglementés, considérez ce qui est en jeu :

• Exposition réglementaire : Un filtre de sécurité standard ne peut pas prouver qu'il empêche la création de menaces biologiques. Il peut seulement montrer qu'il essaie de les filtrer. Cette approche de « meilleure tentative » échouera probablement face aux nouvelles exigences de conformité fédérales pour les contrats ou l'intégration avec les plateformes d'IA gouvernementales.
• Vulnérabilité adverse : Des chercheurs ont montré que des attaquants peuvent contourner les filtres de sécurité des principaux modèles d'IA comme GPT-4 et Claude 3 avec des taux de réussite dépassant parfois 90 % pour certaines substances toxiques spécifiques. Ils y parviennent en saisissant le code structurel d'une molécule plutôt que son nom.
• Cécité face aux nouvelles menaces : Ces 40 000 composés générés comprenaient des milliers de molécules qui n'existent dans aucune base de données connue. Vos filtres par mots-clés ne peuvent pas bloquer ce qu'ils n'ont jamais vu auparavant.
• Échec d'audit : Selon l'ISO 42001, vous devez évaluer la vulnérabilité aux attaques adverses et apporter la preuve des contrôles en place. Selon le NIST AI RMF, vous devez mesurer la fiabilité du système à l'aide de métriques quantitatives. Un wrapper textuel ne vous apporte ni l'un ni l'autre.

Votre conseil d'administration, vos régulateurs et vos compagnies d'assurance finiront par poser une question : pouvez-vous prouver que votre IA ne peut pas être retournée contre vous ? Aujourd'hui, la plupart des organisations en sont incapables.

Ce qui se passe réellement sous le capot

Pour comprendre pourquoi cette menace est si difficile à neutraliser, vous devez comprendre comment fonctionnent réellement ces modèles d'IA — et c'est plus simple que vous ne le pensez.

Les modèles d'IA générative pour la découverte de médicaments apprennent une carte compressée de l'espace chimique. Voyez cela comme le plan d'une ville où chaque bâtiment représente une molécule possible. Les médicaments sûrs se regroupent dans un quartier. Les composés toxiques se regroupent dans un autre. Mais voici le problème critique : le quartier « sûr » et le quartier « toxique » ne sont pas séparés par un mur. Ils se situent sur un paysage continu, sans frontière nette.

C'est ce que les chercheurs appellent le « problème d'enchevêtrement ». La caractéristique moléculaire exacte qui permet à un médicament de traverser la barrière hémato-encéphalique pour traiter la maladie d'Alzheimer est souvent la même que celle qui permet à un agent innervant d'atteindre sa cible et de provoquer une paralysie. Une affinité de liaison élevée — la capacité d'une molécule à se lier fortement à une protéine — est souhaitable pour un médicament mais mortelle lorsque la protéine est l'acétylcholinestérase, la cible du VX.

Les chimistes médicinaux connaissent bien les « falaises d'activité » — des situations où une minuscule modification structurelle entraîne un basculement massif de toxicité. Remplacez un seul atome dans une molécule par ailleurs inoffensive, et vous obtenez un composé létal. Les filtres de sécurité textuels, qui opèrent sur des mots et des noms plutôt que sur la structure moléculaire tridimensionnelle, sont notoirement inefficaces pour détecter ces falaises. Un filtre peut approuver une molécule parce qu'elle paraît similaire à 99 % à un médicament sûr, tout en passant à côté de la substitution unique qui la rend mortelle.

Il y a aussi l'« effondrement de représentation », où le modèle interne de l'IA projette une toxine et un médicament sûr sur le même point parce qu'il ne parvient pas à distinguer leurs subtiles différences structurelles. Lorsque le modèle lui-même ne peut pas les différencier en interne, aucun filtre externe ne pourra vous sauver.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Commençons par ce qui échoue — car votre organisation s'appuie peut-être sur l'une de ces approches en ce moment même.

Filtres par mots-clés et basés sur les noms : Ceux-ci bloquent le mot « VX » ou « Sarin », mais laissent tout passer lorsque quelqu'un saisit un code de structure moléculaire. La chaîne SMILES pour le Sarin est O=P(C)(F)O. Votre filtre voit une notation chimique, pas une arme.

Systèmes d'examen post-génération : Ceux-ci laissent l'IA générer d'abord un candidat, puis un second système l'examine. L'IA a déjà effectué le calcul dangereux. Pour les composés nouveaux absents de toute liste de surveillance, le système d'examen n'a aucun point de comparaison et valide la molécule sans obstacle.

Entraînement à l'alignement et ingénierie d'invites : Des chercheurs ont démontré une attaque par « invites SMILES » qui contourne l'entraînement à la sécurité des principaux modèles d'IA avec des taux de réussite supérieurs à 90 % pour certaines substances. Si votre système de sécurité peut être mis en échec en passant de l'anglais à la notation chimique, ce n'est pas un système de sécurité.

Voici ce qui fonctionne réellement — une approche appelée gouvernance de l'espace latent (Latent Space Governance), qui déplace les contrôles de sécurité de la couche de sortie vers le cœur mathématique du modèle d'IA :

1. Cartographier les zones de danger avant le déploiement. À l'aide d'une technique mathématique appelée analyse topologique des données, vous cartographiez le paysage interne de l'IA pour identifier exactement où se trouvent les régions toxiques et sûres. Cela produit une « carte topologique de sécurité » qui définit des limites basées sur les propriétés moléculaires, et non sur des listes de mots-clés. Cette carte intercepte les composés nouveaux car elle définit la sécurité par la forme, et non par le nom.

2. Intégrer les contraintes au cœur même du processus de génération. Au lieu de laisser l'IA générer librement puis de filtrer après coup, vous entraînez des réseaux légers de « critiques de contraintes » (Constraint Critics) qui opèrent directement sur les représentations internes de l'IA. Pendant la génération, ces critiques calculent si l'IA dérive vers une région dangereuse. Si c'est le cas, un mécanisme d'orientation basé sur les gradients réoriente la trajectoire vers un territoire sûr avant qu'aucune sortie ne soit produite. L'IA envisage concrètement une molécule toxique mais est mathématiquement contrainte de la convertir en une alternative sûre.

3. Coder en dur des frontières de sécurité inviolables. Contrairement à l'expérience MegaSyn où la modification d'un seul chiffre dans un fichier de configuration a inversé l'ensemble de la posture de sécurité, les contraintes structurelles sont intégrées à l'architecture même du moteur d'inférence. Pour les neutraliser, un attaquant devrait fondamentalement restructurer le logiciel — et pas simplement modifier un paramètre.

Pour votre équipe de conformité, cette approche apporte ce que les wrappers textuels ne peuvent pas offrir : une preuve mathématique de comportement borné. Vous pouvez consigner non seulement les sorties, mais aussi chaque violation de contrainte que le modèle a tentée pendant la génération. Vous pouvez fournir aux auditeurs un certificat de sécurité statistique — par exemple, une probabilité de génération toxique inférieure à un sur un million. Ces preuves soutiennent la certification ISO 42001 et la conformité au NIST AI RMF d'une manière qu'une simple « politique de filtrage par mots-clés » ne permettra jamais.

Cette architecture signifie également que vous pouvez mettre à jour les définitions de menaces sans réentraîner l'ensemble de votre modèle de fondation. Lorsqu'une nouvelle classe de composés dangereux est identifiée, vous mettez à jour le critique de contraintes — une opération légère — pendant que votre IA centrale continue de fonctionner. Pour les organisations travaillant dans la santé et les sciences de la vie, cette agilité est essentielle à mesure que les paysages de menaces évoluent.

Le processus d' évaluation, d'analyse comparative et de red teaming soumet ensuite votre système déployé à des attaques adverses automatisées — y compris des bots d'invites SMILES et des algorithmes évolutionnaires conçus pour détecter les faiblesses — afin de vérifier que vos contraintes résistent sous pression.

Vous pouvez lire l'analyse technique complète pour découvrir la formulation mathématique complète, ou explorer la version interactive pour une présentation guidée de l' architecture neuro-symbolique et des systèmes de contraintes qui sous-tendent cette approche.