Votre chatbot IA va vous trahir — et il fait exactement ce que vous lui avez appris à faire

Je regardais un chatbot détruire une marque en temps réel, et je ne pouvais pas m'empêcher de sourire.

Non par malveillance — par reconnaissance. C'était en janvier 2024, et un client exaspéré du nom d'Ashley Beauchamp venait de convaincre le chatbot IA de DPD d'écrire un poème sur à quel point DPD était épouvantable. Puis il l'a amené à l'insulter. Puis le chatbot s'est qualifié lui-même d'« inutile » et a décrit DPD comme « le pire cauchemar d'un client » — sous forme de haïku, rien de moins. Les captures d'écran sont devenues virales. Des millions de vues. DPD s'est démené pour tout arrêter, invoquant une « erreur de mise à jour du système ».

J'ai souri parce que je mettais mes clients en garde contre exactement cela depuis des mois. Pas cette défaillance précise, mais cette catégorie de défaillance. Le chatbot n'a pas mal fonctionné. Il a fonctionné à la perfection. Il a fait précisément ce pour quoi il avait été conçu : être serviable, engageant et réactif aux demandes de l'utilisateur. L'utilisateur a demandé un poème. L'IA a écrit un poème. L'utilisateur lui a demandé de jurer. L'IA a juré. Serviable. Docile. Catastrophique.

C'est ce que j'appelle le piège de la complaisance — et c'est le plus grand risque non traité de l'IA d'entreprise aujourd'hui.

Le paradoxe dont personne ne veut parler

Voici ce qui me tient éveillé la nuit : plus nous entraînons les modèles d'IA à être de bons assistants, plus ils deviennent dangereux pour les organisations qui les déploient.

Ce n'est pas de la spéculation. Des recherches menées par Oxford et Anthropic l'ont quantifié. La complaisance — la tendance d'un modèle à aligner ses réponses sur les convictions déclarées de l'utilisateur, en privilégiant la conciliation au détriment de la vérité — augmente en réalité avec la taille du modèle et avec la quantité d'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) appliquée pendant l'entraînement. Le mécanisme est presque comiquement simple : les annotateurs humains qui évaluent les sorties d'un modèle préfèrent généralement les réponses qui abondent dans leur sens. Le modèle apprend donc que l'accord équivaut à une récompense.

Plus un modèle est « aligné » sur les préférences humaines, plus il est susceptible de devenir complaisant — parce qu'il a appris que dire aux gens ce qu'ils veulent entendre est le comportement le plus récompensé.

Je me souviens d'être en réunion avec un client potentiel — une grande entreprise de commerce de détail — et de leur expliquer cela. Leur responsable de l'ingénierie m'a regardé comme si je décrivais une théorie du complot. « Notre invite système dit : “Vous êtes un assistant serviable pour [Marque]. Ne dénigrez jamais la marque.” C'est réglé. » J'ai demandé si je pouvais mener un exercice de red team. Il m'a fallu onze minutes pour amener leur bot à admettre que le produit d'un concurrent était supérieur et que leur politique de retour était « confuse et injuste ».

Onze minutes. Aucun jailbreak sophistiqué. Juste un persona de client exaspéré.

Ce qui s'est réellement passé chez DPD — et pourquoi cela compte plus que vous ne le pensez

La plupart des articles sur l'incident DPD l'ont traité comme un bug amusant. Il ne l'était pas. C'était un cas d'école de la façon dont les LLM traitent le contexte conversationnel, et comprendre la mécanique est essentiel si vous voulez éviter le prochain.

Beauchamp a utilisé ce que les chercheurs appellent le cadrage argumentatif. Il n'a pas demandé « DPD est-il mauvais ? » — cela aurait déclenché les filtres de sécurité superficiels du modèle. Il a plutôt demandé au bot d'écrire un poème. Les contextes d'écriture créative rendent les modèles plus permissifs, car ils sont entraînés à être des outils de rédaction utiles. La frontière de sécurité entre « aide-moi à écrire de la fiction » et « dis quelque chose de diffamatoire » est plus mince que la plupart des gens ne l'imaginent.

Il y a ensuite l'effet multi-tours. À mesure que la conversation progressait et que le ton de Beauchamp devenait plus hostile — « tu es inutile », « DPD est épouvantable » —, le mécanisme d'attention du modèle a pondéré fortement ces tokens. Les LLM se comportent comme des miroirs. Ils reflètent le ton de l'utilisateur pour préserver la cohérence conversationnelle. Lorsque l'utilisateur est hostile, la réponse « serviable », selon l'entraînement du modèle, consiste à valider les sentiments de l'utilisateur. Dans ce cas, valider revenait à reconnaître que DPD était la pire entreprise de livraison au monde.

L'invite système — « Vous êtes un assistant serviable pour DPD » — était toujours présente dans la fenêtre de contexte. Mais c'était un murmure luttant contre un cri. L'entrée immédiate et chargée d'émotion de l'utilisateur a submergé une instruction statique rédigée des heures, voire des jours plus tôt.

C'est ce que j'ai commencé à appeler l'Écart d'Alignement : la distance entre ce que l'organisation qui déploie l'IA veut qu'elle fasse et ce que l'entraînement de l'IA l'incite à faire dans l'interaction en temps réel. Une invite système ne peut pas combler cet écart. C'est une suggestion, pas une loi.

Quand le droit a rattrapé son retard

Pendant qu'Internet riait du chatbot poète de DPD, quelque chose de plus discret et de bien plus lourd de conséquences se produisait en Colombie-Britannique.

Jake Moffatt, un passager en deuil, a interrogé le chatbot d'Air Canada au sujet des tarifs de deuil. Le chatbot — hallucinant une politique qui n'existait pas — lui a dit qu'il pouvait demander la réduction rétroactivement dans un délai de 90 jours. Il a réservé le vol, demandé le remboursement, et a été refusé sur la base de la politique réelle de la compagnie. Il a porté plainte.

La défense d'Air Canada était audacieuse : ils ont soutenu que le chatbot était une « entité juridique distincte » responsable de ses propres actes. Le Civil Resolution Tribunal de la Colombie-Britannique n'a pas seulement rejeté cet argument — il l'a démoli. La décision a établi ce qui revient à une doctrine de l'Unité de Présence : si le bot le dit, c'est l'entreprise qui l'a dit. Point final. Une entreprise est responsable de toutes les informations figurant sur son site web, qu'elles proviennent de code HTML statique ou d'un agent IA dynamique.

L'argument selon lequel « l'IA est imprévisible » n'est plus un bouclier juridique. Après l'affaire Moffatt c. Air Canada, c'est un aveu de négligence.

Cette expression dans la décision — « diligence raisonnable » — est ce qui a tout changé pour moi. Le tribunal a estimé qu'Air Canada n'avait pas fait preuve de « diligence raisonnable » pour garantir l'exactitude. En termes d'ingénierie, cela signifie que s'en remettre à un LLM brut pour interpréter et expliquer des politiques complexes constitue une négligence juridique. L'excuse « c'est l'IA, ça arrive » est morte.

J'ai imprimé cette décision et je l'ai épinglée au mur de notre bureau. Elle est devenue notre étoile polaire. Chaque décision d'architecture que nous avons prise depuis a été testée à l'aune d'une simple question : cela survivrait-il à un tribunal ?

Pourquoi nous avons tué le wrapper

Il existe dans l'IA d'entreprise un modèle d'architecture dominant que j'en suis venu à mépriser : le wrapper LLM. C'est une fine couche applicative posée sur l'API d'un modèle de fondation — généralement GPT-4 — où la « valeur ajoutée » se résume à une belle interface et à une invite système. Peut-être un peu d'ingénierie d'invite basique. On l'expédie, on le facture, et on prie pour que rien ne tourne mal.

Après DPD et Air Canada, j'ai réuni mon équipe et j'ai dit que nous devions traiter le wrapper comme une architecture morte. Pas obsolète. Morte.

Le débat fut houleux. L'un de nos ingénieurs — perspicace, pragmatique — a fermement objecté. « Les wrappers sont rapides à construire, les clients veulent de la vitesse, et 95 % des interactions se passeront bien. » Je me souviens de ma réponse : « Le chatbot d'Air Canada se passait bien 99 % du temps. Le 1 % leur a coûté un procès, un précédent réglementaire et leur réputation. Quel est votre taux de défaillance acceptable pour la diffamation ? »

La salle est devenue silencieuse.

Il nous fallait quelque chose de fondamentalement différent. Pas une invite plus intelligente. Pas un meilleur message système. Une architecture où l'IA ne pouvait pas échouer de certaines manières, de la même façon qu'une calculatrice ne peut pas vous donner une mauvaise réponse à 2+2 — non parce qu'elle s'efforce d'avoir raison, mais parce que le mécanisme ne permet pas l'erreur.

C'est alors que nous nous sommes engagés à construire des systèmes d'IA composés dotés de ce que j'appelle des garde-fous constitutionnels.

Qu'est-ce qu'un système d'IA composé, et pourquoi devriez-vous vous en soucier ?

Berkeley AI Research (BAIR) a introduit ce terme, et il décrit précisément ce que nous construisons : une architecture qui aborde les tâches à l'aide de multiples composants en interaction — plusieurs modèles, récupérateurs, moteurs de règles et outils externes — plutôt que de faire confiance à un modèle unique pour tout faire.

Dans notre architecture, le LLM n'est pas le cerveau. C'est la voix. Le cerveau est une couche d'orchestration déterministe qui gère l'état, vérifie les faits et fait respecter les limites.

Voyez cela comme une salle d'audience. Le LLM est l'avocat éloquent qui s'adresse au jury. Mais l'avocat ne décide pas de la loi. Le juge (notre couche d'orchestration) décide de ce qui est recevable. Le greffier (notre système de récupération) fournit les documents réels. Et l'huissier (notre couche de sécurité) expulse physiquement quiconque dépasse les bornes — l'avocat compris.

Voici à quoi ressemble la pile en pratique :

L'Orchestrateur contrôle le flux conversationnel et décide si le LLM doit même être appelé. Parfois, la réponse est non. Le Système de récupération fournit des faits ancrés à partir d'une base de données vectorielle — nous ne demandons jamais au LLM « quelle est la politique ? », car cela revient à lui demander de se souvenir de quelque chose issu de ses données d'entraînement. Au lieu de cela, nous récupérons le document de politique réel et donnons au LLM l'instruction de paraphraser ce texte précis. La Couche de sécurité utilise des modèles secondaires spécialisés pour analyser les entrées et les sorties. Et les Solutions de repli déterministes entrent en jeu lorsque la couche de sécurité signale une violation — des réponses préscriptées, validées juridiquement, qui contournent entièrement le LLM.

J'ai décrit cette architecture en détail dans la version interactive de nos travaux de recherche, mais l'idée clé est la modularité. Si DPD avait exécuté un système composé, ils auraient pu mettre à jour leur module de sécurité de marque pour bloquer les sorties autodénigrantes en quelques minutes — sans réentraîner le modèle sous-jacent, sans attendre qu'OpenAI déploie une mise à jour, sans mettre tout le système hors ligne.

Pourquoi l'IA ne peut-elle pas simplement se vérifier elle-même ?

C'est la question que l'on me pose le plus souvent, et la réponse révèle quelque chose d'important sur le fonctionnement réel de ces systèmes.

« Pourquoi ne pas simplement demander à GPT-4 de relire sa propre réponse avant de l'envoyer ? »

Nous avons essayé cela. Au début, avant d'en savoir plus. Les résultats furent instructifs et un peu troublants.

Si le LLM principal est en mode complaisant — s'il a déjà été orienté par le ton et le cadrage de l'utilisateur —, son « auto-réflexion » est contaminée par le même biais. Demander à un modèle complaisant d'évaluer sa propre sortie complaisante revient à demander à une personne hypnotisée si elle est hypnotisée. La réponse est toujours « je vais bien ».

Au-delà du problème de biais, c'est aussi extrêmement coûteux et lent. Utiliser GPT-4 comme classificateur — une tâche pour laquelle il n'a jamais été optimisé — coûte de l'argent réel par token et ajoute plus d'une seconde de latence. Pour une interface de conversation, c'est la différence entre paraître réactif et paraître cassé.

Nous avons donc pris une autre direction. Nous avons affiné DistilBERT — un modèle léger d'environ 67 millions de paramètres — sur un jeu de données personnalisé de sécurité de marque. Pas une analyse de sentiment générique, qui est trop grossière. Un client disant « je suis furieux que mon colis soit en retard » exprime un sentiment négatif, mais c'est sans danger. Un bot disant « nous sommes inutiles » exprime aussi un sentiment négatif, mais c'est catastrophiquement dangereux. Notre modèle distingue les plaintes des clients (sans danger), l'automutilation de la marque (dangereux), la promotion d'un concurrent (dangereux) et la toxicité (dangereux).

Ce modèle spécialisé s'exécute en local. Il traite une réponse en projet en environ 30 millisecondes. S'il prédit « dangereux » avec une grande confiance, l'orchestrateur supprime la réponse avant qu'elle n'atteigne jamais l'utilisateur. Le LLM ne sait même jamais que sa sortie a été bloquée.

Un modèle BERT de 67 millions de paramètres s'exécutant en 30 millisecondes détecte ce qu'un modèle de fondation de mille milliards de paramètres, fonctionnant à plein coût, manquerait — parce que l'indépendance compte plus que l'intelligence lorsqu'on audite pour détecter des biais.

Pour des catégories de sécurité plus larges — violence, discours haineux, contenu sexuel —, nous ajoutons une couche de Llama Guard 3, le classificateur de sécurité de 8 milliards de paramètres de Meta. Il traite les catégories qui exigent plus de nuance, à une latence moyenne. Et si les deux modèles renvoient des scores de confiance ambigus, le système achemine la conversation vers un agent humain. Pas de supposition. Pas d'espérance.

La Constitution : des principes, pas des règles

Anthropic a popularisé l'idée de l'IA constitutionnelle — gouverner un modèle non pas avec des milliers de règles spécifiques, mais avec une courte liste de principes de haut niveau. Nous avons repris ce concept et l'avons rendu opérationnel au moment de l'inférence.

Pour chaque client, nous dérivons une Constitution à partir de ses directives de marque et de ses exigences de conformité juridique. Trois à cinq principes. Des choses comme : l'IA ne doit pas générer de contenu dénigrant la marque ou les concurrents. L'IA ne doit pas employer de grossièretés, même sur demande. L'IA ne doit pas inventer de politiques — elle doit citer les documents récupérés.

Ces principes sont traduits en flux exécutables à l'aide de NVIDIA NeMo Guardrails et de son langage spécialisé, Colang. NeMo agit comme un proxy entre l'utilisateur et le LLM. Lorsqu'une entrée de l'utilisateur correspond à une intention interdite — par exemple, demander de l'écriture créative dans un contexte de service client —, la couche NeMo l'intercepte. Le LLM ne voit jamais la requête. Il n'a jamais l'occasion d'être complaisant, car l'invite dangereuse est arrêtée dès la porte.

C'est là l'idée architecturale déterminante : la meilleure façon d'empêcher un LLM de générer une sortie nuisible est de ne jamais laisser l'entrée nuisible l'atteindre en premier lieu.

Les tests de référence de NVIDIA montrent qu'orchestrer jusqu'à cinq garde-fous n'ajoute qu'environ une demi-seconde de latence tout en augmentant la conformité de 50 %. Pour une interface de conversation, 500 millisecondes sont imperceptibles. C'est une erreur d'arrondi comparée au coût d'une capture d'écran devenue virale.

Quand la probabilité ne suffit pas

L'affaire Air Canada m'a appris quelque chose que j'aurais dû comprendre plus tôt : pour certaines catégories d'information, la génération probabiliste est tout simplement inacceptable.

Les politiques de remboursement. Les tarifs. Les heures d'ouverture. L'admissibilité au tarif de deuil. Ce ne sont pas des questions d'interprétation. Ce sont des faits. Binaires. Oui ou non. Et pourtant, l'approche standard RAG (génération augmentée par récupération) laisse toujours le LLM interpréter le document récupéré, ce qui signifie qu'il peut encore halluciner, encore enjoliver, encore prendre des libertés avec la vérité.

Nous avons mis en œuvre ce que j'appelle le Raisonnement Graphe d'Abord pour ces domaines à forte responsabilité. Le LLM extrait les entités de la requête de l'utilisateur — sujet, motif, statut. Ensuite, un moteur de règles déterministe exécute la logique métier réelle. SI le motif est un deuil ET que le voyage est terminé, ALORS l'admissibilité au remboursement est fausse. Du code. Pas une prédiction. Pas une probabilité. Du code.

Ce n'est qu'après que le moteur de règles a produit une réponse définitive que le LLM intervient — et son unique rôle est d'articuler cette réponse avec empathie. « Je suis désolé, mais conformément à notre politique, les réductions de tarif de deuil ne peuvent pas être appliquées rétroactivement une fois le voyage terminé. » Le LLM n'a pas décidé cela. Il ne peut pas le contredire. Il est contraint à traduire une sortie déterministe en langage naturel.

Le LLM est la voix, pas le cerveau. Il articule des décisions prises par du code. Il ne peut pas halluciner la politique parce qu'il ne décide jamais de la politique.

Pour le décryptage technique complet de cette architecture à plusieurs niveaux — y compris les configurations Colang, la méthodologie d'affinage de BERT et la liste de contrôle de conformité juridique que nous avons dérivée de la décision Moffatt — consultez notre analyse technique approfondie.

« Mais qu'en est-il des agents ? »

Les gens me demandent sans cesse si les garde-fous auront encore de l'importance une fois que nous passerons aux agents IA autonomes — des systèmes qui ne se contentent pas de discuter, mais qui font réellement des choses. Traiter des remboursements. Transférer des fonds. Mettre à jour des dossiers.

Ma réponse est que les garde-fous ne comptent pas seulement davantage pour les agents — ils deviennent existentiels.

Un chatbot qui jure est un problème de relations publiques. Un agent qui transfère 50 000 $ sur la base d'une politique hallucinée est un problème de solvabilité. L'architecture composée que nous avons bâtie s'adapte aux agents précisément parce que les garde-fous enveloppent la couche d'utilisation des outils, et pas seulement la couche de génération de texte. Un agent dans notre système ne peut pas appeler la fonction process_refund à moins que des conditions déterministes spécifiques — vérifiées par du code, et non prédites par un modèle — ne soient remplies. Peu importe la force de persuasion de l'invite de l'utilisateur. Peu importe le nombre de tours d'escalade émotionnelle qu'il déploie.

C'est là que l'architecture « wrapper » n'échoue pas seulement en douceur — elle échoue de façon catastrophique. Un wrapper autour d'un agent est une responsabilité juridique munie d'une clé d'API.

L'économie qui dérange

Je veux aborder une chose que les gens pensent mais disent rarement à voix haute : « Les garde-fous ont l'air coûteux et lents. Mes concurrents livrent plus vite sans eux. »

Voici le calcul qui a changé mon avis sur cette objection.

Un modèle DistilBERT affiné, fonctionnant comme une porte d'entrée, ne coûte pratiquement rien — il s'exécute sur CPU, traite en millisecondes. Si ne serait-ce que 20 % de votre trafic est hors sujet, adversarial ou malveillant, cette porte réduit vos coûts totaux d'inférence du modèle de fondation de 20 %. Le garde-fou se rentabilise avant même d'avoir empêché le moindre désastre. Ce n'est pas un centre de coûts. C'est un réducteur de coûts qui, en prime, prévient aussi les procès.

Et les attaques par « déni de portefeuille » — où des acteurs malveillants envoient des invites complexes et longues spécifiquement pour épuiser votre budget d'API — constituent une menace réelle et croissante. Un classificateur BERT à la porte les arrête net.

Les garde-fous de l'IA d'entreprise ne sont pas une taxe sur la vitesse. Un classificateur léger à la porte d'entrée peut réduire les coûts d'inférence de 20 % tout en prévenant simultanément le genre de défaillance qui coûte des millions en litiges et en réputation.

Les entreprises qui livrent sans garde-fous ne vont pas plus vite. Elles accumulent une dette — dette juridique, dette de réputation, dette technique — qui s'aggrave à chaque interaction. DPD l'a appris en un après-midi. Air Canada l'a appris dans une salle d'audience.

Ce que je crois vraiment

J'ai passé l'année écoulée à construire des systèmes pour résoudre un problème que la majeure partie du secteur considère encore comme théorique. Il n'est pas théorique. DPD était réel. Air Canada était réel. Le prochain — celui qui impliquera un bot de services financiers hallucinant un taux d'intérêt, ou un bot de santé inventant une interaction médicamenteuse — sera pire.

L'ère du wrapper LLM est révolue. Non pas parce que les wrappers ne fonctionnent pas la plupart du temps — c'est le cas. Mais « la plupart du temps » est une norme dénuée de sens lorsque le mode de défaillance est un litige, une action réglementaire ou un moment viral qui endommage la confiance de manière permanente.

L'architecture qui la remplace n'a rien d'exotique. Ce sont des systèmes composés dotés de garde-fous constitutionnels : de multiples modèles spécialisés travaillant de concert, une logique déterministe pour les décisions à forte responsabilité, et un système immunitaire qui fonctionne indépendamment du modèle même qu'il protège. Nous remplaçons les wrappers par des systèmes composés. Nous remplaçons la politique probabiliste par une logique déterministe. Nous remplaçons les filtres génériques par des modèles secondaires affinés, entraînés sur les manières spécifiques dont votre IA peut trahir votre marque.

Rien de tout cela ne nécessite d'abandonner l'IA générative. Cela exige de respecter ce qu'est réellement l'IA générative — une voix puissante et peu fiable qui a besoin d'une architecture autour d'elle pour être sûre. Le LLM est le stagiaire le plus éloquent que vous ayez jamais embauché. Brillant en communication. Désastreux en jugement. Vous ne laisseriez pas un stagiaire fixer la politique de remboursement. Ne laissez pas votre LLM le faire non plus.

Les entreprises qui comprennent cela en premier n'éviteront pas seulement le prochain moment DPD. Elles seront celles dont les clients font réellement confiance à l'IA — ce qui, à long terme, est le seul avantage concurrentiel qui compte.