Le problème
Le chatbot d'Air Canada a indiqué à un passager endeuillé qu'il pouvait acheter un billet au tarif plein et réclamer un remboursement pour raisons familiales dans les 90 jours. Cette politique n'existait pas. Le chatbot l'avait inventée. Quand le passager a réclamé son remboursement, Air Canada a refusé — la politique réelle interdisait tout remboursement après le voyage. Le passager a poursuivi la compagnie en justice, et la compagnie aérienne a tenté quelque chose de remarquable : elle a soutenu que le chatbot était une « entité juridique distincte », responsable de ses propres erreurs.
Le tribunal a rejeté cette défense sans appel. Le membre du tribunal Christopher Rivers a statué qu'« Air Canada ne pouvait se dissocier de son chatbot IA ». Le tribunal a estimé qu'il n'existe aucune différence significative entre un agent humain, une page web statique et un bot interactif. Tous parlent au nom de votre entreprise. Tous engagent votre entreprise.
Ce n'était pas un incident isolé. C'était une défaillance prévisible du fonctionnement de la plupart des systèmes d'IA d'entreprise actuels. Votre chatbot ne « connaît » pas vos politiques. Il prédit à quoi ressemble une bonne réponse à partir de régularités statistiques. Quand il semble sûr de lui, vos clients lui font confiance. Quand il se trompe, c'est vous qui payez. La jurisprudence Moffatt c. Air Canada a établi que les hallucinations de l'IA — des réponses que le modèle fabrique avec une autorité assurée — sont juridiquement qualifiées de déclaration inexacte par négligence. Si votre IA le dit, votre entreprise l'a signé.
Pourquoi cela compte pour votre entreprise
Le risque financier ici n'est pas théorique. Les pertes mondiales dues aux hallucinations de l'IA ont atteint 67,4 milliards de dollars en 2024. Ce chiffre englobe les indemnisations directes, les amendes réglementaires, les frais juridiques, l'atteinte à la marque et le coût caché des employés qui vérifient manuellement le travail de l'IA.
Ce coût caché est à lui seul vertigineux. Selon Forrester Research, chaque employé d'entreprise consacre environ 14 200 dollars par an à l'atténuation des hallucinations — c'est-à-dire à vérifier les productions de systèmes d'IA qui ne sont pas fiables d'eux-mêmes.
Les dommages-intérêts dans l'affaire Moffatt étaient modestes — environ 800 dollars. Mais c'est le précédent qui compte. Voici ce qu'il signifie pour votre organisation :
- Tout chatbot qui aborde les prix, les remboursements, les garanties ou les conditions de service peut désormais créer des modifications contractuelles contraignantes. Votre IA peut réécrire vos engagements d'entreprise en temps réel.
- La défense de la « boîte noire » est morte. Vous ne pouvez pas soutenir que vous ne compreniez pas comment l'IA est parvenue à sa réponse. Le tribunal se moque de la complexité technique de votre système.
- La défense « l'information correcte était sur notre site web » a échoué. Air Canada a désigné ses pages statiques où figurait la véritable politique. Le tribunal a jugé que cela n'avait aucune importance — la déclaration de votre IA compte aussi.
- Le risque de recours collectif augmente. Cette décision signale aux avocats des demandeurs du monde entier que les productions d'une IA sont actionnables en justice. Une seule hallucination portant sur un produit financier peut générer des millions en responsabilité.
Le marché des outils de détection des hallucinations a cru de 318 % entre 2023 et 2025. Cette croissance reflète un secteur en mode crise. Vos concurrents s'affolent. Vos régulateurs observent. Votre conseil d'administration doit comprendre que ce n'est pas un problème informatique — c'est un risque de bilan.
Ce qui se passe réellement sous le capot
Pour comprendre pourquoi cela se reproduit sans cesse, vous devez retenir une chose sur le fonctionnement des grands modèles de langage : ils prédisent le mot suivant. C'est tout. Ils ne consultent pas votre politique de remboursement dans une base de données. Ils ne raisonnent pas à partir de vos conditions juridiques. Ils génèrent un texte qui paraît statistiquement plausible d'après les motifs présents dans leurs données d'entraînement.
Pensez-y ainsi. Imaginez que vous embauchiez un brillant nouvel employé ayant mémorisé des milliers de manuels d'entreprise provenant de centaines de compagnies aériennes différentes. Lorsqu'un client demande des précisions sur votre politique de remboursement, cet employé ne consulte pas votre manuel spécifique. À la place, il compose une réponse qui ressemble à ce que dirait une politique de remboursement, en puisant dans tout ce qu'il a jamais lu. Parfois, il tombe juste. Bien souvent, non.
Même les meilleurs modèles — Gemini 2.0 de Google, GPT-4o d'OpenAI — conservent un taux d'hallucination de base compris entre 0,7 % et plus de 25 %, selon la complexité de la tâche. Un taux d'erreur de 0,7 % paraît faible. Mais si votre IA traite un million de requêtes clients par mois, cela fait 7 000 violations réglementaires, états financiers erronés ou promesses de remboursement fantômes potentiels.
Le vrai danger : ces modèles sont « sûrs d'eux mais dans l'erreur ». Ils énoncent des fabrications sur le même ton autoritaire que celui qu'ils emploient pour les faits. Vos clients ne voient pas la différence. Pas davantage que votre personnel de première ligne qui relit les transcriptions après coup.
Beaucoup de fournisseurs vendent la génération augmentée par récupération (RAG) — une technique consistant à fournir à l'IA vos véritables documents sources — comme la solution miracle. Or le chatbot d'Air Canada avait vraisemblablement accès à la bonne politique. Il fournissait même un lien vers celle-ci. Le bot a néanmoins résumé la politique de façon erronée. Donner à l'IA la bonne information ne suffit pas quand le moteur de raisonnement lui-même n'est pas fiable. Le RAG apporte la connaissance. Il ne garantit nullement que l'IA la suivra.
Ce qui fonctionne (et ce qui ne fonctionne pas)
Avant d'investir dans une solution, vous devez comprendre ce qui ne vous protègera pas :
L'ingénierie de prompts seule : demander à l'IA de « répondre uniquement sur la base de la politique de l'entreprise » est une suggestion, pas une contrainte. Le modèle peut l'ignorer — et il l'ignorera — dans certaines conditions. Les instructions de prompt ne constituent pas des garde-fous applicables.
Les avertissements et les petits caractères : Air Canada affichait une information exacte sur ses pages web statiques. Le tribunal a jugé que cela ne l'avait pas protégée. Dire aux clients de « vérifier auprès des sources officielles » ne défera pas une promesse contraignante déjà formulée par votre IA.
Un RAG naïf sans validation : se contenter de verser vos documents dans une base de données vectorielle en espérant que l'IA les lira correctement a échoué précisément dans l'affaire qui a créé ce précédent. La recherche de similarité sémantique peut retrouver le mauvais document — en renvoyant « délais de traitement des remboursements » alors que la question portait sur l'« admissibilité aux remboursements ».
Ce qui fonctionne, c'est une couche d'action déterministe (DAL) — un système qui sépare la conversation des décisions de conformité. Concrètement, voici comment cela opère :
Classification des entrées : lorsqu'un client envoie un message, un routeur sémantique — un système qui lit l'intention derrière les mots — détermine si la question touche un sujet restreint tel que les remboursements, les prix, les conditions juridiques ou les garanties. Ce routeur se situe hors du modèle d'IA, de sorte que les attaques par injection de prompt conçues pour piéger l'IA ne peuvent pas le contourner.
Traitement déterministe : si la requête touche un sujet restreint, il n'est pas permis au modèle d'IA de générer une réponse. Le système exécute à la place une logique codée en dur — un vrai code logiciel qui interroge votre base de données. Pour une question de remboursement, il exécute quelque chose comme : « Si le statut du billet vaut 'voyagé', renvoyer 'aucun remboursement autorisé'. »
Sortie contrôlée : le code renvoie un résultat vérifié. L'unique tâche de l'IA consiste à envelopper ce résultat dans une phrase polie. Une validation de sortie confirme ensuite que la réponse finale correspond aux données renvoyées par le code. Si le système rencontre une question pour laquelle aucune règle n'existe, il n'improvise pas. Il dit : « Je ne peux pas répondre directement à cette question. Permettez-moi de vous mettre en relation avec un spécialiste. »
Cette approche — dite architecture neuro-symbolique, qui associe les compétences langagières de l'IA à une logique stricte fondée sur des règles — vous offre ce qu'aucun simple habillage d'IA ne peut procurer : une piste d'audit complète. Chaque décision remonte à une règle précise, à une requête précise en base de données et à un chemin de code précis. Quand un régulateur ou un tribunal demande « pourquoi votre système a-t-il dit cela », vous pouvez montrer exactement ce qui s'est passé, et pourquoi.
Cette capacité d'audit répond directement à l'article 22 du RGPD, qui reconnaît aux individus le droit d'obtenir une explication lorsque des systèmes automatisés prennent des décisions qui les concernent. Elle satisfait également l'exigence de supervision humaine de l'article 14 de l'AI Act européen ainsi que les normes de documentation exigées par l'ISO 42001 pour les systèmes de gestion de l'IA.
Pour les organisations gouvernementales et du secteur public qui gèrent des services tournés vers les citoyens, cette architecture n'est pas optionnelle. Quand votre IA aborde l'admissibilité aux prestations, les obligations fiscales ou les exigences de permis, chaque réponse porte le poids de l'autorité publique. Une politique hallucinée émanant d'un chatbot gouvernemental ne crée pas seulement une responsabilité — elle érode la confiance du public dans les services numériques.
Le principe fondamental est simple : laissez l'IA traiter le langage. Ne laissez jamais l'IA prendre les décisions. Vos politiques appartiennent au code, pas au hasard probabiliste. Vous pouvez lire l'analyse technique complète pour le plan d'ingénierie détaillé, ou explorer la version interactive pour une visite guidée de l'architecture.
Votre IA doit être un traducteur, pas un décideur. Elle traduit les questions des clients en requêtes vers la base de données, et les réponses de la base de données en langage humain. La décision s'opère dans un code que vous contrôlez, auditez et mettez à jour — pas à l'intérieur d'un réseau de neurones que vous ne pouvez pas inspecter.
Points clés
- Les tribunaux considèrent désormais les déclarations des chatbots IA comme des promesses d'entreprise légalement contraignantes — la défense « ce n'est qu'un bot » a été rejetée dans l'affaire Moffatt c. Air Canada.
- Les pertes mondiales dues aux hallucinations de l'IA ont atteint 67,4 milliards de dollars en 2024, les entreprises dépensant environ 14 200 dollars par employé et par an rien que pour vérifier les productions de l'IA.
- Fournir à l'IA vos documents exacts (RAG) ne suffit pas — le chatbot d'Air Canada avait accès à la bonne politique et en a malgré tout fabriqué une erronée.
- Les couches d'action déterministes séparent la conversation de la conformité en orientant les questions sensibles vers des règles codées en dur plutôt que vers des réponses générées par l'IA.
- Chaque décision de conformité devrait produire une piste logique auditable, et non une conjecture probabiliste — c'est ce que demanderont les régulateurs et les tribunaux.
En résumé
Votre chatbot IA fait déjà des promesses au nom de votre entreprise, et les tribunaux vous y tiendront — même si l'IA a inventé la promesse. La solution est architecturale : séparez ce que l'IA dit de ce que votre entreprise décide, en utilisant des règles codées en dur pour tout ce qui touche à l'argent, aux politiques ou aux conditions juridiques. Posez la question à votre fournisseur d'IA : quand votre chatbot indique à un client qu'il a droit à un remboursement, pouvez-vous me montrer la règle exacte et la requête en base de données qui ont produit cette réponse ?