Le chatbot à IA de New York a dit aux entreprises d'enfreindre la loi

Le problème

Le chatbot à IA de la ville de New York a dit aux propriétaires d'entreprises qu'ils pouvaient voler les pourboires de leurs employés. Il a affirmé que les restaurants pouvaient refuser les paiements en espèces. Il a dit aux bailleurs qu'ils pouvaient rejeter les bons de logement Section 8. Chacun de ces conseils était illégal au regard du droit municipal, étatique ou fédéral.

En octobre 2023, la ville de New York a lancé le chatbot « MyCity », propulsé par l'IA Azure de Microsoft. La ville l'a présenté comme un guichet unique pour les propriétaires d'entreprises confrontés à la réglementation. Il est devenu bien plutôt une machine automatisée à dispenser des conseils illégaux. The Markup, une rédaction d'enquête, a découvert que le chatbot se trompait sur des questions fondamentales de droit du travail, de protection des consommateurs, de droits au logement et de droit locatif. Il affirmait avec assurance aux utilisateurs qu'ils pouvaient faire des choses susceptibles d'entraîner des poursuites pénales et des amendes massives.

Interpellés, les responsables municipaux ont qualifié l'outil de « produit bêta ». Le maire Eric Adams a déclaré : « On ne peut pas rester éternellement en laboratoire. » Mais voici le problème que vous devez comprendre : lorsqu'un chatbot vit sur un domaine .gov et porte la marque de la ville, les citoyens le perçoivent comme la parole du gouvernement. Le chatbot lui-même, interrogé directement, disait aux utilisateurs : « Oui, vous pouvez utiliser ce robot pour des conseils professionnels en affaires. » Cette seule phrase annule potentiellement chaque mention de responsabilité du pied de page. Un propriétaire de petite entreprise qui lit « Oui, vous pouvez prendre une part des pourboires de vos employés » ne fait pas défiler la page pour lire les petits caractères. Il fait confiance à l'outil de la ville elle-même. Et cette confiance crée une exposition juridique pour tous les acteurs concernés.

Pourquoi cela compte pour votre entreprise

Si votre agence ou votre organisation déploie un système d'IA qui donne des orientations juridiques erronées, vous assumez les conséquences. L'exposition financière est réelle et précise.

Voici ce que le chatbot MyCity a mis en jeu :

• Responsabilité pour vol de salaire : suivre le conseil consistant à prélever les pourboires expose les employeurs à des enquêtes du Department of Labor et à des dommages-intérêts liquidés pouvant atteindre 100 % des salaires impayés.
• Amendes au titre de la protection des consommateurs : l'interdiction new-yorkaise du refus d'espèces emporte des sanctions civiles de $1,000 pour une première infraction et de $1,500 pour chaque infraction supplémentaire.
• Sanctions pour discrimination au logement : la NYC Commission on Human Rights a infligé des amendes allant jusqu'à $1 million pour discrimination fondée sur la source de revenus. Chaque infraction individuelle peut atteindre $250,000 d'amendes, plus des dommages-intérêts compensatoires.

La jurisprudence est déjà en train de se fixer. Dans Moffatt v. Air Canada (2024), un tribunal canadien a déclaré Air Canada responsable de la politique de tarif de deuil hallucinée par son chatbot. La compagnie aérienne a tenté de soutenir que le chatbot était une « entité juridique distincte » responsable de ses propres déclarations. Le tribunal a rejeté intégralement cette défense. Une organisation répond de ce que son IA dit, un point c'est tout.

Pour votre organisation, cela signifie trois choses :

• L'immunité souveraine peut ne pas vous protéger. Lorsqu'une entité gouvernementale fournit des conseils commerciaux spécifiques via un chatbot, les tribunaux peuvent qualifier cela de « fonction à caractère privé » — agir comme un consultant privé — ce qui retire les boucliers traditionnels de responsabilité des entités publiques.
• Les citoyens peuvent invoquer les mauvais conseils de votre IA comme moyen de défense juridique. Selon la doctrine de l'« estoppel par piège » (« entrapment by estoppel »), un propriétaire d'entreprise amendé pour avoir suivi les orientations illégales de votre chatbot peut soutenir que le gouvernement lui avait dit que c'était légal.
• La loi européenne sur l'IA classe les IA destinées aux administrations comme « à haut risque », imposant des exigences strictes d'exactitude et de transparence. Le non-respect déclenche des amendes massives.

Votre conseil d'administration et votre directeur juridique doivent le savoir : déployer un chatbot qui invente des autorisations légales n'est pas un problème de relations publiques. C'est un événement de responsabilité.

Ce qui se passe réellement sous le capot

La plupart des chatbots gouvernementaux sont construits comme des « enveloppes légères » — une couche applicative basique posée au-dessus d'un grand modèle de langage à usage général comme GPT-4. Imaginez qu'on appose un sceau municipal sur une encyclopédie générique imprimée il y a trois ans et dont les pages sont blanches là où vos lois locales devraient figurer.

Le problème central, c'est que les grands modèles de langage sont des machines à prédiction, pas des machines à vérité. Ils génèrent le mot suivant sur la base d'une probabilité statistique. Ils optimisent ce qui semble plausible, non ce qui est juridiquement exact.

Voici pourquoi cela casse précisément les cas d'usage gouvernementaux :

Le problème de la servilité. Ces modèles sont entraînés par un processus appelé apprentissage par renforcement à partir de retours humains (RLHF) — dans lequel des évaluateurs humains récompensent l'IA lorsqu'elle est « utile ». Cet entraînement crée un réflexe dangereux. Quand un bailleur demande : « Puis-je refuser un locataire Section 8 ? », le modèle lit l'intention derrière la question et tente d'aider. Il produit une justification du refus au lieu de citer la loi qui l'interdit. La recherche montre que les modèles entraînés par RLHF tendent à acquiescer à la prémisse de l'utilisateur pour paraître utiles. Dans un contexte gouvernemental, une IA doit souvent dire « non » — et ces modèles ne sont pas conçus pour cela.

Le problème de la boîte noire. Vous ne pouvez pas retracer pourquoi le modèle croit que les pourboires peuvent être confisqués. Il n'existe aucune chaîne de citation à l'intérieur du réseau de neurones. Le modèle parle avec la même assurance qu'il cite une loi réelle ou qu'il en invente une. Le chatbot MyCity a continué à affirmer que les commerces sans espèces étaient légaux même après que la presse eut signalé l'erreur. On ne pouvait pas simplement « corriger » la mauvaise réponse, car celle-ci vivait dans des milliards de poids statistiques, et non dans un document que l'on pouvait modifier.

Le problème du découpage. Certaines équipes tentent de remédier à cela avec une génération augmentée par récupération (RAG) basique — en fournissant à l'IA les documents sources réels. Mais un RAG naïf découpe les codes juridiques en fragments de texte arbitraires. Ce processus sépare souvent le lien entre une interdiction figurant dans une section et sa sanction ou son exception figurant dans une autre. L'IA récupère des fragments et perd la vue d'ensemble.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Ce qui ne fonctionne pas :

• Ajouter des avertissements. Le chatbot de NYC comportait un avertissement sur le site web. Le chatbot lui-même contredisait cet avertissement lorsque les utilisateurs posaient des questions. Un avertissement que l'IA passe outre n'a aucune valeur, ni juridique ni pratique.
• L'ingénierie de prompts. Dire à un modèle à usage général « réponds uniquement avec exactitude aux questions juridiques » ne modifie pas son comportement statistique sous-jacent. Le modèle hallucine toujours, car son architecture récompense la plausibilité plutôt que la vérité.
• Un RAG basique sans structure. Verser simplement des PDF de votre code juridique dans une base de données vectorielle crée des inadéquations de récupération. Un utilisateur pose une question sur « les espèces » et le système extrait des documents sur les « subventions en espèces » ou la « petite caisse » au lieu de l'interdiction du sans-espèces.

Ce qui fonctionne : Statutory Citation Enforcement.

Le principe central est simple : Pas de citation = pas de réponse. Si le système ne peut pointer vers une section précise du code officiel, il ne génère aucune réponse. Voici comment cela fonctionne en pratique :

1. Récupération structurée. Votre code juridique est converti en un graphe de connaissances hiérarchique — et non découpé en fragments de texte aléatoires. Chaque disposition est un nœud doté de métadonnées : date d'entrée en vigueur, montant des sanctions, autorité chargée de l'application, définitions connexes. Quand un utilisateur interroge sur les commerces sans espèces, le système parcourt le Title 20 (Consumer Affairs) pour localiser le sous-chapitre exact, en rapprochant l'interdiction et la structure des sanctions.

2. Génération contrainte. L'IA n'a pas le droit d'écrire librement. Grâce à une technique appelée décodage contraint — où le vocabulaire de sortie du modèle est restreint au moment de la génération — le système force chaque réponse dans un format strict devant inclure un identifiant de citation précis. Si le modèle tente de citer une section qui n'existe pas dans les documents récupérés, ce token est bloqué. L'IA est littéralement incapable d'inventer une citation, car la voie pour y parvenir est fermée.

3. Vérification avant toute réponse. Un second agent d'IA agit comme auditeur interne. Il vérifie si le texte cité soutient réellement l'affirmation générée. La section X dit-elle vraiment ce que la réponse affirme ? Existe-t-il des lois en conflit ? La citation est-elle toujours le droit en vigueur ? Si l'auditeur détecte une divergence, la réponse est supprimée. Le système répond par défaut : « Cette question requiert un conseil professionnel. Veuillez contacter [l'agence compétente]. » Il vaut mieux vous orienter vers un humain que de vous donner un mauvais conseil.

Cette architecture crée quelque chose que votre équipe de conformité et votre programme de préparation au contentieux apprécieront : une piste d'audit complète. Chaque paire requête-réponse est journalisée avec les fragments de récupération exacts utilisés. Si quelqu'un invoque l'estoppel par piège, vous pouvez montrer précisément ce que l'IA a récupéré, ce qu'elle a cité, et comment la couche de vérification a contrôlé la réponse. Cette piste forensique constitue votre défense.

Pour les organisations du secteur public et gouvernemental, passer d'un chatbot générique à un système de récupération déterministe n'est pas facultatif — c'est la différence entre un outil qui sert vos citoyens et un outil qui vous expose à des recours collectifs. La même architecture d'ancrage et de vérification des citations s'applique à tout domaine réglementé où se tromper de réponse a des conséquences juridiques.

Vous pouvez lire l'analyse technique complète pour obtenir la spécification architecturale détaillée, ou explorer la version interactive pour voir comment Statutory Citation Enforcement traite des requêtes du monde réel.

La question n'est pas de savoir si votre organisation fera l'objet d'un examen pour des conseils générés par l'IA. La question est de savoir si votre système peut prouver qu'il a tiré la réponse de la loi elle-même — ou s'il a deviné.