J'ai donné la loi exacte à un chatbot gouvernemental. Il a quand même dit aux propriétaires de l'enfreindre.

En mars 2024, une journaliste de The Markup a posé au chatbot officiel de la ville de New York une question toute simple : un propriétaire peut-il refuser un locataire disposant d'un bon de la Section 8 ?

Le bot — MyCity, en ligne sur un domaine .gov, entraîné sur plus de 2 000 pages web de la ville, fonctionnant sur l'Azure AI de Microsoft — a répondu oui. Les propriétaires n'ont pas besoin d'accepter ces bons, a-t-il expliqué, obligeamment.

Cette réponse est illégale. La Human Rights Law de New York interdit la discrimination fondée sur la source de revenus depuis 2008, avec des amendes atteignant 250 000 $. Le chatbot n'a pas nuancé, n'a pas mis en garde, n'a pas dit « consultez un avocat ». Il a donné une réponse assurée, fluide et fausse, et il l'a fait en arborant le sceau de la Ville de New York.

J'ai passé un samedi de ce printemps-là à lire l'enquête de The Markup avec le véritable Administrative Code de New York ouvert dans un autre onglet, comparant ce que disait le bot à ce que disait la loi, ligne par ligne. C'est là qu'est née, pour moi, l'idée d'une IA gouvernementale qui cite la loi au lieu de l'inventer — non pas dans une présentation stratégique, mais dans l'écart entre une capture d'écran et un texte de loi. Le bot n'était pas confus. Il fonctionnait exactement comme prévu. Et c'était la conception le problème.

Le chatbot qui a dit aux New-Yorkais d'enfreindre quatre lois différentes

MyCity ne s'est pas trompé sur un seul point. The Markup a documenté un schéma récurrent à travers les rouages fondamentaux de la vie municipale.

Il a dit aux chefs d'entreprise qu'ils pouvaient prélever une part des pourboires de leurs employés — illégal en vertu du Fair Labor Standards Act et de la New York Labor Law, le genre de chose qui se termine par des poursuites pour vol de salaire et des dommages-intérêts liquidés. Il a dit aux commerces qu'ils pouvaient passer au sans-espèces et refuser l'argent liquide, ce que l'Administrative Code § 20-840 de New York interdit précisément pour protéger les résidents non bancarisés. Il a dit aux propriétaires qu'ils pouvaient mettre les locataires à la porte, ce qui constitue une infraction pénale après trente jours d'occupation.

Chaque réponse était illégale. Chaque réponse portait l'imprimatur de la ville.

La réponse de la ville a été d'ajouter des avertissements. Mais le bot continuait allègrement de les contredire dans son propre texte — allant jusqu'à dire à un utilisateur : « Oui, vous pouvez utiliser ce bot pour des conseils professionnels. » Le maire entrant, Zohran Mamdani, a plus tard qualifié l'outil de « fonctionnellement inutilisable » et a entrepris de le supprimer. À ce moment-là, le programme avait coûté à la ville environ 500 000 $, une ligne budgétaire qui paraît particulièrement sinistre face à un déficit de 12 milliards de dollars.

Voici la partie qui m'a empêché de dormir. Personne n'avait entrepris de construire une machine à enfreindre la loi. Une équipe compétente a entraîné un modèle raisonnable sur de vraies données municipales et l'a mis en production. La défaillance était inscrite dans l'architecture qu'ils avaient choisie, et presque tous les gouvernements qui déploient un chatbot aujourd'hui choisissent la même.

Pourquoi un modèle de langage a-t-il pour comportement par défaut d'enfreindre la loi ?

Il faut comprendre ce qu'un grand modèle de langage optimise réellement. C'est un moteur de probabilités. Posez-lui une question et il produit la continuation statistiquement la plus plausible — la réponse qui ressemble au genre de réponse qui suit habituellement ce genre de question.

Pensez maintenant à ce que contiennent ses données d'entraînement. Lorsqu'un propriétaire demande « Puis-je refuser ce locataire ? », le schéma dominant sur l'ensemble d'internet est le droit général des contrats : les propriétaires ont le droit de choisir à qui ils louent. C'est vrai presque partout. La disposition spécifique de New York interdisant la discrimination fondée sur la source de revenus est une exception locale étroite, un signal faible noyé par le signal large. Le modèle se saisit du schéma qu'il a vu dix mille fois, et non de la loi qui s'applique dans ce pâté de maisons précis.

Ensuite, l'apprentissage par renforcement aggrave les choses. Les chatbots modernes sont réglés pour être serviables, ce qui, en pratique, signifie complaisants — ils ont tendance à donner à l'utilisateur ce qu'il semble vouloir. Un propriétaire qui demande comment refuser un locataire se lit, pour le modèle, comme « aide-moi à refuser ce locataire ». Alors il aide. Il dit oui.

Un chatbot gouvernemental doit être prêt à ne pas vous rendre le service que vous voulez pour être honnête sur ce que dit la loi. Cet instinct est l'exact opposé de celui que ces modèles sont entraînés à avoir.

C'est là le piège. Les qualités qui rendent un chatbot grand public délicieux — la fluidité, la complaisance, l'assurance d'avoir toujours une réponse — sont les qualités qui rendent un chatbot juridique gouvernemental dangereux.

Pourquoi le RAG n'a-t-il pas réglé le problème ?

Pendant environ une semaine, j'étais certain de connaître la réponse, et je me trompais d'une manière qui m'a enseigné tout le problème.

La solution évidente est la génération augmentée par récupération — le RAG. Au lieu de laisser le modèle répondre de mémoire, on récupère d'abord les documents réellement pertinents et on les fournit au modèle comme contexte. Donnez-lui la vraie loi, se dit-on, et il cessera d'inventer. Nous avons construit un pilote pour le prouver.

La récupération fonctionnait à merveille. Je posais la question sur la Section 8 et je regardais le système extraire dans le contexte la disposition exacte relative à la source de revenus — la bonne loi, juste là, dans l'invite. Et puis le modèle la lisait et répondait quand même « oui, vous pouvez refuser le bon ». Je me souviens d'être resté à fixer cela, parce que c'était pire que ce à quoi je m'attendais. La récupération fonctionnait. Le raisonnement, lui, pas. Le modèle avait la bonne loi sous les yeux et choisissait quand même son a priori d'entraînement, ou lisait mal la disposition, ou assemblait une réponse plausible à partir de la mauvaise combinaison de passages récupérés.

Ce n'est pas un bug que nous aurions introduit. C'est l'état de l'art documenté. Des chercheurs de Stanford ont testé les outils d'IA juridique commerciaux conçus exactement pour cela — augmentés par récupération, développés de manière professionnelle — et le meilleur d'entre eux, Lexis+ AI de LexisNexis, hallucinait encore 17 % du temps. L'AI-Assisted Research de Westlaw atteignait 33 %. Ce sont des outils vendus à des avocats pour des centaines de dollars par mois, et une réponse sur cinq à une sur trois est fabriquée de toutes pièces.

La récupération amène le bon document dans la pièce. Elle ne fait rien pour empêcher le modèle de l'ignorer.

J'ai donc dû abandonner l'hypothèse dont j'étais parti. Le RAG n'est pas l'architecture. Le RAG est un composant, et à lui seul il déplace la défaillance de « le modèle ne connaît pas la loi » à « le modèle connaît la loi et la contredit » — ce qui, sur un domaine gouvernemental, est sans doute la défaillance la plus dangereuse, parce qu'il y a désormais une citation juste à côté de la mauvaise réponse, qui la fait paraître autorisée.

La responsabilité dont personne ne lit les petites lignes

Un chatbot grand public qui se trompe 17 % du temps agace les gens. Un chatbot gouvernemental accumule une exposition juridique à chaque réponse.

Il existe une doctrine dont la plupart des technologues n'ont jamais entendu parler et qui compte énormément ici. Les gouvernements sont généralement protégés des poursuites pour leurs fonctions « discrétionnaires » — les décisions de jugement propres au gouverner. Mais lorsqu'un gouvernement fournit à un citoyen un conseil spécifique et actionnable, les tribunaux traitent cela comme une fonction propriétaire, au même titre que ce que ferait un consultant privé. Les fonctions propriétaires ne bénéficient pas de l'immunité souveraine. Alors, quand MyCity a dit à un chef d'entreprise qu'il pouvait empocher les pourboires de ses employés, la ville agissait, en effet juridique, comme un conseiller non agréé donnant un mauvais conseil digne d'une faute professionnelle — sans l'immunité dont elle aurait bénéficié pour une véritable décision gouvernementale.

Et la loi s'empresse de rendre cela explicite. Le Senate Bill S7263 de New York, arrivé en séance au Sénat le 26 février 2026, interdirait aux chatbots de donner des conseils professionnels de fond et créerait un droit d'action privé — c'est-à-dire qu'un citoyen lésé par le conseil d'un chatbot pourrait poursuivre en justice pour dommages réels plus honoraires d'avocat. À travers le pays, les observatoires législatifs ont recensé 78 projets de loi sur la sécurité des chatbots dans 27 États à l'approche de 2026. Pour tout gouvernement au service de résidents en Europe, l'EU AI Act classe l'IA de service public à destination des citoyens comme à haut risque, avec des sanctions atteignant 15 millions d'euros ou 3 % du chiffre d'affaires mondial à mesure que les obligations entrent en vigueur en août 2026.

Lorsqu'un conseiller m'a dit, au tout début, de simplement affiner GPT et de le mettre en production pour un pilote gouvernemental, voici la conversation que nous avons eue. « Généralement juste » est une norme acceptable pour un moteur de recommandation de films. Sur un domaine .gov, dans cet environnement réglementaire, un système qui se trompe avec assurance un sixième du temps n'est pas une fonctionnalité de produit à peaufiner. C'est un droit d'action privé qui attend son plaignant.

La partie que tout le monde sous-estime : le code lui-même est un fouillis

Avant même que l'une quelconque des questions relatives au modèle ne compte, il y a un problème qui n'apparaît pas dans les démos et qui coule discrètement les déploiements réels : la loi n'est pas dans une base de données.

Je l'ai appris de façon viscérale la première fois que je me suis assis avec un véritable code municipal — un PDF avec les amendements de chapitre numérotés à la main dans les marges, parce que la version faisant autorité d'un arrêté municipal est un document qu'un greffier édite depuis des décennies. Les codes municipaux existent dans des dizaines de formats incompatibles à travers le pays — PDF, HTML hérité, systèmes de publication propriétaires — et, au sein d'une même ville, ils sont maintenus de manière asynchrone par des services qui ne se coordonnent pas. Le zonage est mis à jour selon un calendrier, le code de la santé selon un autre. La « source unique de vérité » est une fiction.

On ne peut pas construire une IA gouvernementale digne de confiance sur un corpus juridique que l'on n'a pas d'abord reconstruit en quelque chose qu'une machine peut exploiter de manière fiable. « Ingérer le code » représente un quart d'archéologie de données avant même que le modèle ne voie un seul token.

C'est aussi pourquoi le marché existant ne convient pas. Microsoft Azure Government, AWS GovCloud et le cloud secteur public de Google vous fournissent une infrastructure autorisée et un modèle à usage général — mais c'est Azure qui alimentait MyCity. Le problème des hallucinations se situe au-dessus de la couche de la plateforme ; le cloud n'y touche pas. Les outils d'IA juridique robustes, CoCounsel de Thomson Reuters et Lexis+ AI, sont conçus pour des avocats à des prix de cabinet, et non pour un résident qui pose une question à 23 heures. Les grands intégrateurs — Deloitte, avec des milliards engagés dans l'IA générative, et Accenture Federal, avec des milliards de commandes en IA — déploient ces plateformes de fournisseurs ; ils ne construisent pas d'architectures de décodage contraint sur mesure. Et les prometteuses startups d'IA de code municipal sont exactement cela : prometteuses, non éprouvées à grande échelle, sans antécédents en matière de marchés publics. Il y a un vide au milieu, et ce vide est là où les citoyens sont lésés.

Ce qui a fini par marcher : faire en sorte que le système gagne le droit de parler

Le recadrage qui a tout changé a été de décider que l'état par défaut du système est le silence, et non une réponse.

Au lieu de demander au modèle d'être plus exact, nous l'avons construit de telle sorte qu'il ne puisse physiquement pas émettre une affirmation juridique à moins que cette affirmation ne soit liée à une disposition légale spécifique et récupérée. L'étape de génération est contrainte : lorsque le système produit une phrase sur ce que la loi autorise, cette phrase doit porter une citation traçable vers la section exacte du code dont elle est issue, vérifiée par rapport à la source après la génération. Si le modèle veut dire « vous pouvez refuser un bon » et qu'aucune disposition ne l'étaye — ou pire, qu'une disposition la contredit —, l'affirmation ne passe pas. Le système dit qu'il ne peut pas répondre à cela et oriente la personne vers un humain.

C'est là toute la philosophie de ce que nous avons construit chez Veriprajna, et vous pouvez voir l'architecture complète sur veriprajna.com/solutions/government-municipal-ai : chaque réponse remonte à une loi spécifique, ou bien le système reste silencieux. Nous préférons qu'il réponde à moins de questions et soit incapable d'enfreindre la loi plutôt qu'il réponde à tout et engage parfois la ville à une amende de discrimination d'un quart de million de dollars.

L'ordre des opérations importe. D'abord, reconstruire le corpus municipal désordonné en une base de connaissances structurée et hiérarchique qui sait quelles dispositions priment sur quelles autres — un problème non trivial précisément parce que ces dispositions sont amendées selon des calendriers départementaux non coordonnés, de sorte que le graphe de préséance lui-même ne cesse de dériver. Ensuite, récupérer par rapport à elle. Ensuite — et c'est l'étape que tout le monde saute — contraindre la génération pour que la sortie soit mécaniquement arrimée à ce qui a été récupéré, avec une passe de vérification qui rejette toute affirmation qui ne tient pas. Ensuite, conserver une piste d'audit, afin que, lorsqu'un régulateur ou l'avocat d'un plaignant demande pourquoi le système a dit ce qu'il a dit, il y ait une trace pointant vers une loi plutôt qu'un haussement d'épaules sur les poids du modèle.

Un effet secondaire utile : un système capable de montrer sa citation pour chaque réponse est un système que l'on peut réellement défendre. La piste d'audit n'est pas du théâtre de conformité. C'est la différence entre « l'IA l'a dit » et « voici le § dont la réponse est issue ».

« Mais est-ce que cela ne le rend pas moins utile ? »

On me pose constamment cette question, et c'est la bonne. Oui — un système à citation imposée répond à moins de questions que ne le faisait MyCity. Il dira parfois « je ne peux pas conseiller là-dessus » là où un bot plus bavard aurait volontiers inventé quelque chose. Cela ressemble à une régression jusqu'à ce que l'on se rappelle que chacune des réponses supplémentaires de MyCity était une responsabilité, pas un service.

L'autre chose que j'entends concerne le calendrier des marchés publics, et c'est le risque le plus sous-estimé de tout le domaine. L'IA gouvernementale ne vit ni ne meurt selon la qualité du modèle ; elle vit ou meurt selon sa capacité à franchir l'autorisation. Les processus d'autorisation d'exploitation FedRAMP et StateRAMP durent 12 à 18 mois, et la plupart des startups d'IA ne survivent pas au classeur ATO assez longtemps pour déployer. Construire pour le gouvernement, c'est concevoir pour cette réalité dès le premier jour — les contrôles d'accès, les garanties de séparation des données, l'infrastructure d'audit — et non les greffer après un pilote. Un modèle brillant en démo mais incapable d'obtenir l'autorisation ne servira jamais un seul citoyen.

Et puis se pose la question de savoir si tout cela en vaut même la peine, étant donné que le gouvernement fédéral a laissé entendre qu'il pourrait supplanter la mosaïque des lois étatiques sur l'IA. Peut-être le fera-t-il. Mais une ville n'a pas le droit de jouer les revenus de pourboires et les droits au logement de ses résidents sur ce que fera un futur décret présidentiel. Les conseils donnés par MyCity étaient illégaux au regard de lois qui n'ont rien à voir avec la réglementation de l'IA — droit du travail, droit du logement, droit de la protection des consommateurs, antérieurs à ChatGPT de plusieurs décennies. Aucune préemption ne corrige cela.

Ce à quoi je reviens sans cesse, c'est cette capture d'écran de The Markup : le « oui » assuré du chatbot à côté de la loi qui dit non. Un greffier humain qui ne connaissait pas une réponse aurait dit « laissez-moi vérifier » ou « vous devriez demander à un avocat ». Nous avons construit des machines qui ne disent jamais cela, puis les avons mises sur des sites gouvernementaux et avons feint la surprise lorsqu'elles ont conseillé les gens jusqu'au procès.

Le rôle d'un gouvernement, lorsqu'un résident demande ce que la loi autorise, est d'avoir raison ou d'être honnête sur son ignorance. Ce sont les deux seules sorties acceptables. Un système qui produit une troisième option fluide et autoritaire — assurément fausse — n'a rien à faire à porter le sceau d'une ville. Le remède n'a jamais été un modèle au ton plus convaincant. C'était d'en construire un qui sait quand se taire — ce qui est toute la prémisse de ce que nous avons construit pour l'IA gouvernementale et municipale.