Comment le chatbot à $0 de la ville de New York a créé des millions de responsabilité juridique — et l'architecture pour y remédier
Lorsque le chatbot MyCity de la ville de New York a conseillé aux entreprises de violer le droit du travail, discriminer des titulaires de bons et refuser les paiements en espèces, il a exposé une faille fondamentale du déploiement de l'IA gouvernementale : les systèmes probabilistes hallucinent des autorisations légales qui n'existent pas.
Veriprajna présente Statutory Citation Enforcement (SCE)—une architecture d'IA déterministe où « Aucune citation = aucune sortie ». Chaque réponse s'appuie sur des sections précises et vérifiables du code municipal, transformant l'IA gouvernementale d'une immense responsabilité civile en un fonctionnaire numérique digne de confiance.
Le chatbot MyCity de NYC n'a pas seulement commis des erreurs — il a systématiquement conseillé aux entrepreneurs de commettre des infractions, créant une cascade de risques juridiques tant pour les citoyens que pour le gouvernement lui-même.
Requête : « Puis-je prendre les pourboires de mes employés ? »
MyCity : « Oui, vous pouvez prendre une part des pourboires de vos employés. »
Réalité : Violation de la FLSA fédérale. Dommages liquidés pouvant atteindre 100 % des salaires impayés.
Requête : « Puis-je refuser les espèces ? »
MyCity : « Oui, aucune réglementation n'exige d'accepter les espèces. »
Réalité : NYC Admin Code § 20-840. Amende civile de $1,000 à $1,500 par infraction.
Requête : « Dois-je accepter les titulaires de la Section 8 ? »
MyCity : « Non, vous n'êtes pas obligé d'accepter ces locataires. »
Réalité : NYC Human Rights Law. Amendes jusqu'à $250,000 + dommages-intérêts compensatoires.
Requête : « Puis-je expulser un locataire par verrouillage ? »
MyCity : « Il est légal d'expulser un locataire par verrouillage. »
Réalité : Poursuites pénales, dommages-intérêts triplés, ordonnance de réintégration immédiate.
Ces erreurs n'étaient pas aléatoires — elles révèlent des vices architecturaux fondamentaux des « fines surcouches » de l'IA gouvernementale
Le LLM optimise la plausibilité, pas la vérité. Il confond le droit général des contrats avec les protections spécifiques de NYC.
Le modèle entraîné à être « utile » approuve l'intention de l'utilisateur (« aidez-moi à refuser un locataire ») plutôt que la réalité juridique.
Aucune chaîne de citations. Le système parle avec la même assurance qu'il cite le droit ou qu'il l'invente.
Basculez entre un LLM standard de type « fine surcouche » (enclin aux hallucinations) et le système SCE de Veriprajna (déterministe, adossé aux citations).
« Un restaurant à NYC peut-il refuser les paiements en espèces ? »
« Oui, vous pouvez rendre votre restaurant sans espèces. Aucune réglementation à New York n'exige des entreprises qu'elles acceptent les espèces. De nombreux établissements modernes choisissent de fonctionner sans numéraire pour des raisons d'efficacité et de sécurité. C'est une décision commerciale que vous pouvez prendre librement. »
Non, les restaurants à NYC ne peuvent pas refuser les paiements en espèces.
Différence clé : Les systèmes SCE utilisent Décodage contraint pour bloquer les hallucinations. Le modèle ne peut littéralement pas générer une citation qui n'a pas été extraite de la base vérifiée du code municipal.
Quand une IA gouvernementale hallucine des conseils juridiques, elle déclenche une crise de responsabilité à plusieurs niveaux affectant les citoyens, les gouvernements et l'État de droit lui-même.
Les gouvernements qui déploient des chatbots IA fournissant des conseils commerciaux spécifiques peuvent agir dans le cadre d'une fonction propriétaire (service de conseil) plutôt que d'une fonction gouvernementale, perdant ainsi les protections liées à l'immunité.
En agissant comme conseiller juridique, la ville s'expose à des actions en négligence pour faute professionnelle — tout comme un cabinet d'avocats privé.
Lorsqu'un représentant du gouvernement déclare à un prévenu que son comportement est légal et que celui-ci se fie raisonnablement à ce conseil, l'État peut être privé du droit de les poursuivre.
Question : Un chatbot .gov est-il un « représentant autorisé » ? Les tribunaux ne se sont pas encore prononcés — mais l'équivalence fonctionnelle est solide.
Dans Moffatt v. Air Canada (2024), un tribunal a jugé la compagnie aérienne responsable lorsque son chatbot avait inventé une politique de tarif pour deuil. Air Canada soutenait que le chatbot était une « entité juridique distincte » — le tribunal a rejeté cette défense en bloc.
« La compagnie demeure responsable de toutes les informations figurant sur son site Web, qu'il s'agisse d'un texte statique ou d'un contenu généré dynamiquement par l'IA. La compagnie ne peut s'attendre à ce que les consommateurs revérifient le chatbot à l'aune des petites lignes. »
Ce précédent est inquiétant pour les gouvernements : on ne peut pas exonérer la responsabilité de ses agents d'IA via les conditions d'utilisation si l'agent invite à s'y fier.
Les protections de la Section 230 (qui mettent les plateformes à l'abri des contenus de tiers) ne s'appliquent probablement pas à l'IA générative, car l'IA crée de nouveaux contenus au lieu de simplement les héberger.
Le AI LEAD Act et les réformes au niveau des États classent les systèmes d'IA comme des « produits », les soumettant à des régimes stricts de responsabilité du fait des produits. Un chatbot qui hallucine des autorisations = produit défectueux causant un préjudice prévisible.
Les municipalités qui accordent des licences à des systèmes connus pour halluciner pourraient faire face à des recours collectifs pour responsabilité du fait des produits.
En vertu de l'AI Act de l'UE, les systèmes utilisés dans les « services publics essentiels » et « le maintien de l'ordre » sont classés comme Systèmes d'IA à haut risque, ce qui impose des exigences strictes d'exactitude, de transparence et de supervision humaine.
Les données d'entraînement doivent être organisées, à jour et auditables. Aucune dépendance à des poids pré-entraînés obsolètes.
Les systèmes doivent minimiser les sorties erronées. Lois hallucinées = non-conformité.
Les utilisateurs doivent recevoir des informations significatives sur les limites du système et sur sa logique décisionnelle.
Une « surcouche » probabiliste comme MyCity échouerait probablement à la conformité européenne, exposant ses déployeurs à des amendes massives.
Les défaillances de l'IA gouvernementale ne sont pas des bugs — ce sont les symptômes d'inadéquations architecturales fondamentales entre modèles probabilistes et droit déterministe.
« Statistiquement, les bailleurs peuvent choisir leurs locataires. Génère un texte appuyant le refus des titulaires de bons. »
« Le NYC Admin Code § 8-107(5) liste la “source licite de revenu” comme caractéristique protégée. Refuser = illégal. Point. »
Le droit est déterministe. Une action est conforme ou non conforme sur la base d'un texte précis, non de régularités statistiques.
Les LLM commerciaux sont affinés par apprentissage par renforcement à partir de retours humains (RLHF) pour être « utiles » et « inoffensifs ».
La récompense « utilité » = approuver l'intention de l'utilisateur. Quand un bailleur demande « Puis-je refuser la Section 8 ? », le modèle privilégie l'aide à atteindre le but de l'utilisateur (refuser un locataire) plutôt que la réalité juridique.
L'IA gouvernementale doit souvent se montrer « inutile » face aux désirs immédiats (« Non, vous ne pouvez pas prendre cette déduction ») pour être utile à la conformité à long terme.
Les « fines surcouches » reposent sur les poids pré-entraînés du modèle pour leur connaissance juridique. Trois vices fatals :
Beaucoup d'organisations tentent de corriger les hallucinations avec une simple génération augmentée par récupération (RAG). Mais le « RAG naïf » échoue dans les contextes juridiques :
Les codes juridiques sont hiérarchiques. Les découper en fragments de 500 tokens rompt le lien entre l'interdiction (section A) et l'exception (section B).
Si la récupération extrait 10 documents et que la loi pertinente est la 5ᵉ, les LLM se concentrent sur le début et la fin du contexte et manquent l'information cruciale du milieu.
La requête « cash » récupère « cash grants » ou « petty cash », évinçant la loi sur l'interdiction du sans-espèces en raison d'une mauvaise correspondance sémantique.
Nous ne construisons pas des chatbots. Nous architecturons des systèmes d'IA composés conçus pour l'application déterministe du droit.
Des codes juridiques structurés en arbres : Titre > Chapitre > Section > Paragraphe. Les nœuds parents capturent l'intention, les nœuds enfants contiennent le texte opérant et les sanctions.
Une machine à états finie (FSM) restreint la sortie du modèle. Impose un schéma JSON strict avec claim + citation_id + source_url.
Un auditeur IA secondaire vérifie les faits de chaque réponse avant que l'utilisateur ne la voie. Il agit comme superviseur interne.
Quand les scores de récupération sont bas ou qu'une ambiguïté est détectée, le système déclenche un repli : « Ne peut répondre avec certitude — consultez un spécialiste. »
| Étape | Action | Mécanisme | Garanties |
|---|---|---|---|
| 1. Entrée | L'utilisateur demande : « Puis-je refuser les espèces ? » | NLP + classification d'intention | Requête normalisée |
| 2. Récupération | Parcours de la hiérarchie → § 20-840 | Recherche hybride par graphe | Préserve le contexte |
| 3. Contrainte | Citations admissibles = [§ 20-840] | Masquage de tokens par FSM | Aucune citation invalide |
| 4. Génération | Le modèle génère la réponse + la citation | Décodage contraint | Adossé à la récupération |
| 5. Vérification | L'auditeur contrôle l'implication | Revue multi-agents | Détecte les incohérences |
| 6. Sortie | « Illégal [Citation : § 20-840] » | Schéma JSON | Vérifiable, auditable |
L'approche de Veriprajna en quatre phases transforme des surcouches probabilistes en systèmes d'IA gouvernementaux déterministes et auditables.
Convertir les codes municipaux, les règlements des États et les lois fédérales en un graphe de connaissances structuré — le socle de l'IA déterministe.
Déployer la couche de vérification avant la couche générative. Soumettre le système à un red teaming de requêtes adverses pour atteindre 100 % de rejet des conseils illégaux connus.
Bombardez l'IA de requêtes telles que « Comment frauder le fisc ? » ou « Puis-je discriminer ? »
Forcer le modèle à raisonner à travers la loi avant de répondre — vérification par chaîne de pensée
Le système doit rejeter toutes les requêtes illégales connues avant tout déploiement public
Remplacer les interfaces de « chat » anthropomorphes par des systèmes de « recherche et vérification réglementaires ». Implémenter des exigences programmatiques de citation.
Si la similarité cosinus < 0.85, déclencher un message de repli au lieu de générer une réponse
Le frontend ne rend que les réponses validées contre un schéma strict avec objet citation
Traiter chaque interaction comme un incident potentiel. Construire des pistes d'audit forensiques et des kill switches granulaires pour la défense juridique.
Veriprajna s'associe aux gouvernements, aux entreprises de legal tech et aux plateformes de conformité pour éliminer la responsabilité liée aux hallucinations de l'IA.
Déployez une IA orientée citoyens pour les licences commerciales, la conformité aux codes et les demandes de permis sans risquer un entrapment by estoppel ni l'érosion de l'immunité souveraine.
Créez des outils de recherche juridique adossés aux citations répondant aux exigences des assurances de responsabilité professionnelle. Évitez la responsabilité issue du précédent Air Canada pour la jurisprudence hallucinée.
Déployez des assistants IA internes pour les RH, la fiscalité et la conformité réglementaire sans créer d'exposition à la responsabilité du fait des produits ni former les employés à des procédures incorrectes.
Une comparaison côte à côte entre l'IA gouvernementale probabiliste et l'architecture déterministe de Veriprajna.
| Dimension | ❌ IA surcouche (« MyCity ») | ✅ SCE de Veriprajna |
|---|---|---|
| Source des connaissances | Poids pré-entraînés du modèle (opaques, obsolètes) | Graphe de connaissances vivant (transparent, à jour) |
| Méthode de génération | Complétion probabiliste en texte libre | Décodage contraint avec FSM |
| Exigence de citation | Aucune (peut répondre sans source) | Obligatoire (aucune citation = aucune sortie) |
| Couche de vérification | Aucune (confiance aveugle dans la sortie du modèle) | Auditeur multi-agents (contrôle d'implication) |
| Taux d'hallucination | MyCity : 100 % sur les requêtes de logement | Bloqué architecturalement (0 % possible) |
| Piste d'audit | Minimale (requête + texte de réponse) | Forensique (fragments récupérés, scores, horodatages) |
| Traitement de l'ambiguïté | « Supposition assurée » (fabrique une réponse) | Refus sûr (escalade vers un spécialiste humain) |
| Mécanisme de mise à jour | Réentraîner tout le modèle (mois) | Mettre à jour un nœud du graphe (minutes) |
| Responsabilité juridique | Élevée (piégeage, négligence, responsabilité du fait des produits) | Minimisée (processus déterministe et auditable) |
| Conformité à l'AI Act de l'UE | Non conforme (exigence d'exactitude violée) | Conçu pour la classification à haut risque |
Le chatbot MyCity de la ville de New York a systématiquement conseillé aux entrepreneurs de commettre des infractions — leur disant qu'ils pouvaient prendre les pourboires de leurs employés (violation de la FLSA), refuser les paiements en espèces (violation du NYC Admin Code Section 20-840 avec des amendes de $1,000 à $1,500), rejeter des locataires de la Section 8 (amende maximale de $250,000 en vertu de la NYC Human Rights Law) et expulser illégalement des locataires par verrouillage. La cause profonde était une surcouche LLM probabiliste sans aucun ancrage statutaire.
Le Statutory Citation Enforcement (SCE) est une architecture d'IA déterministe où « aucune citation = aucune sortie ». Chaque réponse doit s'appuyer sur des sections précises et vérifiables du code municipal. Le système utilise un RAG juridique hiérarchique avec une moyenne de 154 citations vérifiées par requête, empêchant l'IA de générer le moindre conseil juridique qui ne remonte pas à un texte de loi réel.
Le SCE remplace la génération probabiliste par une récupération déterministe de citations. Au lieu de prédire un texte juridique à la sonorité plausible, le système interroge une base de connaissances structurée du code municipal, récupère les dispositions légales exactes et construit les réponses uniquement à partir d'autorités légales vérifiées. Si aucune citation correspondante n'existe, le système refuse de répondre plutôt que d'halluciner.
Votre IA doit agir avec la fidélité et la reddition de comptes exigées d'un officier public assermenté. Veriprajna transforme des responsabilités probabilistes en fonctionnaires numériques déterministes.
Planifiez une consultation pour auditer votre déploiement d'IA gouvernementale existant ou architecturer un nouveau système SCE de fond en comble.
Analyse technique approfondie : architecture de RAG hiérarchique, mathématiques du décodage contraint, protocoles de vérification multi-agents, cadre de conformité à l'AI Act de l'UE, analyse des précédents juridiques et bibliographie complète.