L'algorithme qui a dévoré une ville : ce que l'effondrement de la police prédictive m'a appris sur la construction d'une IA digne de confiance
J'étais assis dans une salle de conférence à la fin de l'année 2023, en train de regarder un client potentiel présenter son outil d'IA interne — un chatbot qu'ils avaient bricolé pour aider leur équipe de conformité à repérer les risques dans des documents financiers. L'interface était léchée. Les réponses étaient rapides. Et environ une réponse sur quatre était, avec assurance, dangereusement erronée.
Lorsque j'ai signalé une hallucination — le modèle avait inventé une référence réglementaire qui n'existait pas — le vice-président de l'ingénierie a haussé les épaules. « Oui, on est au courant. On espère que la prochaine mise à jour du modèle réglera ça. »
Ce moment a cristallisé quelque chose à quoi je réfléchissais depuis des mois. Le monde de l'entreprise fonçait, tel un somnambule, dans le piège exact qui avait déjà détruit la confiance du public envers la police prédictive assistée par IA à travers l'Amérique. Non pas parce que la technologie était intrinsèquement mauvaise, mais parce que les personnes qui la déployaient avaient confondu le fait de posséder un système d'IA avec le fait d'en gouverner un.
Chez Veriprajna, nous concevons des solutions d'IA avancées pour des environnements d'entreprise à enjeux élevés. Mais pour expliquer pourquoi nous les concevons de cette façon — avec la gouvernance intégrée dès le jour zéro, avec l'explicabilité comme exigence non négociable, avec des contraintes mathématiques d'équité tissées dans le processus d'entraînement — je dois d'abord vous emmener dans un endroit inconfortable. Je dois vous emmener à Chicago.
56 % des jeunes hommes noirs d'une ville, signalés par une machine
La Strategic Subject List de Chicago — appelée en interne la « heat list » — était censée incarner l'avenir d'une police intelligente. Plutôt que de quadriller les quartiers avec des agents, l'algorithme identifierait les individus précis les plus susceptibles d'être impliqués dans des violences par arme à feu, que ce soit comme auteurs ou comme victimes. La précision plutôt que la force brute. Les données plutôt que l'intuition.
La liste a gonflé pour dépasser 400 000 personnes.
Laissez ce chiffre s'imposer un instant. Dans une ville de 2,7 millions d'habitants, l'algorithme a décidé que 400 000 individus méritaient d'être signalés. Et les données démographiques étaient stupéfiantes : 56 % des hommes noirs de Chicago âgés de 20 à 29 ans se sont retrouvés sur cette liste. À West Garfield Park, 73 % des hommes noirs âgés de 10 à 29 ans ont été signalés. Quatre-vingt-seize pour cent des individus que le système classait comme « membres présumés de gangs » étaient noirs ou latino-américains.
Voici ce qui m'a sidéré lorsque j'ai commencé à fouiller les données de l'audit : 57 % des cibles prioritaires de l'algorithme n'avaient jamais été arrêtées pour un crime violent. Le système intégrait des délits mineurs — des choses comme la possession de petites quantités de drogue ou le trouble à l'ordre public — et les traitait comme des signaux prédictifs de futures violences par arme à feu. Il se servait de la machinerie du sur-contrôle policier comme preuve pour justifier encore plus de contrôle policier.
Lorsqu'un algorithme traite les conséquences d'un biais comme la preuve que ce biais est justifié, vous n'avez pas un moteur de prédiction. Vous avez une machine à discriminer fonctionnant en pilote automatique.
Le bureau de l'inspecteur général de Chicago a fini par documenter ce que de nombreuses organisations communautaires dénonçaient à grands cris depuis des années : la SSL était biaisée selon des critères raciaux et largement inefficace pour réduire le taux d'homicides. Elle a été mise hors service à la fin de l'année 2019, mais pas avant d'avoir envoyé des agents rendre des visites impromptues à des milliers de personnes dont le seul « crime » était d'habiter dans un quartier que l'algorithme avait décidé de considérer comme dangereux.
Pourquoi le modèle sismique a-t-il échoué à prédire la criminalité ?
À trois mille miles à l'ouest, le LAPD menait sa propre expérience. Geolitica — anciennement PredPol — utilisait un modèle conçu à l'origine pour prédire les répliques sismiques. La logique était séduisante : de même que les secousses se regroupent dans l'espace et le temps, certains types de criminalité suivent des schémas spatio-temporels prévisibles. Alimentez l'algorithme avec des données historiques sur les incidents — lieu, heure, type de crime — et il générerait des « cases de points chauds » de 500 pieds sur 500 indiquant aux agents où patrouiller.
Je me souviens d'avoir lu la documentation technique en me disant : c'est élégant. Les mathématiques étaient propres. L'interface était intuitive. Et les résultats furent catastrophiques.
Un audit mené en 2019 par l'inspecteur général du LAPD a relevé des « incohérences significatives » dans la saisie des données. Les agents enregistraient leur temps de patrouille dans les locaux de la police plutôt que sur le terrain, contaminant ainsi les données sur les points chauds. Le système ne parvenait pas à isoler son propre impact des tendances policières plus générales. Et dans des juridictions comparables comme Plainfield, dans le New Jersey, le taux de réussite des prédictions a été documenté à moins de 1 %.
Moins d'un pour cent. Un tirage à pile ou face aurait été plus utile.
Mais le problème le plus profond n'était pas la précision — c'était la boucle de rétroaction. Lorsque l'algorithme signalait un quartier à majorité noire ou latino-américaine comme un point chaud, davantage d'agents s'y rendaient. Plus d'agents signifiait plus d'interpellations. Plus d'interpellations signifiait plus d'arrestations pour des infractions mineures qui n'auraient pas été sanctionnées dans des zones plus aisées et plus blanches. Ces nouvelles arrestations refluaient dans les données d'entraînement comme « preuve » d'une forte criminalité, et l'algorithme intensifiait consciencieusement ses prédictions pour ce même quartier.
Les données du Racial and Identity Profiling Act (RIPA) de Californie ont mis cela en évidence par des chiffres difficiles à contester : les personnes noires étaient interpellées 126 % plus souvent que ce à quoi on pouvait s'attendre au regard de leur part dans la population. Les agents ont procédé à 4,7 millions d'interpellations de véhicules et de piétons en 2023. Et voici le plus frappant — lorsque les agents fouillaient les personnes noires et latino-américaines à des taux plus élevés, ils avaient systématiquement moins de chances de trouver des produits de contrebande que lors des fouilles de personnes blanches.
Les données nous disaient, dans un langage statistique limpide, que le système avait tort. Et le système a malgré tout continué de fonctionner.
Le LAPD a finalement mis fin à sa relation avec Geolitica au début de l'année 2024. J'ai écrit sur les implications plus larges de ces échecs — et sur ce qu'ils signifient pour l'architecture de l'IA d'entreprise — dans la version interactive de nos recherches.
Que se passe-t-il quand personne ne peut ouvrir la boîte noire ?
Il existe un terme en philosophie des sciences qui revenait sans cesse dans mes recherches : l'opacité épistémique. Cela signifie que le système est si complexe que même les personnes qui l'exploitent ne peuvent pas pleinement comprendre comment il parvient à ses conclusions.
La plupart des systèmes de police prédictive étaient des boîtes noires propriétaires. Les données d'entrée précises, les facteurs pondérés, la logique des prédictions — tout cela dissimulé au titre du secret commercial. Les services de police qui utilisaient ces outils ne pouvaient souvent pas expliquer pourquoi une personne ou un quartier en particulier avait été signalé, même lorsque les organisations de défense des libertés civiles exigeaient des réponses.
Ce n'est pas seulement un problème de police. C'est la vulnérabilité déterminante de la manière dont la plupart des entreprises déploient l'IA en ce moment.
Je repense à ce chatbot de conformité dont j'ai vu la démonstration. Le vice-président de l'ingénierie était incapable de me dire quels documents le modèle avait réellement récupérés pour générer sa réponse. Il ne pouvait pas expliquer pourquoi il avait halluciné une référence réglementaire. Il ne pouvait pas me dire si le système donnerait une réponse différente le lendemain à la même question. Et son plan consistait à attendre qu'OpenAI livre un meilleur modèle.
Ce n'est pas une stratégie d'IA. C'est une prière.
La boucle de rétroaction incontrôlée n'est pas qu'un problème de police
C'est ici que je dois établir le lien qui, à mon avis, échappe à la plupart des gens dans l'IA d'entreprise.
La boucle de rétroaction qui a détruit la police prédictive — où des résultats biaisés génèrent des données d'entraînement biaisées, qui génèrent à leur tour des résultats encore plus biaisés — n'est pas propre aux forces de l'ordre. C'est une propriété structurelle de tout système d'IA qui apprend de son propre environnement opérationnel sans validation indépendante.
Pensez à un outil de recrutement alimenté par l'IA qui trie les CV. S'il est entraîné sur les données de recrutement historiques d'une entreprise qui a majoritairement embauché des hommes pour des postes d'ingénierie, il apprendra à associer un langage à connotation masculine à de « bons candidats ». Il déclassera les femmes. L'entreprise embauchera moins de femmes. Ces données de recrutement seront réinjectées dans le cycle d'entraînement suivant, et le biais s'accentuera.
Ou considérez un modèle de souscription financière entraîné sur des approbations de prêts historiques. Si les agents de crédit du passé étaient plus enclins à approuver les demandes provenant de certains codes postaux — des codes postaux qui se trouvent corrélés à la race en raison de décennies de redlining — le modèle apprendra ces schémas. Il refusera des prêts à des demandeurs qualifiés de ces zones. Ces refus deviendront des données d'entraînement. Le cycle se poursuit.
Les systèmes d'IA les plus dangereux ne sont pas ceux qui sont manifestement défaillants. Ce sont ceux qui fonctionnent juste assez bien pour échapper à tout examen tout en encodant discrètement les biais de leurs données d'entraînement dans des décisions automatisées à grande échelle.
C'est pourquoi je suis exaspéré lorsque j'entends des dirigeants d'entreprise parler de la gouvernance de l'IA comme d'un « plus appréciable » ou d'une initiative « de phase deux ». La gouvernance n'est pas une fonctionnalité que l'on rajoute après le lancement. C'est l'architecture elle-même.
Pourquoi les wrappers de LLM échouent-ils dans les environnements à enjeux élevés ?
Permettez-moi d'être direct sur un point : l'ère des simples wrappers de LLM touche à sa fin, et la plupart des entreprises ne l'ont pas encore réalisé.
Un wrapper de LLM — une fine couche d'ingénierie de prompts et une belle interface par-dessus un modèle de fondation comme GPT-4 ou Claude — fonctionne très bien pour rédiger des e-mails et résumer des comptes rendus de réunion. Il ne fonctionne pas pour l'examen juridique, la conformité financière, le triage médical, ou tout domaine où une mauvaise réponse a des conséquences matérielles.
Nous avons testé cela rigoureusement chez Veriprajna. Dans le triage des vulnérabilités de sécurité — un domaine où il faut distinguer un bug mineur d'un exploit critique — un wrapper de LLM naïf atteignait environ 51 % de précision. C'est à peine mieux que le hasard. Le modèle manquait des outils spécialisés et de la connaissance du domaine nécessaires pour établir des distinctions pertinentes. Et il avait un autre problème que j'ai commencé à appeler le phénomène du « refus de trancher » : les alignements de sécurité intégrés aux modèles de fondation les rendaient réticents à prendre des positions fermes sur les cas ambigus. Dans un contexte de triage, l'ambiguïté est tout le travail. Une IA qui esquive à chaque cas limite n'augmente pas votre équipe — elle crée du travail supplémentaire.
Notre architecture multi-agents, en revanche — avec des agents composables, des flux de travail structurés et des bases de connaissances spécifiques au domaine — a atteint 89 % de précision sur les mêmes tests de référence. Non pas parce que nous avons utilisé un « meilleur » modèle, mais parce que nous avons construit un système plutôt qu'un wrapper.
Cette différence — 51 % contre 89 % — est la différence entre une IA qui génère du texte plausible et une IA qui raisonne réellement sur un domaine.
À quoi ressemble concrètement l'équité mathématique ?
L'une des choses que j'ai apprises en construisant Veriprajna, c'est que l'« équité » en IA ne peut pas être une simple impression. Elle doit être un chiffre.
Lorsque nous concevons des systèmes pour des environnements à enjeux élevés, nous définissons l'équité de façon mathématique et la surveillons en continu. Deux métriques comptent avant tout :
La parité démographique pose la question suivante : la probabilité d'un résultat positif est-elle indépendante d'un attribut protégé comme la race ou le genre ? Si votre IA de recrutement approuve 60 % des candidats masculins et 35 % des candidates, vous avez échoué à ce test.
L'égalité des cotes va plus loin : les taux de vrais positifs et de faux positifs sont-ils égaux entre les groupes ? Cela importe car un système pourrait atteindre la parité démographique en approuvant aléatoirement davantage de demandes issues de groupes sous-représentés — sans réellement mieux identifier les candidats qualifiés.
Les deux métriques doivent être surveillées simultanément, et aucune n'est suffisante à elle seule. C'est pourquoi notre stratégie d'atténuation des biais s'applique à l'ensemble du cycle de vie de l'IA : repondération des données d'entraînement avant même que le modèle ne les voie, intégration de contraintes d'équité directement dans le processus d'entraînement au moyen de techniques comme le débiaisage antagoniste, et calibrage des seuils de décision après l'entraînement pour garantir des résultats équitables entre les groupes démographiques.
Je sais que cela paraît technique. Mais voici la version en langage clair : si vous ne pouvez pas exprimer vos critères d'équité sous la forme d'une équation mathématique, c'est que vous n'avez pas de critères d'équité. Vous avez un communiqué de presse.
La vague réglementaire à laquelle la plupart des entreprises ne sont pas préparées
Pendant que les entreprises s'affairaient à expérimenter des chatbots, les régulateurs s'affairaient à rédiger des lois.
Plus de 40 villes américaines ont pris des mesures pour interdire ou restreindre strictement la police prédictive et les technologies d'IA connexes comme la reconnaissance faciale. San Francisco a été la première en 2019. Boston, Portland et Santa Cruz ont suivi. En mars 2024, la Maison-Blanche a publié une politique de référence exigeant que les agences fédérales procèdent à des tests indépendants et à des évaluations d'impact obligatoires pour tout système d'IA affectant les droits.
Ce n'est pas seulement un problème gouvernemental. L'AI Act de l'UE, le cadre de gestion des risques liés à l'IA du NIST, la norme ISO 42001 — tous ces cadres convergent vers un même message : si vous déployez l'IA dans des décisions à enjeux élevés, vous serez tenu de prouver qu'elle est équitable, d'expliquer son fonctionnement et de démontrer que vous la surveillez en continu.
Les entreprises qui disposent d'une infrastructure de gouvernance s'adapteront. Celles qui ont construit des wrappers de LLM et l'ont qualifié de « stratégie d'IA » se démèneront dans la précipitation.
J'ai déjà observé ce schéma, dans la cybersécurité. Les entreprises qui traitaient la sécurité comme une réflexion après coup ont passé des années à rattraper leur retard lorsque les réglementations sont tombées. Celles qui avaient intégré la sécurité dans leur architecture dès le départ ne l'ont presque pas remarqué. La gouvernance de l'IA suit la même trajectoire, en plus rapide.
Pour une explication technique complète de la manière dont nous alignons notre cadre de gouvernance sur le NIST, l'ISO 42001 et l'AI Act de l'UE, consultez notre document de recherche.
« Utilisez simplement GPT » et autres erreurs coûteuses
On me demande tout le temps pourquoi les entreprises ne devraient pas se contenter d'un modèle de fondation avec un peu d'ingénierie de prompts et en rester là. La réponse tient à la même raison pour laquelle le LAPD n'aurait pas dû utiliser un modèle sismique pour prédire la criminalité.
L'outil n'est pas le problème. C'est l'hypothèse qui l'est.
L'hypothèse est qu'un système à usage général — qu'il s'agisse d'un algorithme de sismologie ou d'un grand modèle de langage entraîné sur Internet — peut être parachuté dans un domaine spécialisé et à enjeux élevés sans changements architecturaux fondamentaux. Sans couches de raisonnement spécifiques au domaine. Sans explicabilité. Sans surveillance continue des biais. Sans gouvernance.
Cette hypothèse a été mise à l'épreuve. Dans le maintien de l'ordre, elle a détruit la confiance du public, porté préjudice à des centaines de milliers de personnes et déclenché une levée de boucliers réglementaire à l'échelle nationale. Dans l'IA d'entreprise, les conséquences se déroulent plus discrètement — dans des références juridiques hallucinées, dans des décisions de recrutement biaisées, dans des manquements à la conformité qui ne feront surface que lorsqu'un audit ou un procès les mettra en lumière.
La question n'est pas de savoir si votre IA commettra une erreur. La question est de savoir si vous le saurez lorsqu'elle le fera — et si vous avez construit l'architecture nécessaire pour la détecter avant qu'elle ne s'aggrave.
Chez Veriprajna, nous ne commençons pas par un modèle. Nous commençons par les données. Nous les auditons sur les plans de la qualité, de l'accessibilité et des biais historiques avant qu'un seul paramètre ne soit entraîné. Nous construisons des architectures multi-agents où des couches de raisonnement spécialisées peuvent mener des recherches approfondies plutôt que de s'appuyer sur des appels zero-shot à un modèle à usage général. Nous mettons en place une validation d'IA explicable afin que chaque décision puisse être tracée, interrogée et défendue. Et nous surveillons en continu — pas seulement la précision, mais aussi la dérive de l'équité, car ce qui était équitable il y a six mois peut ne plus l'être aujourd'hui si la distribution sous-jacente des données a évolué.
Ce n'est pas plus coûteux que l'approche par wrapper. C'est moins coûteux — car le coût du déploiement d'un système d'IA non gouverné dans un environnement à enjeux élevés ne se mesure pas en heures d'ingénierie. Il se mesure en procès, en amendes réglementaires, en atteintes à la réputation et au coût humain de décisions automatisées que personne ne peut expliquer ni défendre.
La pièce où tout se joue
Je veux terminer sur un moment qui me reste.
Nous étions en pleine construction d'une nouvelle couche de raisonnement pour un client des services financiers. L'équipe débattait depuis deux jours de la question de savoir s'il fallait privilégier la précision ou l'explicabilité dans un module particulier — l'un de ces débats où tout le monde a techniquement raison et où la vraie question porte sur les valeurs, non sur l'ingénierie.
Mon ingénieure en chef a fini par dire quelque chose qui a fait taire toute la salle : « Si nous ne pouvons pas expliquer pourquoi ce modèle a refusé un prêt à quelqu'un, alors nous n'avons pas construit un système d'IA. Nous avons construit une version plus efficace du problème que l'on nous a engagés pour résoudre. »
Elle avait raison. Et cette phrase est devenue quelque chose qui s'apparente à un principe de conception pour tout ce que nous construisons.
Les échecs de la police prédictive — les 400 000 personnes figurant sur la heat list de Chicago, la précision inférieure à 1 % à Plainfield, les boucles de rétroaction qui ont transformé le racisme historique en certitude mathématique — ne sont pas des mises en garde issues d'un autre secteur. Ils constituent l'aperçu le plus clair possible de ce qui se produit lorsque vous déployez l'IA sans l'architecture nécessaire pour gagner la confiance.
La voie à suivre n'est pas d'abandonner l'IA. C'est de cesser de traiter la gouvernance comme un coût superflu et de commencer à la traiter comme le produit lui-même. Les entreprises qui le comprennent construiront des systèmes qui résistent à l'examen. Celles qui ne le comprennent pas apprendront la leçon qu'ont apprise le LAPD, la police de Chicago, et que ce chatbot de conformité finira par apprendre : un système d'IA sans intégrité n'est pas un outil. C'est un passif doté d'une belle interface.
