Un grand-père a passé dix jours en prison parce qu'un algorithme l'a désigné coupable

J'étais au téléphone avec un client potentiel — une chaîne de distribution de taille moyenne — quand leur vice-président de la prévention des pertes a dit quelque chose qui m'a fait froid dans le dos.

« Nous envisageons un fournisseur de reconnaissance faciale. Ils affirment que leur système est fiable à 98 %. Il nous faut juste quelqu'un pour le brancher. »

J'ai posé une seule question : « Fiable à 98 % sur le visage de qui ? »

Silence.

Cette conversation a eu lieu quelques semaines après que j'avais lu la plainte de la FTC contre Rite Aid — ses 54 pages en entier — et le procès de 10 millions de dollars intenté par Harvey Eugene Murphy Jr., un grand-père de 61 ans qui a passé dix jours dans une prison de Houston pour un vol commis alors qu'il était chez lui à Sacramento, en Californie. Il avait été identifié par un système de reconnaissance faciale. Le système s'était trompé. Le temps que quiconque prenne la peine de vérifier, Murphy avait été battu et agressé sexuellement derrière les barreaux.

Je me souviens d'être resté assis dans mon bureau ce soir-là, relisant les détails de l'affaire Murphy, et de ressentir quelque chose que je n'éprouve pas habituellement en lisant des rapports de défaillance technique : de la rage. Pas contre l'algorithme — les algorithmes n'ont pas d'intention. Contre les humains qui l'ont déployé comme s'il s'agissait d'un lecteur de codes-barres. Contre l'architecture qui a rendu cela inévitable.

Je dirige Veriprajna. Nous construisons ce que j'appelle de l'« IA profonde » — des systèmes dotés de quantification de l'incertitude, de gouvernance multi-agents et d'une ingénierie rigoureuse en profondeur. L'exact opposé de ce qui a fait interdire Rite Aid et arrêter Harvey Murphy. Et il faut que je vous explique pourquoi cette différence compte bien plus que la plupart des gens dans ce secteur ne veulent l'admettre.

Ce qui s'est passé chez Rite Aid n'était pas un bug — c'était un choix de conception

En décembre 2023, la FTC a fait quelque chose d'inédit : elle a interdit à Rite Aid d'utiliser la technologie de reconnaissance faciale pendant cinq ans. Pas une amende. Pas un avertissement. Une interdiction.

Entre 2012 et 2020, Rite Aid avait déployé une surveillance par reconnaissance faciale basée sur l'IA dans des centaines de magasins. L'idée était simple — identifier les voleurs à l'étalage connus, alerter la sécurité, réduire le vol. L'exécution fut une catastrophe.

Rite Aid a acheté sa reconnaissance faciale auprès de deux fournisseurs tiers. Les contrats des deux fournisseurs déclinaient expressément toute garantie quant à l'exactitude. Relisez cela. Les entreprises qui vendaient la technologie ne voulaient même pas promettre qu'elle fonctionnait. Et Rite Aid l'a quand même déployée — dans des magasins remplis de vraies personnes, avec de vraies conséquences en cas d'identification erronée.

Personne chez Rite Aid n'a testé l'exactitude du système. Personne n'a vérifié si les fournisseurs l'avaient testé. Personne n'a mis en place de contrôles de qualité d'image. Les employés des magasins alimentaient la base de données d'enregistrement avec des captures granuleuses de vidéosurveillance et des photos de téléphone portable, et le système « faisait correspondre » consciencieusement ces images dégradées à chaque visage franchissant la porte.

Les résultats étaient prévisibles pour quiconque comprend l'ingénierie biométrique, et dévastateurs pour quiconque ne la comprend pas. Des milliers de faux positifs. Des clients innocents suivis à travers les rayons, fouillés, accusés publiquement de vol. Et voici la partie qui devrait faire réfléchir tout dirigeant d'entreprise : les fausses alertes ciblaient de façon disproportionnée les femmes et les personnes de couleur. Les magasins situés dans des communautés à majorité noire et asiatique enregistraient nettement plus de fausses correspondances que ceux situés dans des communautés à majorité blanche.

Ce n'était pas un bug. C'était le résultat inévitable de modèles non calibrés, entraînés sur des jeux de données non représentatifs, déployés sans surveillance, sur des images dégradées, sans le moindre processus de contrôle humain digne de ce nom.

Pourquoi un grand-père de 61 ans est-il allé en prison ?

L'affaire Harvey Murphy est pire, car la chaîne de défaillances est plus longue et le coût humain plus viscéral.

En janvier 2022, quelqu'un a braqué un magasin Sunglass Hut à Houston. EssilorLuxottica, la société mère, a collaboré avec Macy's pour lancer une reconnaissance faciale sur les images de surveillance du magasin. Le système a fait correspondre les images granuleuses du braquage à une base de données qui contenait apparemment la photo d'identité judiciaire de Murphy, prise pour des délits non violents des décennies plus tôt.

Je veux que vous gardiez deux faits à l'esprit simultanément. Premièrement : Murphy se trouvait à Sacramento, en Californie, le jour du braquage. Deuxièmement : le système a comparé des images de surveillance actuelles à une photo prise des années — peut-être des décennies — auparavant. Des études ont montré que comparer des images actuelles à des photos anciennes peut produire des taux de faux positifs pouvant atteindre 90 %. On appelle cela le problème de l'« écart d'âge », et quiconque déploie de la reconnaissance faciale dans un contexte de maintien de l'ordre devrait le connaître.

Mais voici ce qui me hante dans cette affaire. Selon la plainte, Sunglass Hut et Macy's ont présenté la correspondance automatisée aux forces de l'ordre comme un fait avéré. Pas comme une piste. Pas comme une probabilité. Comme une identification. La police a cessé d'enquêter. Elle tenait son homme.

Lorsque le résultat d'une machine se voit accorder plus d'autorité que l'alibi d'un être humain, nous avons franchi une ligne qu'aucune amélioration de l'exactitude ne pourra jamais réparer.

Murphy a été arrêté. Il leur a dit qu'il n'était pas au Texas. Cela n'a rien changé. Il a passé dix jours en prison avant que le bureau du procureur ne confirme son alibi. À ce moment-là, le mal était fait — physique, psychologique, permanent.

Mon équipe et moi avons passé une soirée à éplucher les détails techniques de cette affaire, en essayant de reconstituer à quoi ressemblait probablement l'architecture du système. Des images d'entrée à faible résolution. Une photo de galerie ancienne. Presque certainement un modèle d'identification en ensemble fermé — le type optimisé pour toujours trouver une « meilleure correspondance », même lorsque la personne réelle ne figure pas dans la base de données. Aucune quantification de l'incertitude. Aucun seuillage de confiance. Aucun contrôle humain significatif entre le résultat de l'algorithme et un homme qui perd sa liberté.

Chacune de ces défaillances, sans exception, était évitable. Pas grâce à une meilleure IA. Grâce à une meilleure architecture.

Qu'est-ce que le problème du « wrapper » et pourquoi devriez-vous vous en soucier ?

C'est ici qu'il me faut devenir technique un instant, car le schéma qui se cache derrière ces deux catastrophes est le même que je vois entreprise après entreprise.

La plupart des entreprises qui déploient de l'IA aujourd'hui utilisent ce que le secteur appelle des « wrappers ». Un wrapper est une interface de marque — un tableau de bord, une application, un outil de workflow — qui repose sur le modèle d'IA de quelqu'un d'autre. Vous envoyez des données à une API tierce, elle renvoie un résultat, et vous l'affichez à votre utilisateur. L'entreprise qui édite le wrapper ne construit pas le modèle. Ne l'entraîne pas. Ne comprend pas ses modes de défaillance. Ne contrôle pas ses mises à jour.

Rite Aid faisait tourner un wrapper. Une fine couche de workflow de sécurité en magasin posée sur les API de reconnaissance faciale en boîte noire de fournisseurs. Lorsque ces API produisaient n'importe quoi, Rite Aid n'avait aucun moyen de le savoir, aucun moyen d'intervenir et — comme la FTC l'a clairement établi — aucun moyen d'échapper à sa responsabilité.

Voici l'asymétrie qui tue les entreprises : vous assumez 100 % de la responsabilité d'un système dont vous avez 0 % de visibilité.

J'ai écrit en profondeur sur cette fracture architecturale dans la version interactive de nos recherches, mais l'argument central est simple. Les wrappers conviennent aux applications à faibles enjeux. Résumer des notes de réunion. Générer des textes marketing. Des tâches où une mauvaise réponse est agaçante, pas ruineuse.

Mais à partir du moment où votre système d'IA peut faire arrêter quelqu'un, lui refuser un prêt, le faire licencier ou l'humilier publiquement — et la reconnaissance faciale dans le commerce de détail peut faire tout cela — un wrapper est une bombe à retardement en matière de responsabilité.

Comment construire une IA qui sait quand elle ne sait pas ?

Il y a un moment auquel je reviens sans cesse. Nous construisions un pipeline d'identification pour un client, et l'une de mes ingénieures a fait passer un lot d'images de test dans le système. Les chiffres d'exactitude paraissaient excellents — au-delà de 95 %. Tout le monde était satisfait. Puis je lui ai demandé de refaire tourner le même lot avec les distributions de confiance visibles.

La salle est devenue silencieuse.

Une part importante de ces identifications « correctes » présentaient des distributions d'incertitude si larges qu'il s'agissait essentiellement de tirages à pile ou face qui étaient tombés juste par hasard. Le modèle devinait avec assurance, il n'identifiait pas de façon fiable. Si nous avions livré ce système avec le seul score d'exactitude, nous n'aurions été en rien différents des fournisseurs qui ont vendu à Rite Aid leur logiciel.

Voici le problème fondamental de la manière dont la plupart des IA sont déployées : chaque résultat est traité comme une vérité binaire alors qu'il s'agit en réalité d'une estimation probabiliste. Le modèle ne dit pas « c'est John Smith ». Il dit « d'après ce que j'ai vu, il y a X % de chances que ce soit John Smith, plus ou moins Y ». Mais la plupart des systèmes jettent la partie « plus ou moins Y » et ne vous montrent que le X.

Chez Veriprajna, nous intégrons ce qu'on appelle la quantification de l'incertitude (UQ) dans chaque système à enjeux élevés. Il existe deux types d'incertitude qui comptent :

L'incertitude aléatoire provient du bruit dans les données elles-mêmes — mauvais éclairage, flou de mouvement, un objectif de caméra rayé. On ne peut pas la faire disparaître par l'entraînement. Si l'image manque d'informations, aucun modèle au monde ne peut les halluciner de façon fiable.

L'incertitude épistémique provient des limites propres au modèle — il n'a pas vu assez d'exemples d'un groupe démographique donné, ou il n'a jamais rencontré cette condition d'éclairage précise. Celle-ci peut être réduite avec de meilleures données d'entraînement.

Les systèmes fragiles — les wrappers — ne distinguent pas ces deux types. Un système peut signaler une confiance de 85 % sur une correspondance, et cela paraît solide. Mais notre couche UQ pourrait révéler que la distribution d'incertitude autour de ces 85 % est énorme, ce qui signifie que ce chiffre est statistiquement dénué de sens compte tenu de la qualité de l'entrée.

Un système d'IA incapable de vous dire à quel point il est incertain n'est pas un outil — c'est un piège.

Nous utilisons des techniques comme la prédiction conforme pour garantir que les estimations d'incertitude du système restent à l'intérieur de bornes mathématiquement démontrables. Les détails techniques figurent dans notre article de recherche complet, mais l'enseignement pratique est le suivant : avant que le système ne prenne la moindre mesure, il peut vous dire si sa réponse est digne de confiance. Et si elle ne l'est pas, il la transmet à un humain.

Le problème de l'ensemble ouvert dont personne ne parle

Voici quelque chose qui me surprend encore lorsque je discute avec des acheteurs en entreprise : presque aucun d'entre eux ne connaît la différence entre la reconnaissance en ensemble fermé et en ensemble ouvert.

Un système en ensemble fermé part du principe que la personne scannée figure bel et bien dans la base de données. Pensez au déverrouillage de votre téléphone — le téléphone sait que votre visage est enregistré. Il lui suffit de vérifier que c'est bien vous.

Un système de sécurité en magasin, c'est l'inverse. La grande majorité des gens qui entrent dans un magasin ne figurent pas dans le moindre fichier criminel. C'est un problème d'ensemble ouvert. Et voici l'inadéquation catastrophique : la plupart des logiciels commerciaux de reconnaissance faciale sont optimisés pour la performance en ensemble fermé, car c'est là que les benchmarks paraissent impressionnants.

Que se passe-t-il lorsqu'on déploie un modèle en ensemble fermé dans un environnement en ensemble ouvert ? Il tente de trouver la « meilleure correspondance » pour chaque visage, parce qu'il suppose qu'une correspondance doit exister. C'est presque certainement ce qui a engendré les milliers de faux positifs chez Rite Aid. Le système ne dysfonctionnait pas. Il faisait exactement ce pour quoi il avait été conçu — dans un environnement pour lequel il n'avait jamais été conçu.

Concevoir pour l'ensemble ouvert, cela signifie entraîner votre modèle non seulement à identifier les correspondances, mais aussi à rejeter avec exactitude les non-correspondances. À dire « je ne connais pas cette personne » avec autant de précision qu'il dit « je reconnais cette personne ». Cela requiert des fonctions de perte différentes, des métriques d'évaluation différentes et une philosophie de conception fondamentalement différente.

Le NIST — le National Institute of Standards and Technology — mène le Face Recognition Vendor Test (FRVT), qui est la référence mondiale pour évaluer ces systèmes. Le NIST mesure le taux de fausse non-correspondance à un taux de fausse correspondance fixé. Pour les applications à haute sécurité, ce seuil de fausse correspondance est fixé à un sur un million. Un sur un million.

Rite Aid n'a jamais évalué son système au regard des normes du NIST. Le système qui a identifié Harvey Murphy non plus, apparemment.

Le dégorgement de modèle : l'option nucléaire

Il y a un détail dans l'accord de règlement de la FTC avec Rite Aid qui devrait terrifier toute entreprise qui construit de l'IA sur des données douteuses.

On n'a pas seulement ordonné à Rite Aid de cesser d'utiliser la reconnaissance faciale. On lui a ordonné de supprimer toutes les données biométriques collectées et de détruire tout modèle d'IA ou algorithme dérivé de ces données. La FTC a appelé cela le « dégorgement de modèle » — forcer une entreprise à essentiellement désapprendre tout ce que ses modèles avaient absorbé de données non conformes.

Songez à ce que cela signifie sur le plan opérationnel. Des années de collecte de données. Des modèles entraînés et affinés au fil du temps. Un savoir institutionnel enfoui dans les poids des réseaux de neurones. Tout cela — disparu. Non parce que les modèles avaient cessé de fonctionner, mais parce que les données sur lesquelles ils avaient été bâtis avaient été obtenues sans garde-fous appropriés.

C'est la nouvelle réalité réglementaire. Si vos données d'entraînement sont viciées — collectées sans consentement, biaisées dans leur composition, ou obtenues en violation des lois sur la vie privée — les modèles bâtis sur ces données sont viciés eux aussi. Et les régulateurs disposent désormais des outils pour vous obliger à les détruire.

La plupart des architectures wrapper sont même incapables d'effectuer une suppression chirurgicale des données. Elles ne disposent pas du suivi de provenance permettant de savoir quelles données ont influencé quels poids du modèle. Les systèmes d'IA profonde, conçus en tenant compte de la traçabilité des données, en sont capables. Ce n'est pas une fonctionnalité que l'on apprécie avant que la FTC ne vienne frapper à la porte.

Pourquoi l'« humain dans la boucle » n'est pas qu'une simple case à cocher

On me demande toujours si la solution consiste simplement à placer un relecteur humain devant chaque décision de l'IA. La réponse est oui — mais avec une réserve de taille. Un processus de contrôle humain mal conçu est pire que pas de contrôle du tout, car il crée l'illusion de la supervision.

Chez Rite Aid, il y avait bel et bien des humains dans la boucle. Les employés des magasins recevaient des alertes automatisées et on leur disait d'agir en conséquence. Mais ils n'avaient aucune formation sur les taux de faux positifs. Aucune interface leur montrant la qualité de l'image d'origine. Aucun protocole pour remettre en question le résultat du système. Ils n'étaient, dans les faits, que des tampons encreurs au service d'un algorithme.

Nous concevons des systèmes avec humain dans la boucle (HITL) dotés de seuils de confiance qui aiguillent les décisions de manière appropriée. En dessous de 70 % de confiance ? Rejet automatique — ne gaspillez pas le temps d'un humain sur du bruit évident. Entre 70 % et 95 % ? Signalement pour contrôle humain, avec l'imagerie source d'origine affichée à côté de la correspondance, afin que le relecteur puisse porter un jugement éclairé. Au-dessus de 95 % sur une tâche à faible conséquence ? Approbation automatique, mais on journalise tout.

L'essentiel est que le relecteur humain dispose d'assez de contexte pour réellement outrepasser la machine. S'il ne voit que « CORRESPONDANCE — confiance de 87 % », il s'en remettra au chiffre à chaque fois. S'il voit l'image granuleuse de vidéosurveillance à côté de la photo de galerie et peut repérer les différences flagrantes — forme d'oreille différente, ligne de mâchoire différente, un écart d'âge de 20 ans — il devient un véritable filet de sécurité au lieu d'un ornement.

J'ai eu une dispute avec le directeur technique d'un client à ce sujet. Il voulait réduire au minimum le contrôle humain pour maîtriser les coûts. Je lui ai dit que le coût d'un seul procès à la Harvey Murphy dépasserait une décennie de salaires de relecteurs humains. Il n'a pas aimé l'entendre. Mais il n'a pas non plus été poursuivi en justice.

Les murs réglementaires se resserrent

Le règlement européen sur l'IA (AI Act) classe les systèmes d'identification biométrique comme à haut risque par défaut. Évaluations de conformité obligatoires. Documentation technique détaillée. Supervision humaine effective — pas celle de Rite Aid, la vraie. Certains usages, comme l'extraction d'images de visages sur Internet pour constituer des données d'entraînement, sont purement et simplement interdits.

Aux États-Unis, le NIST AI Risk Management Framework définit quatre fonctions — Gouverner, Cartographier, Mesurer, Gérer — qui, ensemble, forment le plan directeur d'un déploiement responsable de l'IA. L'action de la FTC contre Rite Aid a été, pour l'essentiel, une application de ces principes avant même qu'ils ne deviennent une loi formelle. Le message est clair : si vous ne pouvez pas expliquer comment votre IA fonctionne, ni mesurer ses biais, ni gérer ses défaillances, vous en serez tenu pour responsable.

Je dis la même chose à chaque conseil d'administration que je conseille : alignez-vous dès maintenant sur les normes du règlement européen sur l'IA, même si vous n'opérez qu'aux États-Unis. La réglementation nationale arrive, et les entreprises qui ont traité la conformité comme un problème pour plus tard vont se retrouver dans la position de Rite Aid — à s'affairer pour détruire des modèles et tout reconstruire de zéro sous un décret de consentement.

Le biais n'est pas dans l'algorithme — il est dans la paresse

Une chose qui me frustre dans le débat public autour du biais de l'IA, c'est le sous-entendu selon lequel le biais serait une propriété mystérieuse et insoluble de l'intelligence artificielle. Il ne l'est pas. C'est le résultat de raccourcis d'ingénierie précis et identifiables.

Vous entraînez un modèle sur un jeu de données composé à 80 % de visages à peau claire ? Il fonctionnera moins bien sur les visages à peau foncée. Vous sautez le débiaisage adversarial — la technique où l'on entraîne un réseau concurrent à détecter si votre modèle utilise la race ou le genre comme caractéristique cachée ? Votre modèle encodera ces biais de façon invisible. Vous déployez sans tester sur les différents groupes démographiques à l'aide des données de référence du NIST ? Vous ne saurez même pas que le biais existe jusqu'à ce que quelqu'un soit blessé.

Le biais algorithmique n'est pas un mystère. C'est ce qui se produit lorsque les ingénieurs optimisent pour la vitesse plutôt que pour l'équité, et que les organisations optimisent pour le coût plutôt que pour la sécurité.

Chacun de ces problèmes a une solution technique connue. Le débiaisage adversarial. Des contraintes d'équité dans la fonction de perte. La fusion de caractéristiques multi-échelles pour gérer la diversité des teintes de peau et des conditions d'éclairage. La détection des attaques de présentation pour déjouer les tentatives d'usurpation. Ce ne sont pas des théories — elles sont déployées dans des systèmes en production aujourd'hui. Y compris les nôtres.

Si la plupart des entreprises ne les mettent pas en œuvre, c'est pour la même raison que Rite Aid n'a pas testé l'exactitude de son fournisseur : cela coûte plus cher, prend plus de temps, et personne ne vous force à le faire. Jusqu'à ce qu'on vous y force. Et là, cela coûte tout.

Ce que je pense vraiment de l'avenir de l'IA en entreprise

J'ai passé des années à construire des systèmes conçus pour douter d'eux-mêmes avant d'agir. Cela peut sembler étrange venant du fondateur d'une entreprise d'IA. Ne devrais-je pas vendre de la confiance ?

Non. Je vends de la confiance calibrée. Il y a une différence.

Les entreprises qui survivront à la prochaine décennie de réglementation et de responsabilité liées à l'IA sont celles qui construisent des systèmes capables de dire « je ne sais pas » avec la même précision qu'ils disent « j'en suis sûr ». Qui traitent chaque résultat automatisé comme une hypothèse à valider, et non comme un verdict à exécuter. Qui conçoivent pour le pire des cas — le cas Harvey Murphy — et non pour le cas de démonstration.

Rite Aid a perdu ses capacités biométriques pendant cinq ans et a dû détruire ses modèles. Macy's et Sunglass Hut font face à un procès de 10 millions de dollars et au type d'atteinte à leur réputation qu'aucune agence de relations publiques ne peut réparer. Ce ne sont pas des récits édifiants issus des premiers temps d'une technologie risquée. Ils se produisent maintenant, avec des systèmes que des entreprises ont achetés sur étagère et déployés sans les comprendre.

L'ère du wrapper dans l'IA d'entreprise touche à sa fin. Non parce que les wrappers ne fonctionnent pas — ils fonctionnent très bien pour les tâches à faibles enjeux. Mais parce que les enjeux ne cessent de croître, les réglementations de se durcir, et le coût d'une mauvaise réponse formulée avec assurance de grimper.

Harvey Murphy était à Sacramento. L'algorithme a affirmé qu'il était à Houston. Et pendant dix jours, l'algorithme a gagné.

Ce n'est pas un problème d'IA. C'est un problème d'architecture. Et l'architecture est un choix.