Peut-on faire confiance à la reconnaissance faciale par IA ? Une leçon à 10 millions de dollars

Le problème

Harvey Murphy, grand-père de 61 ans, a passé 10 jours en prison pour un vol qu'il n'avait pas commis. Il se trouvait à 1 500 miles de là au moment des faits. Un système de reconnaissance faciale chez Macy's a associé son visage à des images de surveillance floues d'un vol chez Sunglass Hut à Houston. Murphy était à Sacramento, en Californie. L'IA en avait décidé autrement, et la police a cru la machine.

Au cours de ces 10 jours de détention, Murphy a été victime d'agressions sexuelles et de violences physiques. Il en a gardé des séquelles permanentes. Il a depuis déposé une plainte de 10 millions de dollars contre Macy's et la société mère de Sunglass Hut, EssilorLuxottica. Le système qui l'avait signalé s'appuyait sur des images de vidéosurveillance de mauvaise qualité. Il a vraisemblablement comparé ces images à une photo prise lors d'une arrestation pour des délits non violents, des décennies auparavant. Des études montrent que la comparaison d'images récentes avec des photos prises des années, voire des décennies, auparavant peut produire des taux de faux positifs atteignant 90 %.

Ce n'était pas un accident isolé. Quelques semaines seulement auparavant, la FTC avait interdit à Rite Aid d'utiliser la reconnaissance faciale pendant cinq ans. Entre 2012 et 2020, le système de Rite Aid avait généré des milliers de faux positifs dans des centaines de magasins. Les femmes et les personnes de couleur étaient ciblées de manière disproportionnée. Des employés ont suivi, fouillé et accusé publiquement des clients innocents sur la base d'alertes automatisées.

Si votre organisation utilise l'IA pour toute décision affectant la liberté, les finances ou la réputation d'une personne, ces affaires sont votre avertissement.

Pourquoi cela est important pour votre entreprise

Le risque financier ici n'est pas hypothétique. Il touche déjà les bilans comptables et les prétoires.

• Procès à 10 millions de dollars : la demande d'Harvey Murphy contre Macy's et EssilorLuxottica pour arrestation arbitraire et préjudice corporel causé par une identification IA défaillante.
• Interdiction technologique de cinq ans : la FTC a totalement interdit à Rite Aid d'utiliser la reconnaissance faciale. Rite Aid doit également supprimer toutes les données biométriques et détruire chaque modèle d'IA construit à partir de ces données.
• Restitution de modèles (model disgorgement) : la FTC a contraint Rite Aid à « désapprendre » son IA — en détruisant les algorithmes dérivés d'informations collectées illicitement. Il s'agit d'un nouvel outil réglementaire qui efface des années d'investissement du jour au lendemain.

L'environnement réglementaire se resserre rapidement. La loi européenne sur l'IA (EU AI Act) classe désormais l'identification biométrique dans les espaces publics comme « à haut risque ». Les fournisseurs doivent réaliser des évaluations de conformité, maintenir une documentation technique détaillée et assurer une supervision humaine effective. Même si votre entreprise n'opère qu'aux États-Unis, le cadre de gestion des risques liés à l'IA du NIST promeut les mêmes principes. La FTC a utilisé une logique similaire — transparence, responsabilité, gestion des risques — pour justifier son interdiction visant Rite Aid.

Votre conseil d'administration doit comprendre : le coût d'un système d'IA mal gouverné n'est pas un problème technologique. C'est un problème de contentieux, un problème réglementaire et un problème de première page. Si votre fournisseur d'IA ne peut pas expliquer comment son système évite ces défaillances, c'est votre entreprise qui porte le risque — pas eux.

Ce qui se passe réellement sous le capot

Voici pourquoi ces systèmes échouent, en termes simples.

La plupart des outils commerciaux de reconnaissance faciale sont conçus pour ce que les ingénieurs appellent des problèmes en « ensemble fermé ». Cela signifie que le système suppose que la personne qu'il analyse est obligatoirement dans la base de données. Pensez à déverrouiller votre téléphone avec votre visage. Le téléphone sait que c'est vous. Il doit juste le confirmer.

La sécurité en grande distribution, c'est le contraire. C'est un problème en « ensemble ouvert ». La grande majorité des personnes entrant dans votre magasin ne figurent dans aucune base de données criminelle. Mais un système en ensemble fermé ne sait pas dire « je ne reconnais pas cette personne ». Au lieu de cela, il trouve la correspondance la plus proche possible, même si elle est erronée. C'est ainsi que Rite Aid a généré des milliers de faux positifs dans des centaines de magasins.

Imaginez un QCM sans option « aucune de ces réponses ». Le système doit choisir une réponse, même quand la bonne réponse n'est pas proposée. Chaque visage qui franchit la porte est associé à quelqu'un dans la base de données, qu'il y figure ou non.

Le second écueil est de traiter la sortie de l'IA comme une simple réponse oui/non. En réalité, chaque sortie d'IA est une probabilité — une estimation assortie d'un niveau de confiance. Le système de Macy's a attribué un score de correspondance à Harvey Murphy. Mais personne n'a demandé dans quelle mesure ce score était réellement fiable. Un score de correspondance de 0,85 semble élevé. Mais si l'image sous-jacente est floue et que la photo de référence a des décennies, ce 0,85 est statistiquement sans signification. Sans une couche qui mesure l'incertitude — à quel point le système est réellement sûr — vous prenez des décisions à enjeux élevés sur la base d'un pile ou face habillé en science.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Commençons par ce qui échoue.

Modèles sur étagère sans tests. Rite Aid a acheté la reconnaissance faciale à deux fournisseurs dont les contrats excluaient expressément toute garantie d'exactitude. L'entreprise n'a jamais testé la fiabilité du logiciel. On ne peut pas déléguer la responsabilité par un contrat fournisseur.

Données d'entrée de mauvaise qualité considérées comme suffisantes. Rite Aid et Macy's ont tous deux alimenté leurs systèmes avec des captures CCTV granuleuses et d'anciennes photos d'arrestation. En ingénierie biométrique, une mauvaise entrée ne fait pas que réduire la précision — elle augmente les erreurs de façon exponentielle.

Aucun examen humain avant action. Les employés de Rite Aid ont interpellé des clients sur la seule foi d'alertes automatisées. Personne n'a remis en question la machine. La plainte contre Macy's allègue que l'entreprise a présenté une correspondance automatique à la police comme un fait avéré, et que la police a cessé d'enquêter.

Voici ce qui fonctionne réellement.

1. Validation des données d'entrée. Avant même que votre système tente une correspondance, un agent de contrôle qualité dédié évalue l'image. La résolution est-elle suffisante ? L'éclairage est-il adéquat ? La photo de référence est-elle suffisamment récente ? Si les données d'entrée échouent à ces vérifications, le système rejette la comparaison d'emblée. Pas d'estimation vaut mieux qu'une mauvaise estimation.

2. Mesure de l'incertitude. Au lieu de produire un seul score de confiance, le système génère une distribution de probabilité — une plage qui indique à quel point la sortie est réellement fiable. Des techniques comme la prédiction conforme (conformal prediction) garantissent que le résultat réel se situe dans les limites prédites à un niveau de confiance que vous définissez. Vous décidez de votre taux d'erreur acceptable. Le système l'applique mathématiquement.

3. Points de contrôle décisionnels avec intervention humaine. Le système achemine chaque résultat à travers des seuils de confiance. En dessous de 70 % de confiance, la correspondance est automatiquement rejetée. Entre 70 % et 95 %, un examinateur humain qualifié voit l'image de surveillance originale à côté de l'image de la base de données et tranche. Seulement au-delà de 95 % — et uniquement pour des actions à faible impact — le système agit de lui-même.

C'est une approche d' orchestration multi-agents où des agents spécialisés gèrent chaque étape : l'un valide la qualité des données d'entrée, un autre effectue la correspondance, un troisième mesure l'incertitude, et un quatrième signale les cas ambigus pour examen humain. Aucun modèle unique ne prend seul la décision finale.

L'avantage en matière de conformité est la piste d'audit. Chaque étape — chaque vérification de qualité d'image, chaque score de confiance, chaque décision humaine — est enregistrée automatiquement. Lorsque le régulateur ou l'avocat du plaignant demande comment votre système a pris une décision, vous pouvez lui montrer exactement ce qui s'est passé. Le test de reconnaissance faciale FRVT du NIST fournit les références que vos fournisseurs devraient atteindre. Il mesure les taux de faux positifs à des seuils aussi stricts que 1 sur 1 000 000. Il décompose également les performances par sexe, âge et groupe démographique — exactement le type de données sur les biais que la FTC a exigé de Rite Aid.

Pour les organisations dans le domaine de la sécurité et de la résilience de l'IA, la question n'est pas de savoir si votre IA est précise en moyenne. C'est de savoir si votre IA peut prouver qu'elle était précise dans ce cas spécifique, pour cette personne spécifique, dans ces conditions spécifiques. C'est la norme que les flux de travail déterministes et l'outillage doivent respecter.

Vous pouvez lire l'analyse technique complète pour les détails techniques, ou explorer la version interactive pour une présentation guidée de l'architecture.