Le crâne chauve qui a piégé notre IA (et ce qu'il m'a appris pour concevoir une vision artificielle fiable)

En octobre 2020, un match de football écossais opposant Inverness Caledonian Thistle à Ayr United est devenu l'échec d'IA le plus instructif que j'aie jamais étudié. Un système de caméras automatisé, conçu pour suivre le ballon et retransmettre la rencontre sans intervention humaine, a passé l'intégralité du match à suivre amoureusement le crâne chauve d'un juge de touche posté sur la ligne de touche. Chez eux, les supporters ont manqué tous les buts. Internet s'en est donné à cœur joie.

Au début, j'ai ri moi aussi. Puis j'ai cessé de rire, car j'ai réalisé que mon équipe concevait des systèmes affligés du même angle mort.

L'IA de la caméra avait accompli sa tâche de façon irréprochable selon sa propre logique. Elle avait repéré un objet rond et clair sous les projecteurs du stade et lui avait attribué un score de confiance de 98 % pour la catégorie « ballon ». Le véritable ballon — filant à vive allure, se fondant dans les ombres, parfois masqué par les joueurs — n'obtenait qu'environ 80 %. Le système a suivi les calculs. Les calculs étaient déconnectés du réel. C'est dans ce fossé entre détecter un motif et comprendre ce que l'on regarde que j'ai passé ces dernières années, et c'est ce qui m'a poussé à concevoir des systèmes de vision artificielle sous contraintes physiques chez Veriprajna.

Que voit une IA lorsqu'elle regarde le monde ?

La plupart des systèmes de vision par ordinateur traitent les images à la manière d'un enfant en bas âge très sûr de lui identifiant des animaux au zoo. Rond et brillant ? Un ballon. Quatre pattes ? Un chien. La comparaison n'a rien d'une plaisanterie : les réseaux de neurones convolutifs (CNN) modernes décomposent les images en textures, contours et formes, puis comparent ces caractéristiques aux motifs appris durant leur entraînement. Ce sont, au fond, des machines d'appariement de textures.

Cela fonctionne remarquablement bien dans des conditions contrôlées. Tout s'effondre dès lors que le monde physique commence à se comporter selon les lois physiques.

Détecter un objet ne signifie pas comprendre un objet. Un système qui repère une forme ronde et l'appelle ballon a identifié une texture. Un système qui rejette cette identification parce que le « ballon » plane à 1,70 mètre du sol depuis trois minutes sans bouger — ce système-là comprend quelque chose.

La caméra d'Inverness était incapable de distinguer une tête d'un ballon parce qu'elle n'avait aucune notion de ce qu'un ballon fait. Un ballon de football obéit aux lois de la trajectoire balistique. Il accélère sous l'impact. Il se déplace à des vitesses pouvant atteindre 130 km/h. Il ne peut pas être fixé à un buste humain qui se déplace au pas. Il ne s'agit pas d'intuitions abstraites : n'importe quel enfant devant le match le savait. Mais l'IA fonctionnait selon ce que la communauté de la vision par ordinateur appelle « l'inférence indépendante des trames », traitant chaque image comme un instantané isolé, sans mémoire du passé ni attente de ce qui allait suivre.

La nuit où j'ai compris que nous avions le même problème

J'aimerais pouvoir affirmer que je suis parvenu à la vision sous contraintes physiques grâce à une élégante déduction théorique. La réalité est bien plus triviale. Nous concevions un système d'inspection de défauts pour un client du secteur des semi-conducteurs, et notre modèle signalait constamment des poussières comme des anomalies de circuits. Pas de temps en temps : continuellement. Le taux de faux positifs anéantissait la confiance de l'équipe de production dans l'outil, et ils avaient parfaitement raison d'être sceptiques.

Je me souviens être resté assis devant les résultats à deux heures du matin, furieux, parce que notre modèle était précis selon chaque critère d'évaluation que nous mesurions. Il identifiait correctement les anomalies dans plus de 90 % des cas sur les données de test standard. Mais l'environnement de production ne ressemblait en rien à des données de test. La poussière retombait sur les wafers. L'éclairage variait d'un poste d'inspection à l'autre. Le modèle voyait une tache sombre et la qualifiait d'anomalie, exactement comme la caméra d'Inverness voyait une forme ronde et l'appelait ballon.

Mon directeur technique et moi avons débattu pendant une semaine de la marche à suivre. Il réclamait davantage de données d'entraînement. Je voulais modifier l'architecture. La discussion a pris fin quand j'ai posé une question toute simple : « Notre modèle sait-il qu'un grain de poussière et une anomalie de circuit se comportent différemment sous une prise de vue multi-angles ? » Non, il l'ignorait. Une véritable anomalie — une cavité physique ou une rayure dans le silicium — se déplace de façon prévisible quand on la photographie sous des angles différents : c'est la parallaxe. Un grain de poussière posé en surface réagit tout autrement. Nous demandions à un comparateur de textures de faire le travail d'un physicien.

Ce fut le tournant. Nous avons cessé de vouloir rendre le réseau de neurones plus intelligent et avons commencé à le contraindre à respecter les lois de la physique.

La démonstration qui a dérapé

Trois mois après ce pivot dans les semi-conducteurs, je me trouvais dans une salle de conférence pour présenter notre nouvelle approche à une entreprise de logistique. Quinze personnes nous faisaient face. J'avais préparé une démonstration en direct illustrant notre algorithme de suivi sous contraintes physiques suivant un colis dans un entrepôt simulé, anticipant sa position lors d'occultations et rejetant les fausses détections.

La démonstration a débuté à la perfection. Puis le téléphone de quelqu'un a sonné, et un reflet sur l'écran a frappé notre caméra selon un angle fatal. Le suivi a vacillé. Le cadre de détection a bondi sur un plafonnier pour y rester figé pendant trois secondes atroces avant que la couche physique ne vienne le corriger.

J'étais là, à contempler mon propre logiciel échouer exactement de la manière dont j'avais passé des mois à jurer qu'il ne faillirait pas. Le silence s'est abattu sur la pièce. J'aurais voulu disparaître sous terre.

La couche physique a rétabli la situation. C'était bien là l'essentiel. Mais pendant ces trois secondes, j'ai compris une vérité qu'aucun banc d'essai ne m'avait jamais enseignée : en production, la confiance ne se mesure pas à la précision moyenne. Elle se joue sur ce qui se produit lors de la pire image.

Je l'ai formulé à voix haute, à moitié pour l'assemblée et à moitié pour moi-même : « Un système générique suivrait encore ce plafonnier. Le nôtre a rectifié le tir. Cette capacité de récupération est le produit. » Le directeur technique en face a hoché lentement la tête. Ils ont signé deux semaines plus tard. Mais cette nuit-là, de retour chez moi, j'ai réécrit notre logique d'affichage de la confiance afin que le système montre son incertitude en temps réel — pour ne plus jamais avoir à me tenir devant un client en prétendant que les mathématiques relèvent de la magie.

Pourquoi les systèmes d'IA fiables à 90 % échouent-ils en production ?

Il existe un piège que j'appelle désormais le « problème des 90 % », et je vois les entreprises y succomber les unes après les autres. Les API génériques de vision par ordinateur — celles que l'on déploie en un après-midi auprès de n'importe quel grand fournisseur de cloud — atteignent 90 % de précision rapidement et à moindres frais. En démonstration, elles semblent magiques. La valeur commerciale réside pourtant tout entière dans les 10 % restants.

Ces 10 % finaux correspondent aux crânes chauves. Aux ombres qui prennent l'allure de murs pour un véhicule autonome, déclenchant des freinages fantômes sur autoroute. À la main d'un client masquant un article dans un magasin sans caisse. À l'anomalie rarissime de semi-conducteur ressemblant à s'y méprendre à une inoffensive poussière de deux nanomètres.

Dans la fabrication de semi-conducteurs, améliorer la précision de détection des défauts de seulement 1 % peut entraîner une hausse de rendement de 5 à 10 %, épargnant des millions chaque année. Du côté des véhicules autonomes, des propriétaires de Tesla ont signalé de multiples cas de freinage fantôme où les systèmes visuels interprétaient à tort des ombres et des ponts comme des obstacles. Il ne s'agit nullement de risques théoriques. Ce sont des pannes opérationnelles bien réelles, survenant aujourd'hui à travers toutes les industries, parce que l'IA sous-jacente est dépourvue de toute intuition physique. Nos travaux comblent cet écart entre 90 % et 99,99 % en intégrant la couche physique dont les API génériques sont privées.

Comment nous avons appris à nos systèmes à penser comme des physiciens

L'idée maîtresse est d'une simplicité trompeuse : traiter la sortie d'un réseau de neurones non pas comme un fait avéré, mais comme une mesure bruitée qui doit être validée par les lois de la physique. J'ai détaillé l'architecture technique complète dans la version interactive de nos travaux de recherche, mais l'intuition prime ici sur les équations.

Imaginez que vous suiviez un ballon de football. Votre caméra indique que le ballon est au milieu du terrain et file vers l'est à 20 mètres par seconde. Un quarantième de seconde plus tard, votre caméra affirme que le « ballon » se trouve désormais à 15 mètres de là, sur la touche, se déplaçant à la vitesse du pas. Un filtre de Kalman — cadre mathématique maintenant une estimation continue de la position d'un objet, de sa vitesse et du degré de certitude associé à chacune — rejetterait instantanément cette seconde mesure. L'accélération implicite est physiquement impossible pour un ballon de football. Le système calcule ce que l'on nomme la distance de Mahalanobis — concrètement, le nombre d'écarts-types séparant la nouvelle mesure de la prédiction. Si celle-ci dépasse 3 sigmas, la détection est purement et simplement écartée, quel que soit le niveau de certitude du réseau de neurones sur ces pixels.

Voilà ce que j'entends par vision sous contraintes physiques. Le réseau de neurones propose. La physique dispose.

Nous appliquons plusieurs portes de validation successives à chaque détection. Une porte cinématique vérifie si l'objet peut physiquement se trouver à l'endroit désigné par le réseau. Une porte de flux optique s'assure que le mouvement des pixels à l'intérieur du cadre concorde avec ce que l'on attend d'un véritable corps en mouvement — un juge de touche immobile génère un flux quasi nul, tandis qu'un ballon en vol produit un profil caractéristique. Une porte géométrique contrôle si la taille apparente de l'objet est cohérente avec la perspective 3D à la distance estimée de la caméra.

Toute détection qui échoue à l'une quelconque de ces portes est rejetée. Sans exception ni passe-droit.

Que se passe-t-il lorsque l'objet disparaît ?

Les systèmes classiques paniquent. L'indice de confiance tombe à zéro. Le module de suivi déclare l'objet « perdu » et se fige ou se réinitialise. Dans le monde physique, une telle réaction est aberrante. Un ballon se déplaçant à 20 mètres par seconde ne cesse pas d'exister sous prétexte qu'un joueur passe devant l'objectif. Il poursuit sa course, décélère légèrement sous l'effet de la traînée et décrit une trajectoire que la physique permet de prédire avec une extrême rigueur.

Nos systèmes conservent l'objet en mémoire tout au long de l'occultation, projetant sa position vers l'avant à partir de sa trajectoire antérieure. Dès que l'objet réapparaît, le système pointe déjà au bon endroit. J'envisage cela comme l'acquisition de la permanence de l'objet par l'IA. Mon neveu de deux ans l'a assimilée vers son huitième mois. La majorité des systèmes de vision industriels n'y parviennent toujours pas.

« Il suffit d'utiliser un modèle plus grand »

On me répète cela constamment. Un investisseur me l'a assené mot pour mot lors d'une présentation en 2023, calé au fond de son fauteuil comme s'il venait de résoudre notre défi technique tout entier : « Pourquoi ne pas simplement affiner un modèle de fondation ? Pourquoi s'encombrer de toute cette physique ? »

J'ai marqué une pause : « Parce que la physique ne change pas lorsque votre distribution d'entraînement dérive. »

Un PINN ne se contente pas d'apprendre à partir de données. Il apprend à partir de données bornées par la réalité. La nuance est la même qu'entre apprendre par cœur des réponses et maîtriser réellement une discipline.

Les réseaux de neurones informés par la physique — ou PINN — représentent l'une des idées les plus élégantes de l'apprentissage automatique moderne. Un réseau de neurones standard minimise l'écart entre ses prédictions et des données d'entraînement annotées. Un PINN y ajoute une seconde pénalité : le réseau est également sanctionné chaque fois que ses prédictions transgressent une équation physique. S'il prévoit une trajectoire où un ballon bifurque en plein vol sans aucune force extérieure, l'équation différentielle directrice est violée, la fonction de perte explose et le réseau apprend à proscrire ce comportement.

L'impact pratique est spectaculaire. Un PINN exige considérablement moins de données d'entraînement, car les lois de la physique éliminent d'emblée la majeure partie de l'espace des solutions avant même le début de l'apprentissage. Il se généralise à des conditions inédites parce qu'il a assimilé les principes fondamentaux au lieu d'avoir simplement mémorisé des exemples. Pour nos applications de suivi sportif, cela nous permet d'anticiper la courbe d'une frappe flottante ou d'un coup franc brossé dès sa trajectoire initiale — la caméra pivote au-devant de l'action au lieu de lui courir après. Pour une analyse technique complète des PINN et des réseaux neuronaux hamiltoniens, je détaille ces aspects dans notre publication de recherche.

Le dilemme « Développer ou acheter » que personne n'aborde franchement

Chaque dirigeant d'entreprise avec qui j'échange se heurte au même dilemme : acheter une API de vision prête à l'emploi ou concevoir une solution sur mesure. La version honnête de cet échange, rarement formulée, s'articule ainsi.

L'achat permet une mise en production rapide. L'API est opérationnelle dès le premier jour. Elle traite convenablement les cas classiques. Le coût total de possession paraît dérisoire sur un tableur.

Puis surgissent les cas limites. Les faux positifs s'accumulent. Vous devez embaucher des opérateurs pour vérifier le travail de l'IA, ce qui va à l'encontre du but recherché. Vous découvrez que le modèle du fournisseur ne peut être adapté à vos contraintes physiques propres. Vous prenez conscience que vos données quittent votre infrastructure. Et vous n'avez bâti aucune propriété intellectuelle.

Développer un système sous contraintes physiques requiert un investissement initial plus lourd. Cela exige un véritable travail d'ingénierie. Mais le taux de faux positifs chute de plusieurs ordres de grandeur, car la physique filtre le bruit que les données seules ne peuvent résorber. Le système fonctionne sur vos propres serveurs, avec vos données, et génère des modèles qui vous appartiennent. Le coût total de possession à long terme plaide en faveur du développement interne pour toute application où les erreurs coûtent cher — ce qui correspond, selon mon expérience, à chaque cas d'usage méritant d'être automatisé.

Je ne prétends pas que chaque organisation doive tout bâtir de zéro. Je soutiens simplement que si votre IA ne sait pas faire la différence entre un ballon et un crâne chauve, le coût de l'abonnement est le cadet de vos soucis.

Le contexte est la nouvelle précision

L'an dernier, assis au fond d'une salle de conférence, j'écoutais une table ronde débattre de la nécessité d'un « bon sens » pour l'IA. Quatre chercheurs, quarante-cinq minutes, aucun consensus. Je ne cessais de me répéter : nous n'avons pas besoin de bon sens. Nous avons besoin de physique. Le bon sens est nébuleux. La physique se résume à des équations que l'on peut coder.

L'industrie de l'IA a passé une décennie à optimiser la précision sur des jeux de données d'évaluation. Des modèles comptant des milliards de paramètres identifient des milliers de catégories d'objets avec une exactitude surhumaine — sur des images de test analogues aux données d'entraînement. La prochaine décennie appartiendra au contexte. Non pas à des modèles plus volumineux, mais à des contraintes plus intelligentes. Non pas à plus de paramètres, mais à plus de physique.

Votre IA sait-elle distinguer un ballon d'une tête ? Si elle ne se fie qu'aux pixels, la réponse est « parfois ». Si elle s'appuie sur la physique, la réponse est « toujours ».

Je repense à ce match de football écossais plus souvent que de raison. Un homme chauve posté le long d'une ligne de touche, vaquant à ses occupations, qui a involontairement mis à nu la fragilité intrinsèque de toute une génération de systèmes d'IA. Les supporters privés de buts étaient furieux. J'étais reconnaissant. Ce juge de touche m'a davantage appris sur la conception d'une IA véritablement robuste que n'importe quel article scientifique.

L'avenir de la vision par ordinateur ne consiste pas à voir plus grand. Il consiste à comprendre ce que l'on voit.