La vision par ordinateur générique échoue aux marges : des crânes chauves pris pour des ballons de football, des particules de poussière signalées comme des défauts critiques, des ombres déclenchant des freinages fantômes. Nous construisons des systèmes de vision sous contraintes physiques qui rejettent l'impossible avant qu'il ne devienne coûteux.
Que vous exploitiez des caméras automatisées dans des stades, inspectiez des wafers à 10 nm ou classifiiez des défauts sur une ligne de production, le problème est le même : votre détecteur trouve des motifs, mais il ne comprend pas la physique. Un ballon ne peut pas se téléporter. Un défaut a une parallaxe. Une ombre n'a pas de profondeur. Nous intégrons ces contraintes physiques directement dans votre pipeline de vision, comblant l'écart entre détection et compréhension.
En octobre 2020, le système de caméra automatisé de Pixellot à l'Inverness Caledonian Thistle a suivi le crâne chauve d'un juge de touche pendant tout un match au lieu du ballon. Le système utilisait un détecteur CNN standard (probablement de la famille YOLO) qui traitait chaque image indépendamment. Sous les projecteurs du stade, le crâne du juge de touche produisait des reflets spéculaires dont les gradients de pixels étaient statistiquement indiscernables de ceux d'un ballon de football blanc. Le détecteur attribuait une confiance de 98 % au « ballon » sur la tête, tandis que le ballon réel (se déplaçant rapidement, flouté à travers les ombres) obtenait 80 %. Le système suivait le signal de plus haute confiance. Il n'avait aucun mécanisme pour vérifier qu'un « ballon » se déplaçant à 5 km/h à une hauteur constante de 1,7 mètre, fixé à un objet cylindrique vertical, viole toutes les contraintes cinématiques d'un ballon de football en jeu. La solution n'est pas de meilleures données d'entraînement. C'est la physique.
KLA domine l'inspection des semi-conducteurs avec 63 % de part de marché et sa série 2900 peut détecter des structures aussi petites que 10 nm. Mais la détection n'est pas le goulot d'étranglement. Le problème des défauts parasites l'est : aux nœuds de process avancés, un scan large bande capture des milliers d'anomalies par wafer. La plupart sont des artefacts de surface, des particules de poussière ou du bruit de motif qui n'affecteront pas le rendement. Chacune nécessite une classification. Une perte de rendement de 1 % aux nœuds avancés se traduit par des millions de revenus perdus, car un seul wafer peut coûter des dizaines de milliers de dollars. La norme du secteur repose sur des classifieurs d'apprentissage profond entraînés sur des bibliothèques de défauts historiques, mais ces classifieurs n'ont aucun modèle de la manière dont la lumière interagit physiquement avec un creux par rapport à une tache ou à un résidu de process. Lorsque la fab passe à un nouveau nœud de process (par exemple, gate-all-around à 2 nm), les données d'entraînement du classifieur deviennent obsolètes et le taux de parasites s'envole. Les modèles de défauts fondés sur la physique, qui comprennent la parallaxe, la réflectance des matériaux et la diffusion topographique, séparent les vrais défauts du bruit quel que soit le nœud de process.
Sur les lignes de production utilisant un contrôle qualité fondé sur l'IA, vous savez rarement quand un modèle de CV se trompe. Sans étiquettes de vérité terrain en temps réel, la dérive s'installe silencieusement pendant que la production continue. Un angle d'éclairage se décale après une maintenance. Une lentille se voile au fil des semaines. Un montage s'use. Les faux rejets augmentent (boucles de retouche, frictions de débit) ou les fausses acceptations s'insinuent (risque d'échappement, exposition à la garantie). Au moment où un échappement qualité apparaît, il déclenche un confinement large, une quarantaine élargie, une réinspection et une revue manuelle. Le coût de la non-qualité représente environ 20 % des ventes totales pour les fabricants moyens. Les contraintes physiques servent d'ancres invariantes : les propriétés physiques d'une pièce correctement fabriquée ne changent pas quand l'éclairage se décale. Un système informé par la physique mesure si l'image observée est cohérente avec la géométrie et les propriétés matérielles connues, et pas seulement si elle « ressemble » à une bonne pièce par rapport aux images d'entraînement historiques.
| Fournisseur | Domaine | Ce qu'ils livrent | Intégration de la physique | Où ils échouent |
|---|---|---|---|---|
| Pixellot | Diffusion sportive | Caméras automatisées par IA, suivi automatique, multi-angles. Plus de 150 ligues, partenariat avec GameChanger. | Filtrage de Kalman basique pour le lissage des trajectoires. Le suivi multi-hypothèses de la V4 a largement corrigé la classe d'erreurs du crâne chauve. | Nouveaux modes de défaillance : OCR des maillots sous flou de mouvement, projection du hors-jeu sur des terrains non plans. La physique est un lissage a posteriori, pas une couche de contraintes. |
| Hawk-Eye (Sony) | Arbitrage sportif | Triangulation multi-caméras, suivi squelettique (29 points par joueur). NFL, MLB, ATP. | Fortes contraintes géométriques via la calibration multi-caméras. | Coûteux (plus de 1 M$ par site). Propriétaire et fermé. Nécessite une infrastructure dédiée (6 à 8 caméras 4K/8K par site). |
| KLA Corporation | Inspection de semi-conducteurs | Inspection large bande de la série 2900, sensibilité de 10 nm. 63 % de part de marché dans le contrôle de process. | Modèles de physique des défauts à base de règles, intégrés à des nœuds de process spécifiques. | Les modèles sont spécifiques à un nœud de process. Les transitions vers de nouveaux nœuds provoquent des pics de taux de parasites. Un investissement R&D de 2,3 Md$ signale qu'ils savent que l'écart existe. |
| Cognex | Assurance qualité industrielle | Apprentissage profond VisionPro ViDi, apprentissage sur caméra (5 à 10 images d'entraînement). | Aucune à l'inférence. La vision industrielle traditionnelle gère la mesure/métrologie. | Piloté uniquement par les données. Sujet à la dérive silencieuse. Réduction de 90 % du temps de configuration, mais sans ancrage physique. |
| NVIDIA | Plateforme/infrastructure | Écosystème Metropolis (plus de 1 000 entreprises), Omniverse pour la simulation de jumeaux numériques, Cosmos pour les données synthétiques. | Physique au moment de l'entraînement (rendu), pas à l'inférence. Omniverse simule la physique pour la génération de données synthétiques. | Plateforme, pas solution. La physique s'arrête à l'entraînement. Le modèle déployé reste purement piloté par les données. |
| Veo | Sport (amateur) | Caméras IA en vente directe, plus de 40 000 clubs, 100 pays, plus de 4 M de matchs filmés. | Minimale. Suivi de qualité grand public. | Pas de contraintes physiques. Le positionnement grand public implique une puissance de calcul limitée pour les couches de contraintes. |
| Big 4 / Grands intégrateurs | Inter-secteurs | Mises en œuvre de plateformes (NVIDIA, API cloud), services d'intégration, conduite du changement. | Mettent en œuvre les outils physiques des fournisseurs. Ne construisent pas de couches de contraintes sur mesure. | Ils déploient des plateformes. Construire un pipeline de filtre de Kalman sur mesure adapté à votre physique spécifique n'est pas dans leur répertoire. Les engagements coûtent de 500 K$ à plus de 5 M$ et durent de 6 à 18 mois. |
| API cloud | Usage général | Détection/classification pré-entraînée, intégration API facile, paiement à l'appel. | Aucune. Inférence indépendante des images par conception. | Aucune cohérence temporelle. Aucune contrainte physique. Le « piège des 90 % » : rapide jusqu'à 90 % de précision, impossible de combler les 10 % restants sans physique spécifique au domaine. |
L'écart est constant dans chaque segment : la physique est soit absente, soit confinée à l'entraînement, soit enfermée dans un système propriétaire. Personne ne propose de couches de contraintes physiques sur mesure en tant que service, intégrées à votre pipeline existant, adaptées à la physique spécifique de votre domaine. C'est ce que nous construisons.
Nous ajoutons une couche de vérification déterministe entre votre détecteur et votre système d'action. Chaque détection passe par trois portes avant d'être acceptée : une porte cinématique par filtre de Kalman (ce mouvement est-il physiquement possible compte tenu de la masse de l'objet et du delta de temps ?), une porte de flux optique (le mouvement des pixels à l'intérieur de la boîte englobante correspond-il au profil de vitesse attendu ?) et une porte géométrique (la taille de l'objet satisfait-elle les contraintes de perspective 3D par rapport à la position de la caméra ?). Nous adaptons le modèle physique à votre domaine. Dynamique des projectiles pour le suivi de ballon. Géométrie de parallaxe pour l'inspection de wafers. Contraintes du plan de la route pour la navigation autonome. Les portes rejettent les faux positifs que la seule confiance visuelle ne peut détecter.
Pour les fabs de semi-conducteurs et la fabrication de précision, nous construisons des classifieurs de défauts qui modélisent la manière dont la lumière interagit physiquement avec les anomalies de surface. Un vrai creux diffuse la lumière différemment d'une particule de poussière. Un résidu de process a une réflectance différente d'un court-circuit. Nous utilisons la géométrie multi-vues et des modèles de rendu fondés sur la physique pour caractériser chaque anomalie par ses propriétés physiques, et pas seulement par son apparence visuelle. Cela signifie que le classifieur généralise à travers les nœuds de process, car la physique de l'interaction lumière-matière ne change pas quand on passe du FinFET au gate-all-around.
La dérive de modèle est le tueur silencieux de la CV en production. Nous construisons des architectures qui utilisent les invariants physiques comme ancres de stabilité. La géométrie physique d'une pièce correctement fabriquée ne change pas quand un angle d'éclairage se décale ou qu'une lentille se voile. Nous encodons ces invariants dans le système afin que la variation environnementale affecte le signal brut mais pas la sortie vérifiée par la physique. Cela réduit les cycles de réentraînement d'urgence d'une fréquence mensuelle à trimestrielle ou moins, et détecte la dérive avant qu'elle ne provoque des échappements qualité.
Lorsque les réseaux de neurones informés par la physique (PINN) ont du sens pour votre application, nous construisons le pipeline d'entraînement. Les PINN ajoutent un terme de perte physique à la perte de données standard : le réseau est pénalisé non seulement pour avoir manqué la cible, mais aussi pour avoir violé les équations qui le régissent (Navier-Stokes, mouvement des projectiles, conservation de l'énergie). Le résultat est un modèle qui nécessite moins de données d'entraînement, généralise mieux à des conditions inédites et produit des sorties physiquement plausibles. Nous gérons les parties difficiles : le réglage de lambda (le poids de la perte physique), la stabilisation de la convergence et la gestion des discontinuités (ballon heurtant un poteau, effets de bord de wafer) qui font échouer les implémentations naïves de PINN.
Voici exactement ce qui se passe lorsqu'un système à portes physiques traite le scénario du match d'Inverness, image par image.
Le détecteur trouve le ballon aux coordonnées (512, 380) avec 92 % de confiance. Le filtre de Kalman s'initialise : position (512, 380), vitesse estimée à 18 m/s vers l'est d'après les images précédentes. L'incertitude d'état est faible. Le flux optique dans la région de détection montre un fort mouvement vers la droite, cohérent avec un ballon frappé. Les trois portes passent. Le système accepte la détection et met à jour la trajectoire.
Le détecteur renvoie deux candidats :
Le filtre avait prédit que le ballon serait près de (531, 376) en fonction de sa vitesse et de la gravité. L'innovation (résidu) du candidat A est de 1,4 pixel. L'innovation du candidat B est de 669 pixels. La distance de Mahalanobis pour B est de 47 écarts-types. Tout ce qui dépasse 3 sigma est rejeté. B est éliminé avant d'atteindre la porte suivante.
Le candidat A présente un champ de flux de 450 pixels/seconde vers la droite, cohérent avec un ballon à 18 m/s. Même si B avait passé la porte 1, son champ de flux montre un mouvement quasi nul (tête immobile). Un « ballon » à vitesse nulle en plein jeu viole le profil attendu. Deuxième rejet.
Le candidat A sous-tend 22 pixels à cette distance, cohérent avec un ballon de 22 cm à 12 mètres de la caméra. Le candidat B sous-tend 45 pixels. Un ballon de 22 cm à 12 mètres ne peut pas sous-tendre 45 pixels. Troisième rejet.
Le système suit le candidat A (le ballon réel) avec 80 % de confiance visuelle, rejetant le candidat B malgré sa confiance de 98 %. La physique l'emporte sur les pixels.
Cette même architecture s'applique à tout domaine où les objets obéissent aux lois physiques. Dans une fab de semi-conducteurs, la « porte de Kalman » devient un contrôle de cohérence de parallaxe entre les angles d'inspection. En assurance qualité industrielle, la « porte de flux optique » devient un modèle de réflectance de surface. Le cadre est le même ; c'est la physique qui change.
Nous instrumentons votre pipeline de CV existant pour mesurer exactement où il échoue : taux de faux positifs par catégorie, latence par étape d'inférence, fréquence des cas limites. Nous identifions quelles contraintes physiques s'appliquent à votre domaine et quelles défaillances de détection elles préviendraient. Livrable : un document de spécification des contraintes avec une réduction projetée des faux positifs et une recommandation go/no-go. Si les contraintes physiques n'amélioreront pas significativement votre système, nous vous le disons.
Nous construisons la couche physique et l'intégrons à votre pipeline. Ce n'est pas un système séparé ; c'est une couche de vérification qui se place entre votre détecteur existant et votre logique d'action. Nous adaptons le modèle d'état du filtre de Kalman à la dynamique de vos objets, calibrons les seuils de flux optique à votre configuration de caméra et validons les contraintes géométriques par rapport à votre environnement physique. Le calendrier dépend de la complexité : un traceur sportif mono-caméra prend 8 semaines. Un système d'inspection de semi-conducteurs multi-vues avec des modèles physiques sur mesure prend 16 semaines.
Nous déployons en production avec surveillance. Nous instrumentons chaque porte pour journaliser les raisons de rejet, mesurons les taux de faux positifs et de faux négatifs par rapport à vos critères d'acceptation, et vérifions que les contraintes physiques n'ajoutent pas de latence inacceptable à votre pipeline. Nous réglons les seuils en fonction des données de production, et non de conditions de laboratoire. Livrable : un système de production avec des références de performance documentées et un tableau de bord de surveillance de la dérive.
Ce qui prend plus de temps
La calibration multi-caméras dans des sites aux configurations non standard. Les transitions de nœud de process dans les semi-conducteurs (le modèle physique a besoin de données de caractérisation du nouveau nœud). L'intégration avec des automates (PLC) ou systèmes SCADA hérités qui n'exposent pas de flux de données en temps réel.
Répondez à six questions sur votre déploiement de CV actuel. Obtenez une analyse précise des contraintes physiques qui aideraient et de la réduction de faux positifs à attendre.
1. Que suit ou inspecte votre système de vision ?
2. Quel est votre taux de faux positifs actuel ?
3. Votre système traite-t-il les images indépendamment ou maintient-il un état temporel ?
4. À quelle fréquence réentraînez-vous vos modèles en raison de la dérive environnementale ?
5. Quel est votre budget de latence par image ?
6. Disposez-vous de modèles physiques pour votre domaine (équations cinématiques, propriétés des matériaux, contraintes géométriques) ?
La réduction traditionnelle des faux positifs fonctionne en relevant le seuil de confiance : exiger 95 % de confiance au lieu de 80 %. Cela réduit les faux positifs mais augmente inévitablement les faux négatifs, car les détections légitimes à confiance plus faible sont elles aussi rejetées. Les contraintes physiques agissent orthogonalement. Elles ne touchent pas au seuil de confiance. Elles vérifient plutôt si une détection est physiquement possible, indépendamment de son score de confiance visuelle. Un crâne chauve à 98 % de confiance reste physiquement impossible en tant que ballon, il est donc rejeté. Un ballon à 75 % de confiance qui correspond à la prédiction cinématique est accepté. Le taux de faux positifs chute parce que les détections physiquement impossibles sont éliminées. Le taux de faux négatifs reste stable ou s'améliore parce que les détections légitimes à plus faible confiance passent le contrôle physique. En inspection de semi-conducteurs, cela signifie détecter de vrais défauts qu'un seuil de confiance élevé manquerait (creux faibles mais physiquement réels) tout en rejetant les signaux parasites qui ressemblent par hasard à des défauts (particules de surface à forte similarité visuelle mais au comportement de parallaxe erroné).
Oui, et c'est l'approche standard. La couche physique se place entre votre détecteur et votre système d'action. Votre détecteur existant (YOLO, EfficientDet, un CNN sur mesure, une API cloud) continue de générer des détections candidates. La couche physique évalue chaque candidat par rapport aux contraintes cinématiques, de flux optique et géométriques avant de le transmettre en aval. Les points d'intégration dépendent de votre architecture : si vous exécutez l'inférence sur l'appareil, la couche physique s'exécute sur le même matériel (les mises à jour du filtre de Kalman sont peu coûteuses en calcul par rapport à l'inférence CNN). Si vous utilisez une API cloud, la couche physique peut s'exécuter à votre périphérie ou dans votre pipeline de traitement. Une intégration typique ajoute de 1 à 3 ms par image pour les portes du filtre de Kalman et du flux optique. La latence de la porte géométrique dépend de la complexité de votre modèle 3D mais dépasse rarement 5 ms. Latence totale ajoutée : 2 à 8 ms. Pour des systèmes fonctionnant déjà à 25-60 ips (16 à 40 ms par image), cela tient dans le budget.
Le réentraînement traite la dérive mais pas le problème fondamental : un modèle réentraîné peut toujours faire des prédictions physiquement impossibles, car il n'a aucune notion de physique. L'extension des données d'entraînement aide à la couverture mais offre des rendements décroissants sur les cas limites (on ne peut pas désapprendre les lois de la physique). La construction d'un pipeline de contraintes physiques coûte de 80 K$ à 250 K$ selon la complexité. Le suivi mono-caméra d'un objet unique (sport) se situe dans le bas de la fourchette. L'inspection de semi-conducteurs multi-vues avec des modèles physiques sur mesure se situe en haut. Comparez cela au coût continu du problème : une fab de semi-conducteurs où chaque wafer mis au rebut coûte des dizaines de milliers de dollars et où la revue manuelle pilotée par les parasites consomme des heures d'ingénieur à 150-200 $/h. Un diffuseur sportif dont la caméra automatisée rate les moments clés perd des abonnés. Un fabricant dépensant un cinquième de son chiffre d'affaires en coûts de qualité, en grande partie tirés par des faux rejets que les contraintes physiques préviendraient. La couche physique est une construction unique à faible coût de maintenance, car la physique ne dérive pas. Les lois du mouvement des projectiles ne changeront pas au prochain trimestre.
Le suivi multi-hypothèses de la V4 de Pixellot a largement corrigé la classe d'erreurs du « crâne chauve ». La triangulation multi-caméras de Hawk-Eye avec suivi squelettique est la référence absolue pour le sport arbitré. Mais le marché a évolué au-delà du segment supérieur. La Coupe du Monde de la FIFA bénéficie de la configuration de Hawk-Eye à plus de 1 M$ par site. Les plus de 40 000 clubs utilisant les caméras grand public de Veo, non. L'écart se situe dans le sport de niveau intermédiaire et amateur : des ligues qui ont besoin d'une diffusion automatisée avec une précision supérieure au grand public mais ne peuvent pas se payer l'infrastructure de Hawk-Eye. Les contraintes physiques sur une configuration mono-caméra comblent une part significative de cet écart de précision à une fraction du coût. Plus précisément : gestion des occlusions par prédiction fondée sur la physique (maintien de la trajectoire quand un joueur masque le ballon), désambiguïsation multi-objets (deux joueurs qui se chevauchent distingués par leurs profils cinématiques, et non par leur seule apparence) et compensation du mouvement de caméra (séparation du panoramique de caméra du mouvement de l'objet à l'aide de contraintes inertielles).
C'est exactement le scénario où les contraintes physiques ont le plus fort impact. Les transitions de nœud cassent les classifieurs pilotés par les données, car les données d'entraînement proviennent de l'ancien nœud. Les signatures visuelles changent : nouveaux matériaux, nouvelles géométries, nouveaux motifs de gravure. Mais la physique de l'imagerie des défauts ne change pas au même rythme. Un vrai creux diffuse toujours la lumière en fonction de sa profondeur et de l'angle de ses parois. Une particule présente toujours une parallaxe entre les angles d'inspection en fonction de sa hauteur au-dessus de la surface. Un résidu de process a toujours un profil de réflectance déterminé par sa composition matérielle. Nous construisons des classifieurs de défauts qui utilisent ces caractéristiques fondées sur la physique aux côtés des caractéristiques visuelles. Pendant les transitions de nœud, les caractéristiques physiques restent discriminantes même lorsque les caractéristiques visuelles perdent leur pouvoir prédictif. Calendrier pratique : 2 à 3 semaines pour l'audit de la physique du domaine afin de caractériser la physique d'imagerie du nouveau nœud, 12 à 16 semaines pour la construction du classifieur, validation comprise par rapport à votre bibliothèque de défauts du nouveau nœud.
Tout modèle physique est une approximation. Un filtre de Kalman suppose une dynamique newtonienne, qui s'effondre pour des objets à l'aérodynamique complexe (une balle papillon dévie de façon imprévisible à cause de la séparation turbulente de l'écoulement d'air). Un modèle de géométrie épipolaire suppose des surfaces rigides, ce qui échoue pour les matériaux flexibles. Nous gérons cela de trois manières. Premièrement, chaque porte a un seuil de confiance configurable. Si la distance de Mahalanobis est limite (entre 3 et 5 sigma), la détection est signalée pour vérification en aval plutôt que rejetée d'emblée. Deuxièmement, nous utilisons le filtre de Kalman sans parfum (UKF) plutôt que le filtre de Kalman étendu (EKF) pour les dynamiques non linéaires. L'UKF propage des points sigma à travers la fonction non linéaire réelle plutôt que de la linéariser, ce qui gère une non-linéarité modérée (effet, traînée, surfaces inégales) sans l'erreur d'approximation par série de Taylor de l'EKF. Troisièmement, pour une physique réellement complexe (écoulement turbulent, matériaux inédits), nous utilisons des PINN pour apprendre les équations régissantes à partir des données tout en contraignant l'espace des solutions. Le modèle physique n'est pas une cage rigide. C'est un garde-fou qui plie aux marges mais empêche les erreurs catastrophiques au centre.
Explorez les fondements techniques de notre méthodologie de vision sous contraintes physiques.
Une exploration technique approfondie des raisons pour lesquelles la vision par ordinateur générique échoue en environnement de production et de la manière dont les architectures sous contraintes physiques (filtres de Kalman, flux optique, PINN) comblent l'écart entre détection et compréhension.
Lire le livre blancLes cas limites consomment 80 % du temps d'ingénierie, 90 % des coûts de support et 100 % de l'exposition à la responsabilité.
Un système de vision sous contraintes physiques n'élimine pas les cas limites. Il élimine les cas limites physiquement impossibles, qui en représentent la plupart. Le temps d'ingénierie que vous passez à déboguer les faux positifs, à réentraîner pour la dérive et à examiner les défauts parasites est consacré à la construction de fonctionnalités à la place.