Fusion de capteurs et renseignement sur les signaux

Chaque modalité de capteur présente des modes de défaillance qui ne relèvent pas de cas limites mais de conséquences prévisibles de la physique : une caméra ne peut voir à travers le brouillard, un LiDAR renvoie des points fantômes sous une pluie battante, et le radar fournit portée et vitesse mais ne peut lire un panneau stop. Notre approche consiste à concevoir des architectures de fusion multi-capteurs — combinant radar, LiDAR, caméras, RF et données spectrales — pensées pour traiter le désaccord entre capteurs comme une information plutôt que comme un bruit, et pour rester cohérentes en cas de perte partielle de capteur, de dérive d'étalonnage et de manipulation adverse tout en s'exécutant sur du matériel edge soumis à de strictes contraintes de latence.

Pourquoi la perception à capteur unique échoue dans le monde réel

Le 18 mars 2026, la NHTSA a fait évoluer son enquête sur le système Full Self-Driving uniquement basé sur caméras de Tesla vers une analyse d'ingénierie (Engineering Analysis) couvrant 3.2 millions de véhicules. Constat central : le système de détection de dégradation n'a pas alerté les conducteurs avant l'instant précédant l'impact dans des conditions de visibilité réduite. C'est là le monde réglementaire qui rattrape ce que les ingénieurs en fusion de capteurs savent depuis des années.

Une caméra ne peut voir à travers le brouillard. Un LiDAR renvoie des points fantômes sous une pluie battante. Le radar fournit portée et vitesse mais ne peut lire un panneau stop. Chaque modalité de capteur présente des modes de défaillance qui constituent des conséquences prévisibles de la physique, et non des cas limites (détaillé dans nos recherches sur la perception sous contraintes physiques). La question n'est jamais de savoir si un capteur unique va défaillir — mais quand, et si votre système gère cette défaillance de manière gracieuse ou catastrophique.

Notre approche consiste à bâtir des architectures de fusion conçues pour traiter le désaccord entre capteurs comme une information, et non comme un bruit. Lorsqu'un LiDAR signale un obstacle que le radar ne confirme pas, ce conflit constitue en lui-même un signal sur l'environnement, l'état de santé du capteur ou une situation adverse. Le défi d'ingénierie consiste à concevoir des systèmes qui restent cohérents en cas de perte partielle de capteur, de dérive d'étalonnage et de manipulation adverse tout en s'exécutant sur du matériel edge avec des contraintes de latence strictes.

Le problème d'étalonnage que personne ne budgétise

Trente-sept pour cent des entreprises déployant des systèmes multi-capteurs citent la complexité de l'étalonnage comme leur principal point de friction d'intégration. La raison en est simple : les paramètres extrinsèques entre capteurs dérivent sous l'effet des cycles thermiques, des vibrations mécaniques et du simple vieillissement. Une paire caméra-LiDAR étalonnée en laboratoire à 20 degrés Celsius présentera des paramètres extrinsèques sensiblement différents après avoir fonctionné en plein soleil à 50 degrés sur le capot d'un véhicule. Le réétalonnage manuel par un technicien à l'aide d'une mire en damier n'est pas viable à l'échelle lorsque l'on compte des centaines d'unités déployées.

Nous concevons des pipelines de réétalonnage automatisé s'exécutant en continu sur le terrain. Ceux-ci emploient des méthodes sans cible (targetless), extrayant des correspondances géométriques depuis l'environnement lui-même — arêtes, plans, parallaxe de mouvement — plutôt que d'exiger des cibles d'étalonnage. Le pipeline est architecturé pour :

• Surveiller les métriques de santé de chaque capteur et détecter la dérive avant qu'elle ne dégrade la qualité de fusion.
• Déclencher le réétalonnage sans interrompre le système.
• Suivre l'état d'étalonnage de manière centralisée pour les flottes, afin que les équipes de maintenance sachent quelles unités approchent des seuils de réétalonnage avant qu'elles n'échouent à un contrôle de qualité de perception.

La stratégie de fusion est une décision d'ingénierie, pas un choix par défaut

Le choix entre fusion précoce, intermédiaire et tardive est dicté par la configuration spécifique des capteurs, le budget de calcul et la tolérance du système à la dégradation d'un capteur individuel. Il n'existe pas de réponse universelle.

Les modèles de fondation et les modèles vision-langage commencent à faire évoluer cette équation. L'atelier DriveX de CVPR 2026 est entièrement consacré aux modèles de fondation pour la perception autonome, et la fusion générative par diffusion ainsi que les architectures récurrentes de type Mamba émergent comme alternatives à la concaténation classique de caractéristiques. Ces approches permettent une reconnaissance zero-shot que les pipelines conçus manuellement ne peuvent égaler, mais elles engendrent des coûts de calcul supérieurs et n'ont pas encore fait leurs preuves dans des environnements de production critiques pour la sécurité.

Combinaison de décisions : approche bayésienne vs Dempster-Shafer

Pour l'agrégation au niveau décisionnel, le choix entre la combinaison bayésienne et la théorie des preuves de Dempster-Shafer a une importance pratique déterminante. La théorie classique de Dempster-Shafer présente une pathologie bien documentée — le paradoxe de Zadeh : lorsque deux capteurs sont en fort désaccord, la règle de combinaison peut engendrer un effondrement catastrophique de la confiance, en attribuant une croyance quasi totale à une hypothèse non pertinente. La plupart des piles de production emploient une version modifiée de Dempster-Shafer avec redistribution des conflits ou basculent entièrement vers des réseaux bayésiens. Notre méthode consiste à analyser le profil d'accord attendu entre capteurs pour chaque déploiement et à retenir la méthode de combinaison capable de traiter les motifs de désaccord réalistes sans comportement pathologique.

La résilience face aux attaques adverses n'est pas optionnelle

Les attaques par spoofing GPS contre les véhicules autonomes réussissent à des taux compris entre 59% et 82% dans les scénarios testés, manipulant la localisation du véhicule par injection de faux signaux satellites. Le spoofing LiDAR utilise un dispositif adverse en ligne de mire pour capturer, altérer et réémettre les impulsions LiDAR, créant des objets fantômes ou masquant des objets réels dans le nuage de points 3D. Les interférences électromagnétiques peuvent aveugler le radar. Il ne s'agit pas de risques théoriques — ce sont des attaques avérées aux taux de réussite documentés, et la communauté de recherche en défense les considère comme des menaces opérationnelles en environnements contestés.

Nous concevons des architectures de fusion intégrant des couches explicites de résilience adverse, guidées par nos recherches sur l'ingénierie de robustesse de l'IA contre les attaques contradictoires :

• La validation physique intermodale vérifie si ce qu'un capteur rapporte est cohérent avec les autres. Si le GPS indique un déplacement vers le nord à 60 km/h alors que l'IMU et l'odométrie visuelle indiquent que vous êtes immobile, le système signale le GPS comme compromis au lieu de moyenner la contradiction.
• La surveillance de l'état de santé des capteurs recourt à la détection d'anomalies pour identifier les signatures de spoofing avant que les données corrompues ne pénètrent dans le pipeline.
• Dans les contextes de défense, une mission est calibrée pour tester le système dans des scénarios adverses systématiques — y compris des attaques simultanées multi-capteurs — produisant une analyse formelle du comportement de dégradation.

Renseignement sur les signaux : du flux RF brut à la classification exploitable

Le volet renseignement sur les signaux (Signal Intelligence) de cette expertise couvre la chaîne de traitement allant des flux bruts de capteurs à la classification exploitable. Pour les signaux RF, cela implique une classification automatique des modulations par apprentissage profond sur des plates-formes radio logicielle (SDR), transformant des captures de spectre non structurées en types d'émetteurs identifiés accompagnés d'estimations de position. Le programme SBIR 2025 de l'US Army sollicite spécifiquement la reconnaissance de modulations RF par IA/ML, car les capteurs tactiques doivent balayer de larges bandes de spectre et caractériser les émissions à la vitesse de la machine.

Pour les signaux non RF, la même discipline de traitement s'applique. Les signatures vibratoires d'équipements industriels font l'objet d'une décomposition spectrale — transformées de Fourier à court terme, analyse par ondelettes — et de représentations apprises par réseaux convolutionnels temporels ou modèles à états-espace pour détecter les précurseurs de défauts. Les émissions acoustiques issues des pales d'éoliennes sont fusionnées avec des données thermiques et vibratoires pour prédire la dégradation structurelle 18 heures avant la défaillance, selon de récents déploiements en production.

Les systèmes de maintenance prédictive multi-capteurs utilisant des données vibratoires, thermiques et acoustiques fusionnées atteignent des taux de faux positifs inférieurs à 8%, contre 35–40% pour les approches à capteur unique. Chaque étape de traitement préserve l'estimation d'incertitude, afin que les systèmes de décision en aval reçoivent des intervalles de confiance calibrés plutôt que de simples prédictions brutes.

Fusion sectorielle adaptée à chaque domaine

La fusion de capteurs n'est pas une capacité générique transposable telle quelle d'un secteur à un autre. La suite de capteurs, la stratégie de fusion, les contraintes de latence et les conséquences d'une défaillance diffèrent fondamentalement.

Véhicules autonomes et ADAS

Le marché du radar d'imagerie 4D croît de 13.5% par an, pour atteindre $3.13 milliards en 2026, car le radar 4D maintient ses performances sous la pluie et dans le brouillard où le LiDAR se dégrade sensiblement. La fusion LiDAR–radar 4D améliore la détection d'objets 3D jusqu'à 20% en conditions de brouillard par rapport au LiDAR seul. Le système de 6e génération de Waymo a réduit son nombre de capteurs de 42% tout en abaissant le coût unitaire d'environ $100,000 à moins de $20,000, prouvant que de meilleurs algorithmes de fusion peuvent se substituer à la redondance des capteurs lorsque l'ingénierie est rigoureuse.

Défense et ISR

Le marché de la lutte anti-drone (counter-UAS) devrait atteindre $19 milliards d'ici 2035. Les capteurs RF détectent les drones à 8–10 km mais ne peuvent distinguer un drone hostile d'un oiseau. La confirmation visuelle par caméra est incontournable avant tout engagement, mais les caméras ont une portée limitée. La fusion de la détection RF avec le suivi vidéo assisté par IA et le radar crée une chaîne d'identification multicouche qu'aucun capteur isolé ne peut assurer. Le consortium Palantir–Anduril développe exactement ce type de pipeline intégré du capteur à l'effecteur, mais leur approche engendre de fortes dépendances à leur plate-forme. Les organisations nécessitant une capacité de fusion souveraine ou indépendante des fournisseurs requièrent des architectures sur mesure — voir notre démonstration fonctionnelle d'autonomie de drone en environnement sans GPS.

Industrie, agriculture et sport

• Fabrication industrielle : la fusion de capteurs vibratoires, thermiques et acoustiques couvre plus de 80% des modes de défaillance des équipements.
• Agriculture de précision : la fusion multispectrale et thermique par drone détecte les maladies des cultures 2–3 semaines avant les symptômes avec une précision de 81–95%.
• Analyse sportive : la fusion IMU et caméra améliore la précision de positionnement de 42% par rapport au suivi mono-source (nos recherches sur la fusion de capteurs pour l'arbitrage sportif).

Quand la fusion de capteurs n'est pas le bon choix

Tout problème de perception ne requiert pas nécessairement plusieurs capteurs. Un unique capteur parfaitement étalonné vaut mieux qu'une pile multi-capteurs mal intégrée. Si la configuration de vos capteurs assure une couverture redondante plutôt que complémentaire, ajouter des modalités apporte de la complexité, une lourde charge d'étalonnage et une potentielle amplification des défaillances sans amélioration proportionnée. Si votre budget de calcul ne permet pas de soutenir un traitement de fusion en temps réel, vous obtiendrez des performances inférieures à celles d'un pipeline optimisé à capteur unique. Nous évaluons les exigences de perception et la physique des capteurs avant de recommander une fusion, et nous saurons vous indiquer quand un capteur unique constitue la réponse adaptée.