Un cadre stratégique pour l'intelligence artificielle critique pour la sécurité
Le règlement de 8,5 M$ d'Uber, la suspension de GM Cruise et les plus de 40 enquêtes sur Tesla ne sont pas des raisons d'abandonner l'IA. Ce sont des raisons de l'ingénierie correctement. Ce livre blanc dissèque les défaillances architecturales et présente la voie vers une autonomie vérifiable et de haute assurance.
D'un côté : des wrappers LLM rapides privilégiant la fluidité conversationnelle. De l'autre : une ingénierie Deep AI rigoureuse avec vérification formelle et sécurité déterministe. Alors que les systèmes autonomes entrent dans le monde physique, cette distinction devient une question de vie ou de mort.
Quatre incidents très médiatisés qui révèlent la fragilité systémique de l'IA stochastique dans les déploiements critiques pour la sécurité.
Tempe, Arizona • Mars 2018 • Décès
Le système Uber ATG a détecté pour la première fois Elaine Herzberg 5,6 secondes avant l'impact à 378 pieds. C'était plus que suffisant pour un freinage d'urgence standard. Mais la logique de perception du système a souffert d' oscillation de classification — reclassifiant à plusieurs reprises la piétonne comme « objet inconnu », puis « véhicule », puis « bicyclette ».
Chaque reclassification réinitialisait la trajectoire prédite de l'objet. Le système ne pouvait pas se fixer sur une identité persistante, ne pouvait pas calculer une trajectoire fiable et n'a déterminé la nécessité d'un freinage d'urgence que 1,3 seconde avant l'impact — lorsque la physique rendait la collision inévitable.
Uber avait désactivé le système AEB et d'évitement de collision d'usine du Volvo XC90 pour éviter un « comportement erratique du véhicule ». Ils ont remplacé des couches de sécurité déterministes et vérifiées par du code stochastique expérimental et non vérifié.
| Composant défaillant | Mécanisme technique |
|---|---|
| Pipeline de perception | Oscillation de classification (Inconnu → Véhicule → Vélo) |
| Suppression logique | Désactivation manuelle de l'AEB d'usine |
| Interface IHM | Dépendance excessive envers un opérateur humain distrait |
| Moteur de prédiction | Hypothèse de trajectoire statique pour les acteurs dynamiques |
Chaque reclassification a détruit la prédiction de trajectoire de l'objet, empêchant toute intervention opportune.
San Francisco • Octobre 2023 • Permis révoqué
Un véhicule conduit par un humain a heurté une piétonne, la projetant sur la trajectoire d'un robotaxe Cruise. La voiture Cruise a heurté la piétonne et s'est d'abord arrêtée. Mais la logique de détection d'impact du système était insuffisamment granulaire — elle a diagnostiqué à tort un écrasement frontal comme une collision latérale.
Cette erreur de diagnostic a déclenché une manœuvre d'état à risque minimal (MRC) : se ranger sur le bas-côté. Parce que la couche de perception avait « oublié » la piétonne après l'impact, le véhicule a traîné la victime sur 20 pieds à 7 mph. Il ne s'est arrêté que lorsqu'il a détecté un « glissement excessif des roues » — qu'il a interprété comme un défaut mécanique et non comme un obstacle humain.
L'enquête ultérieure a révélé que la direction était « obnubilée par la correction du récit médiatique inexact » et a manqué de transparence envers les régulateurs. L'amende pénale de 500 000 $ pour soumission de faux rapports souligne que la sécurité de l'IA ne peut être traitée comme un problème de marketing.
« Les employés ont admis avoir 'laissé la vidéo parler d'elle-même' lors des réunions avec le DMV, sachant que les problèmes de connectivité empêchaient souvent la lecture de la partie montrant le traînage. »
À l'échelle nationale • 2024-2025 • 40+ enquêtes de la NHTSA
Le système Full Self-Driving (FSD) de Tesla présente un « théâtre de compétences » (Capability Theater) — des performances optimales par temps clair qui s'effondrent face aux cas limites environnementaux. La NHTSA a ouvert plus de 40 enquêtes axées sur des schémas de défaillance spécifiques et répétables.
Le recours exclusif de Tesla à une architecture de vision pure — évitant le LiDAR et le radar — crée une vulnérabilité fondamentale à la saturation des capteurs. Dans le brouillard, la poussière ou l'éblouissement du soleil sur l'asphalte mouillé, le rapport signal sur bruit optique tombe en dessous des seuils de navigation sécurisés. Une collision mortelle en 2023 s'est produite exactement dans ces conditions.
| Mode de défaillance | Cause technique |
|---|---|
| Non-respect du feu rouge | Échec de détection de l'état du signal dans la pile de vision |
| Violation du marquage au sol | Incapacité à distinguer les voies réservées aux virages des voies directes |
| Accident par faible visibilité | Saturation des capteurs optiques (éblouissement/brouillard/poussière) |
| Entrée sur la voie opposée | Échec de la reconstruction de la géométrie 3D des voies |
L'ingénierie Deep AI exige la diversité des capteurs. Vous ne pouvez pas corriger logiciellement une limitation matérielle.
Los Angeles / San Francisco • 2025 • Nouveaux défis
Waymo a enregistré plus de 56 millions de milles avec des taux de blessures nettement inférieurs à ceux des conducteurs humains. Mais à mesure que le système grandit, il rencontre une nouvelle classe de défaillance : la friction socio-technique — non seulement la façon dont l'IA conduit, mais la manière dont elle interagit avec des environnements sociaux humains complexes et souvent hostiles.
Lors d'une panne de courant, des dizaines de robotaxes Waymo se sont retrouvés bloqués à des intersections éteintes. Programmés pour traiter les feux éteints comme des arrêts à quatre voies, ils ont été submergés par des demandes d'assistance à distance concentrées. Des robotaxes bloquant d'autres robotaxes — un « blocage multi-agents » — que le centre de commandement central n'a pas pu résoudre.
Début 2025, des véhicules Waymo ont été attaqués par des foules lors de troubles civils à LA — pneus crevés, véhicules incendiés. Programmés pour la « sécurité passive », ils se sont simplement arrêtés lorsqu'ils ont été encerclés. Cela a révélé le besoin d'un « mode d'échappement au danger » (Danger Escape Mode) capable de passer d'une conformité passive à une fuite active sans jamais être programmé pour causer du tort.
Ces incidents mettent en lumière le « piège de l'indépendance » — l'hypothèse qu'un véhicule autonome peut fonctionner en toute sécurité en tant qu'agent solitaire. La Deep AI doit intégrer des protocoles V2V (véhicule-à-véhicule) et V2I (véhicule-à-infrastructure) permettant la résolution des impasses à l'échelle de la flotte.
Chaque défaillance ci-dessus découle de la même racine : l'écart entre ce que l'IA perçoit et ce qu'elle devrait logiquement conclure. Ajustez le seuil de confiance pour voir comment les portes déterministes empêchent les décisions catastrophiques.
La confiance de perception est inférieure au seuil de sécurité déterministe. Un système stochastique poursuivrait ; la porte d'assurance de Veriprajna déclenche une transition à sécurité intégrée.
Porte d'assurance de Veriprajna : Si une quelconque entrée de sécurité tombe en dessous du seuil vérifié, le système passe à un état de risque minimal — non pas sur la base de probabilités, mais sur une preuve mathématique que la sortie ne peut être garantie sûre.
La réponse architecturale à l'oscillation de classification, à la cécité post-impact et à la saturation des capteurs.
Les réseaux d'occupation suivent le volume, non les étiquettes. Le système sait qu'un espace est occupé même s'il ne peut décider si l'objet est un piéton ou une bicyclette. Cela élimine le basculement de classification d'Uber ATG.
Les réseaux d'occupation capturent les structures verticales et les objets sous le châssis que les cartes BEV 2D ignorent. Cela aurait permis au véhicule Cruise de « voir » la piétonne sous lui pendant la manœuvre post-impact.
Grâce aux architectures BEVFormer avec auto-attention temporelle, le système se souvient de l'emplacement d'un objet même pendant des occultations temporaires — un piéton marchant derrière un camion garé reste suivi.
Architecture unifiée de fusion BEV
L'architecture Transformer sert non pas d'outil conversationnel, mais de moteur de raisonnement spatial qui fusionne des données hétérogènes de capteurs en une toile partagée (« Shared Canvas ») pour la navigation.
Les tests traditionnels demandent : « Réussit-il N tests ? » La vérification formelle demande : « Existe-t-il une quelconque entrée menant à une sortie dangereuse ? » La différence est le fossé entre l'espoir et la preuve.
Si un solveur SMT renvoie un contre-exemple, il a trouvé une perturbation spécifique qui entraînerait l'échec de l'IA — permettant au modèle d'être « durci » pendant l'entraînement.
Les grands réseaux sont trop complexes pour une analyse exhaustive par solveur. Veriprajna y répond par l' élagage de neurones (Neuron Pruning) — supprimant les neurones redondants et les non-linéarités qui ne contribuent pas à la précision, produisant un modèle mathématiquement plus facile à vérifier sans sacrifier les performances.
| Technique | Méthodologie | Bénéfice |
|---|---|---|
| Resserrement des bornes | Analyse symbolique des plages d'activation des neurones | Réduit l'espace de recherche du solveur SMT |
| Analyse d'accessibilité | Calcul de toutes les sorties atteignables pour un ensemble d'entrées | Garantit que l'IA reste dans le « polytope de sécurité » |
| Approx. linéaire par morceaux | Remplacement des activations complexes par des segments ReLU | Preuves saines et complètes |
| Filtre de sécurité formel | Surveillance à l'exécution par rapport à une référence vérifiée | « Récupération sécurisée » si l'IA se comporte de manière irrationnelle |
L'ISO 21448 (SOTIF) comble le vide que l'ISO 26262 ne peut pas couvrir : les dangers qui surviennent lorsque le système fonctionne exactement comme programmé mais rencontre un environnement « inconnu/dangereux ».
L'objectif de Veriprajna : maximiser le quadrant Connu/Sûr tout en réduisant systématiquement les scénarios Inconnus/Dangereux.
ODD vérifié. Testé et prouvé sûr dans des conditions documentées.
Cas limites identifiés avec transitions à sécurité intégrée.
Scénarios non encore testés mais intrinsèquement à faible risque.
Dangers non identifiés — la source de toutes les défaillances majeures de VA.
Gère les défaillances de composants matériels/logiciels (dysfonctionnement de capteur, court-circuit de puce). Nécessaire mais insuffisant pour les risques spécifiques à l'IA.
Sécurité de la fonctionnalité prévue. Traite des dangers lorsque l'IA fonctionne comme programmé mais rencontre des environnements inédits.
La première norme mondiale pour la gestion du cycle de vie complet de l'IA dans l'automobile — de l'acquisition de données à la surveillance post-déploiement.
Trois piliers d'ingénierie qui répondent directement à chaque mode de défaillance systémique identifié dans cette analyse.
Faire évoluer les clients de la perception 2D par caméra vers des réseaux d'occupation BEV basés sur Transformer — assurant la permanence de l'objet et la stabilité du suivi même à travers les occultations, les reclassifications et la saturation des capteurs.
Mettre en œuvre une vérification formelle basée sur SMT pour prouver mathématiquement que les architectures de contrôle guidées par l'IA ne violeront jamais les propriétés fondamentales de sécurité — pas seulement tester, mais fournir la preuve d'exactitude.
Développer des « modes d'échappement » sophistiqués et des cadres de communication V2X pour gérer la réalité des troubles civils, des blocages multi-agents et des pannes d'infrastructure — où la conformité passive devient dangereuse.
« L'ère de l'IA stochastique touche à sa fin. Le wrapper 'bon marché' devient l'erreur la plus coûteuse qu'une entreprise puisse commettre lorsque le coût d'un seul décès autonome atteint des dizaines de millions. L'ère de l'ingénierie Deep AI a commencé. »
— Cadre stratégique de Veriprajna
Le système Uber ATG a détecté Elaine Herzberg 5,6 secondes avant l'impact à 378 pieds — un temps plus que suffisant pour un freinage d'urgence. Cependant, l'oscillation de classification a reclassifié la piétonne à plusieurs reprises en « objet inconnu », puis « véhicule », puis « bicyclette », réinitialisant à chaque fois la prédiction de trajectoire. Le freinage d'urgence n'a été jugé nécessaire que 1,3 seconde avant l'impact — alors que la collision était physiquement inévitable. Uber avait également désactivé l'AEB d'usine de Volvo. Les réseaux d'occupation BEV résolvent cela en suivant le volume plutôt que les étiquettes — le système sait que l'espace est occupé quelle que soit la classification.
Les tests traditionnels demandent : « Réussit-il N tests ? » La vérification formelle demande : « Existe-t-il une quelconque entrée menant à une sortie dangereuse ? » À l'aide de solveurs SMT comme Marabou et alpha-beta-CROWN, le système prouve mathématiquement les propriétés de sécurité — par exemple, que pour toutes les entrées dans « Faible visibilité », la réponse de freinage de l'IA dépassera toujours le seuil minimal. Si un contre-exemple existe, le solveur identifie la perturbation spécifique, permettant au modèle d'être durci pendant l'entraînement.
L'ISO 26262 gère les défaillances de composants matériels/logiciels (panne de capteur, court-circuit de puce), mais est insuffisante pour les risques spécifiques à l'IA. L'ISO 21448 (SOTIF) traite des dangers lorsque l'IA fonctionne exactement comme programmé mais rencontre des environnements inédits — les scénarios « Inconnus/Dangereux » à l'origine de chaque défaillance majeure de VA. Elle exige une analyse des dangers et des risques pour les erreurs de perception, l'identification des conditions déclenchantes et des simulations haute fidélité pour les cas limites dangereux. L'objectif de Veriprajna est de maximiser le quadrant Connu/Sûr tout en réduisant systématiquement les scénarios Inconnus/Dangereux.
Veriprajna fournit l'expertise approfondie en ingénierie pour bâtir une IA qui ne fonctionne pas seulement en laboratoire — mais qui perdure dans le monde réel.
Associez-vous à nous pour concevoir une autonomie vérifiable et de haute assurance pour vos systèmes critiques.
Analyse stratégique complète : modes de défaillance d'Uber ATG, GM Cruise, Tesla FSD et Waymo. Architecture BEV, vérification formelle, cadre de conformité ISO et la voie vers l'assurance déterministe.