Surveillance continue et pistes d'audit

La plupart des systèmes d'IA fonctionnent à l'aveugle en production : les tableaux de bord de disponibilité prouvent que le service est en ligne, non que ses décisions soient correctes. Notre approche consiste à construire la couche manquante — une infrastructure de surveillance qui suit la qualité des modèles, la provenance des décisions et la conformité réglementaire en production, connectée à des pistes d'audit infalsifiables capables de reconstituer toute décision d'IA des mois après sa prise.

La plupart des systèmes d'IA fonctionnent à l'aveugle en production

Voici le constat inconfortable : 91 % des modèles de ML se dégradent avec le temps. Les modèles laissés inchangés pendant six mois voient leurs taux d'erreur bondir de 35 % sur les nouvelles données. Rien qu'en 2025, 362 incidents d'IA ont été recensés dans le monde, contre 233 l'année précédente, et les bilans mensuels ont atteint 435 au début de 2026. Cinquante-et-un pour cent des organisations utilisant l'IA ont subi des conséquences négatives dues à des inexactitudes de l'IA l'an dernier. Ce ne sont pas des cas marginaux — c'est ce qui arrive lorsque les équipes déploient des modèles sans infrastructure de surveillance réellement opérationnelle.

La réponse classique de l'entreprise consiste en un tableau de bord Grafana affichant les percentiles de latence et les taux d'erreur. Cela vous indique que le système est en service. Cela ne vous dit pas que le système est correct. Nous concevons la couche qui le fait : une infrastructure de surveillance qui suit la qualité des modèles, la provenance des décisions et la conformité réglementaire en production, connectée à des systèmes de pistes d'audit capables de reconstituer toute décision d'IA des mois après son occurrence.

Pourquoi les outils d'observabilité standards ignorent les défaillances propres à l'IA

Les outils d'APM traditionnels — Datadog, New Relic, Splunk — surveillent l'infrastructure : processeur, mémoire, latence, taux d'erreur. Les systèmes d'IA échouent de manières que les métriques d'infrastructure ne peuvent pas détecter. Un modèle d'octroi de crédit qui commence à approuver des emprunteurs plus risqués affichera une disponibilité parfaite et une latence inférieure à 100 ms tout en accumulant silencieusement une exposition réglementaire. Un modèle de modération de contenu dérivant vers des faux négatifs maintiendra ses volumes de traitement tandis que des contenus préjudiciables passeront au travers.

Les défaillances déterminantes dans les systèmes d'IA sont statistiques, non opérationnelles :

• Dérive de la distribution des variables d'entrée.
• Dégradation du calibrage de confiance des prédictions.
• Divergence des métriques d'équité entre groupes protégés.

Celles-ci exigent une détection sur mesure : tests de Kolmogorov-Smirnov pour les dérives de distribution, Population Stability Index à travers les variables d'entrée, surveillance de l'erreur de calibrage et SLO de métriques d'équité (détaillés dans nos recherches sur l'intégrité algorithmique dans les décisions à enjeux élevés) aux côtés des SLO de disponibilité traditionnels. Notre approche instrumente ces métriques comme des signaux de production de premier ordre. Lorsqu'une métrique d'équité enfreint son SLO, l'alerte porte la même gravité qu'une violation de latence P99. Lorsqu'une dérive des entrées est détectée, le système remonte jusqu'aux sources de données et pipelines de variables spécifiques — pas seulement une courbe qui monte sur un tableau de bord.

Le paysage des éditeurs de surveillance de l'IA est instable — anticipez en conséquence

Trois des sept éditeurs spécialisés dans la surveillance de l'IA ont disparu en douze mois, et les survivants opèrent un pivot majeur. Leurs bibliothèques open source subsistent, mais sans support commercial ni feuille de route de développement.

Ce que cela signifie pour les acheteurs : parier sur un seul éditeur représente un risque de migration. Notre approche consiste à concevoir des architectures de surveillance fondées sur des standards ouverts — OpenTelemetry pour le traçage, Prometheus pour les métriques, bibliothèques d'évaluation open source — avec des fonctionnalités spécifiques aux éditeurs superposées uniquement lorsqu'elles apportent une valeur réelle. Lorsqu'un éditeur est racheté ou pivote, le socle tient bon.

Des pistes d'audit qui résistent aux examens réglementaires

Une piste d'audit pour les décisions d'IA n'est pas un simple fichier journal. C'est un système de reconstitution médico-légale. Lorsqu'un auditeur, un régulateur ou un juriste demande « pourquoi ce système a-t-il pris cette décision à cette date », la réponse doit inclure :

• Quelle version du modèle fonctionnait,
• Quelles variables d'entrée ont été utilisées,
• Quel prétraitement a été appliqué,
• Quels étaient les scores de confiance, et
• Quelles politiques de gouvernance étaient en vigueur à ce moment précis.

Nous concevons ces pistes sur un stockage en ajout seul avec vérification cryptographique. Après le retrait d'Amazon QLDB en juillet 2025, notre approche privilégie immudb pour les équipes ayant besoin d'une preuve d'inviolabilité de niveau grand livre, et PostgreSQL avec couches personnalisées de vérification par arbre de Merkle pour les équipes souhaitant l'intégrité d'audit sans base de données spécialisée. Chaque enregistrement est adressé par le contenu et chaîné par hachage de sorte que toute altération d'une entrée invalide la chaîne vers l'aval.

Pour les pipelines multi-modèles et les systèmes d'IA agentiques, le défi se complique. Lorsqu'un modèle alimente un autre, ou qu'un agent enchaîne des appels d'outils via des API externes, la piste d'audit doit capturer l'intégralité du graphe d'orchestration (un défi que nous examinons dans nos recherches sur la sécurisation de l'intégrité de la chaîne d'approvisionnement de l'IA tout au long du cycle de vie du ML). Nous instrumentons chaque étape sous forme de span dans une trace OpenTelemetry, reliant les inférences de modèles aux appels d'outils et aux sorties finales au sein d'une séquence unique reconstituable. C'est là que 63 % des organisations échouent : Deloitte a constaté que cette proportion est incapable d'imposer des limitations de finalité aux agents IA, en grande partie faute d'observabilité sur les actions réelles de ces agents.

L'article 12 de l'EU AI Act est désormais un problème technique, non juridique

Les obligations de journalisation de l'EU AI Act pour les systèmes d'IA à haut risque prennent pleinement effet le 2 août 2026. L'article 12 impose des capacités de journalisation automatique intégrées au système lui-même. Les journaux doivent enregistrer les événements pour l'identification des risques, la surveillance après commercialisation et le suivi opérationnel. Les déployeurs doivent conserver les journaux pendant un minimum de six mois par entrée. La sanction en cas de non-conformité : jusqu'à 15 millions d'EUR ou 3 % du chiffre d'affaires annuel mondial.

Le problème pratique est qu'aucune norme technique harmonisée n'existe encore :

• Le CEN/CENELEC a manqué son échéance d'août 2025 ; les premières normes (notamment prEN 18229-1 pour la journalisation) sont attendues au plus tôt au quatrième trimestre 2026.
• Seules environ 30 organisations dans le monde détiennent la certification ISO 42001.
• Seuls 8 des 27 États membres de l'UE ont ne serait-ce que désigné leurs autorités nationales compétentes.

Ce vide normatif constitue en réalité la période la plus dangereuse. Les organisations doivent concevoir une journalisation conforme dès aujourd'hui, avant que les normes définissant la « conformité » ne soient finalisées. Notre approche transpose directement le texte de l'article 12 en contrôles techniques : quels événements capturer, quelle architecture de rétention utiliser, quelles métadonnées associer par inférence, et comment structurer les journaux pour qu'ils demeurent conformes lors de la parution définitive des normes — la même ingénierie neuro-symbolique au cœur de notre démonstration fonctionnelle d'IA pour la conformité fiscale. L'alternative consiste à attendre une clarification qui pourrait ne pas arriver avant la date limite d'application.

Ce que produit une mission

Chaque mission commence par un audit d'architecture de votre surveillance et journalisation existantes. La plupart des équipes disposent déjà d'éléments : journaux applicatifs, détection partielle de dérive, parfois un outil de suivi des expérimentations. Le problème réside habituellement dans le fait que ces composants ne communiquent pas — le registre de modèles ne dialogue pas avec le feature store, qui ne dialogue pas avec le journal d'audit. Reconstituer une décision exige de corréler manuellement des horodatages à travers trois systèmes. Une mission crée ce tissu conjonctif. Les livrables types comprennent :

• Détection de dérive avec traçage de la cause racine. Pas seulement « la variable X a dérivé », mais « la variable X a dérivé car la source de données Y a modifié son schéma le 3 mars, impactant le pipeline Z ». Nous mettons en œuvre des alertes hiérarchisées : dérives informatives sur tableaux de bord, avertissements pour revue hebdomadaire, violations critiques avec astreinte alertée. C'est ainsi que l'on résout la fatigue des alertes — la première plainte des praticiens du ML lors d'une enquête de 2025 auprès de 91 équipes de production.
• SLO de qualité des modèles. Les SLO de disponibilité et de latence sont le strict minimum. Nous définissons et instrumentons des SLO pour l'erreur de calibrage, la stabilité des métriques d'équité, la cohérence des explications et les limites de confiance des prédictions. La violation d'un SLO de qualité déclenche le même chemin d'escalade qu'une panne d'infrastructure.
• Stockage d'audit infalsifiable. Un entrepôt d'enregistrements en ajout seul avec chaînes de hachage cryptographiques, stockant l'intégralité du contexte d'inférence par décision, s'appuyant sur nos recherches sur l'intégrité logicielle dans les systèmes résilients. Interrogeable par identifiant de décision, plage temporelle, version du modèle ou classe de résultat. Conçu pour répondre aux questions de l'auditeur en quelques minutes, et non en plusieurs semaines.
• Instrumentation des systèmes agentiques. Pour les architectures multi-agents, nous retraçons le graphe complet d'orchestration : invocations d'agents, appels d'outils, raisonnements intermédiaires et résultats finaux. Chaque étape constitue un span dans une trace distribuée, reliée par des identifiants de corrélation.
• Cartographie de conformité réglementaire. Un document évolutif qui associe votre infrastructure de surveillance et d'audit aux exigences précises : obligations de l'article 12, contrôles du NIST AI RMF (Govern, Map, Measure, Manage), critères SOC 2 Type II et exigences sectorielles spécifiques. Ce document est celui que vous remettez à votre auditeur.

Quand cet investissement s'impose (et quand il ne se justifie pas)

Vous avez besoin d'une infrastructure de surveillance et d'audit sur mesure dès lors que vos systèmes d'IA prennent des décisions entraînant des conséquences réglementaires, financières ou sécuritaires et que vous devez prouver l'exactitude de ces décisions — services financiers, santé, assurance, secteur public, tout domaine où déclarer au régulateur que « le modèle fonctionnait bien » ne suffit pas.

Vous n'en avez pas besoin si votre IA est un moteur de recommandation, un système de suggestion de contenu ou toute application où une sortie erronée ne constitue qu'un désagrément mineur d'expérience utilisateur. Si vos besoins de surveillance sont satisfaits par la version gratuite d'Arize Phoenix et une instance Prometheus, utilisez-les — nous vous le dirons dès le premier échange.

Sur le plan des coûts : les entreprises dépensent 2 à 5 millions de dollars par an dans les infrastructures de surveillance d'IA en temps réel. La conformité à l'EU AI Act s'élève à plus de 50 000 EUR de coût initial par système à haut risque, plus 10 000 à 25 000 EUR par an pour la surveillance continue. Les organisations dotées de cadres formels de gouvernance de l'IA atteignent un taux de succès de leurs projets IA 2,1 fois plus élevé et réduisent le risque réglementaire de 73 %. L'argument du retour sur investissement ne porte pas sur la surveillance en soi — mais sur les incidents, les pénalités et les projets avortés que la surveillance évite. Les entreprises sans cadre de gouvernance ont perdu en moyenne 4,4 millions de dollars par incident en 2025.