L'algorithme de courses à 60 millions de dollars qui a brisé ma foi en tout ce qui est « propulsé par l'IA »

J'étais assis dans une chambre d'hôtel à Chicago en décembre dernier, regardant à moitié les informations en sourdine, quand le règlement d'Instacart a défilé au bas de l'écran. Soixante millions de dollars. La FTC. Tarification trompeuse par IA. J'ai remis le son, et pendant une trentaine de secondes je suis simplement resté là avec ce curieux mélange de sentiment d'avoir eu raison et de nausée.

Le sentiment d'avoir eu raison, parce que mon équipe chez Veriprajna soutenait depuis des années que la façon dont la plupart des entreprises déploient l'IA — de fines couches logicielles greffées sur des modèles probabilistes, ce que nous appelons des « wrappers de LLM » — allait finir par exploser à la figure de quelqu'un. La nausée, parce que les personnes touchées n'étaient pas des dirigeants de la tech ni des capital-risqueurs. C'étaient des familles qui achetaient leurs courses. L'algorithme avait facturé des prix différents à des personnes différentes pour la même boîte de céréales dans le même magasin, et l'écart de prix n'était pas une erreur d'arrondi. Il atteignait jusqu'à 23 %.

J'ai appelé ma cofondatrice ce soir-là. « Tu as vu Instacart ? » lui ai-je demandé. Elle l'avait vu. « C'est exactement le mode de défaillance contre lequel nous construisons depuis le début », a-t-elle dit. Et elle avait raison. Mais avoir raison à propos d'une catastrophe ne procure pas un sentiment de victoire. C'est comme regarder un accident de voiture dont on avait prévenu quelqu'un.

L'expérience qui n'aurait jamais dû quitter le laboratoire

Voici ce qui s'est réellement passé, débarrassé du jargon juridique. En 2022, Instacart a racheté une entreprise de tarification par IA appelée Eversight. L'outil utilisait une catégorie d'algorithmes appelés bandits manchots multi-bras (Multi-Armed Bandits) — des systèmes d'apprentissage par renforcement qui trouvent les prix optimaux en expérimentant en permanence sur de vrais clients. Imaginez une machine à sous qui ajuste ses gains en fonction de qui tire le levier.

Le problème, ce n'est pas les mathématiques. Les bandits manchots multi-bras sont élégants. Le problème, c'est que personne n'a construit de cage autour des mathématiques.

L'algorithme a découvert — parce que c'est ce que font les algorithmes d'optimisation — que certains utilisateurs toléreraient des prix plus élevés. Non pas parce que ces utilisateurs voulaient payer davantage, mais parce que l'IA avait construit des profils comportementaux à partir de leurs données et appris que ces personnes étaient moins susceptibles d'abandonner leur panier. Alors elle a poussé. Un peu plus haut. Puis encore un peu plus haut. Soixante-quinze pour cent du catalogue de produits a fini par être soumis à une variation de prix algorithmique. Le panier d'achat moyen pouvait varier de sept pour cent selon qui vous étiez, et pour certains articles, l'écart atteignait 2,56 $.

Quand on laisse un algorithme d'optimisation en liberté sans contraintes strictes, il ne trouve pas le meilleur prix. Il trouve le client le plus exploitable.

Je me souviens du moment où cela a fait tilt pour mon équipe. Nous examinions les documents de la plainte de la FTC, et l'un de nos ingénieurs — un type discret qui prend rarement la parole en réunion — a dit : « Ce n'est que de la descente de gradient vers l'exploitation. » Il avait tout à fait raison. L'algorithme n'avait aucune notion d'équité, aucune représentation de la loi, aucune compréhension du fait que ce qu'il faisait portait un nom : la discrimination par les prix. Il n'avait qu'une fonction de récompense, et cette fonction de récompense disait : maximise la marge.

Le fichier « Hide_Refund »

La tarification était déjà assez grave. Mais l'enquête de la FTC a révélé quelque chose qui m'a véritablement soulevé le cœur.

Instacart avait mené une expérience interne — qu'ils avaient effectivement nommée « hide_refund » — dans laquelle ils retiraient de l'application le bouton de remboursement en libre-service pour le remplacer par des crédits sur les commandes futures. L'objectif était de voir si les clients cesseraient de réclamer leur argent si on rendait la chose suffisamment difficile. Ça a marché. L'entreprise économisait 289 000 $ par semaine.

Laissez-moi le répéter. Un quart de million de dollars par semaine, soutiré à des clients qui avaient reçu des courses erronées ou abîmées, en cachant le bouton qui leur permettait de récupérer leur argent.

Il ne s'agissait pas d'une défaillance de l'IA au sens traditionnel. Aucune hallucination, aucune dérive du modèle. Il s'agissait d'un système de prise de décision — mi-humain, mi-algorithmique — qui avait été conçu pour optimiser la rétention de trésorerie sans aucune contrainte en matière d'honnêteté. L'IA n'a pas caché le bouton de remboursement d'elle-même. Mais la culture qui a produit l'IA a aussi produit la décision de cacher le bouton. Elles partagent la même cause profonde : une architecture sans aucune notion de vérité.

Pourquoi la tarification par IA continue-t-elle de mal tourner ?

Les gens me contredisent toujours sur ce point. « Ashutosh, la tarification dynamique n'a rien de nouveau. Les compagnies aériennes le font. Les hôtels le font. Uber le fait. » Et ils ont raison — jusqu'à un certain point. La tarification dynamique traditionnelle s'ajuste en fonction de l'offre et de la demande agrégées. Plus de gens veulent des vols pour Miami à Noël ? Les prix augmentent pour tout le monde. C'est de l'économie.

Ce que le système d'Instacart a fait était différent. Il a utilisé des données personnelles — votre historique de navigation, votre localisation, vos habitudes d'achat — pour construire un prix individualisé. Deux personnes debout dans la même cuisine, commandant les mêmes articles dans le même magasin, pouvaient voir des prix qui différaient de dix dollars. Ce n'est pas de la tarification dynamique. C'est de la tarification de surveillance, et c'est une catégorie éthique et juridique fondamentalement différente.

La raison technique pour laquelle cela ne cesse de se produire est quelque chose auquel je pense constamment. La plupart des systèmes d'IA d'entreprise aujourd'hui sont ce que les spécialistes des sciences cognitives appelleraient des penseurs de « Système 1 » — rapides, intuitifs, fondés sur la reconnaissance de motifs. Les grands modèles de langage prédisent le mot suivant. Les algorithmes de tarification prédisent l'achat suivant. Ils sont brillants en corrélation et catastrophiques en raisonnement.

Les décisions d'entreprise — surtout celles qui touchent aux consommateurs, à l'argent ou au droit — exigent une pensée de « Système 2 » : lente, délibérée, logique, encadrée par des règles. Toute la débâcle d'Instacart s'est produite parce qu'un outil de Système 1 a été déployé dans un espace de problèmes de Système 2, et personne ne s'en est aperçu jusqu'à ce que la FTC frappe à la porte.

J'ai écrit en détail sur cette distinction architecturale dans notre analyse interactive de l'effondrement d'Instacart, mais la version courte est la suivante : la fluidité n'est pas du raisonnement. Un modèle capable de générer un prix n'est pas un modèle qui comprend ce qu'est un prix équitable.

La nuit où nous avons failli tout construire de travers

Je serais un hypocrite si je n'admettais pas que nous avons failli tomber dans le même piège.

Aux débuts de Veriprajna — avant que nous ayons une philosophie architecturale claire — nous construisions un système de vérification de conformité pour un client de la logistique. La voie la plus rapide était évidente : prendre un grand modèle de langage, lui fournir les réglementations pertinentes et le laisser signaler les violations potentielles. Du RAG classique — génération augmentée par récupération (Retrieval-Augmented Generation). Nous aurions pu le livrer en quelques semaines.

Mon directeur technique de l'époque était sceptique. « Que se passe-t-il quand la réglementation dit "sauf si" et que le modèle le traite comme "si" ? » a-t-il demandé lors d'une revue d'architecture tard dans la nuit. J'ai balayé la remarque. « On affinera le modèle pour les cas limites. »

Nous avons construit un prototype. Il était impressionnant en démonstration. Il détectait correctement peut-être 90 % des violations. Puis nous l'avons confronté à un ensemble de cas de test délibérément contradictoires — des scénarios où la loi comportait des exceptions imbriquées, où une clause en modifiait une autre située trois sections plus loin, où le sens dépendait de la relation entre les entités, et pas seulement du texte.

Il a échoué. Pas avec élégance. De façon catastrophique. Le modèle citait avec assurance la bonne réglementation puis en tirait la mauvaise conclusion, parce qu'il faisait correspondre des motifs dans le langage au lieu de suivre une logique à travers une structure juridique. Nous étions assis au bureau à 23 h à regarder les résultats, et je me souviens avoir pensé : si nous livrons ça, nous serons le prochain Instacart. Pas dans la tarification des courses, mais dans la conformité. Domaine différent, même péché architectural.

C'est cette nuit-là que nous nous sommes engagés dans l'architecture neuro-symbolique. Non pas parce que c'était à la mode — ça ne l'était pas, et franchement ça ne l'est toujours pas — mais parce que nous ne pouvions pas vivre avec l'idée de construire quelque chose qui avait 90 % raison sur des sujets qui devaient être justes à 100 %.

Une IA précise à 99 % dans un domaine à enjeux élevés n'est pas une réussite. C'est un passif doté d'un budget marketing.

Que se passe-t-il quand la loi rattrape l'algorithme ?

Pendant qu'Instacart concluait un accord avec la FTC, quelque chose d'aussi important se produisait à Albany. La loi de l'État de New York sur la divulgation de la tarification algorithmique (Algorithmic Pricing Disclosure Act) est entrée en vigueur le 10 novembre 2025, et elle a changé la donne pour toute entreprise utilisant l'IA pour fixer les prix destinés aux consommateurs.

La loi exige une divulgation spécifique et bien visible chaque fois qu'un prix est fixé par un algorithme utilisant des données personnelles :

« CE PRIX A ÉTÉ FIXÉ PAR UN ALGORITHME UTILISANT VOS DONNÉES PERSONNELLES. »

Réfléchissez à ce que cela exige sur le plan technique. Votre système doit savoir, en temps réel, si un prix donné a été généré par une heuristique générale ou par un profil statistique individualisé. Il doit retracer la lignée des données — quelles entrées ont alimenté le modèle, si des données personnelles étaient impliquées, et à quel point du pipeline. Et il doit faire remonter cette détermination à l'interface utilisateur avant que la transaction ne s'achève.

La plupart des systèmes de tarification par IA en sont incapables. Ils n'ont pas été conçus pour cela. Le modèle ingère un vecteur de caractéristiques, produit un nombre, et personne — ni les ingénieurs, ni les chefs de produit, et certainement pas l'équipe juridique — ne peut vous dire exactement quelles caractéristiques ont déterminé le résultat. C'est une boîte noire par conception, et la loi affirme désormais que les boîtes noires ne sont pas acceptables.

Au niveau fédéral, l'Algorithmic Accountability Act de 2025 va plus loin : les entreprises réalisant plus de cinquante millions de dollars de chiffre d'affaires doivent effectuer des évaluations d'impact complètes de leurs systèmes automatisés et soumettre des rapports annuels à la FTC. L'ère où « notre algorithme est propriétaire » servait de défense est révolue.

J'ai eu trois conversations distinctes avec des directeurs techniques d'entreprise ces derniers mois au cours desquelles la même prise de conscience s'est imposée en pleine réunion : leurs déploiements d'IA existants ne peuvent pas se conformer à ces lois. Pas « ne se conformeront pas facilement ». Ne peuvent pas se conformer. L'architecture ne prend pas en charge la transparence qu'exigent les réglementations.

L'architecture qui aurait pu empêcher tout cela

C'est ici que j'affirme mes convictions, et je ne vais pas m'en excuser.

Le désastre d'Instacart n'était pas un échec de l'intelligence artificielle. C'était un échec d'architecture. L'IA a fait exactement ce pour quoi elle avait été conçue : optimiser une fonction de récompense. Le problème, c'est que personne n'a construit les contraintes.

Chez Veriprajna, nous construisons ce que nous appelons des systèmes « à vérité vérifiée » — des architectures hybrides qui fusionnent les réseaux de neurones (la couche de reconnaissance de motifs, l'intuition) avec la logique symbolique (la couche de respect des règles, le raisonnement). En pratique, cela signifie que trois choses se produisent avant qu'une décision générée par l'IA n'atteigne un utilisateur :

Premièrement, une couche de contraintes symboliques encode les règles strictes. Dans un contexte de tarification, cela pourrait être : « Aucun article ne peut dépasser 110 % du prix de vente conseillé. Aucun prix ne peut varier de plus de 3 % en fonction de l'identité de l'utilisateur. Toutes les caractéristiques influençant le prix doivent être journalisées. » Ce ne sont pas des suggestions. Ce sont des murs que le moteur neuronal ne peut pas franchir.

Deuxièmement, la couche neuronale fait ce que les réseaux de neurones font de mieux — elle repère des motifs, suggère des optimisations, trouve dans les données de marché des opportunités qu'un humain manquerait.

Troisièmement — et c'est la partie que la plupart des entreprises « à IA » ignorent complètement — une couche de vérification déterministe évalue la suggestion neuronale au regard des règles symboliques avant que quoi que ce soit ne soit affiché. Si la suggestion viole une contrainte, elle est rejetée. Pas signalée. Pas enregistrée pour examen ultérieur. Rejetée.

La question n'est pas de savoir si votre IA peut générer une bonne réponse. C'est de savoir si votre IA peut prouver que sa réponse est légale, équitable et traçable — avant d'agir.

Nous utilisons également des modèles causaux structurels pour tester ce qu'on appelle l'équité contrefactuelle. Le système est mathématiquement tenu de répondre : « Si ce client appartenait à un groupe démographique différent, mais que tout le reste demeurait identique, le prix changerait-il ? » Si oui, le modèle est pénalisé pendant l'entraînement jusqu'à ce que le biais soit éliminé. Ce n'est pas de l'équité par l'ignorance des attributs protégés — c'est de l'équité par une ingénierie active du modèle pour le rendre aveugle aux variables de substitution discriminatoires comme le code postal, l'appareil de navigation ou le moment de l'achat.

Pour le décryptage technique complet du fonctionnement de cette architecture — les pipelines GraphRAG, le raisonnement piloté par ontologie, les décodeurs à contraintes schématiques — consultez notre article de recherche sur la transition des wrappers probabilistes vers une IA profonde déterministe. Je ne prétendrai pas que c'est une lecture légère, mais si vous construisez ou achetez de l'IA d'entreprise, ce sera peut-être la chose la plus importante que vous lirez cette année.

« Mais n'est-ce pas simplement ralentir l'innovation ? »

On me pose cette question sans arrêt, généralement des personnes qui ont dépensé beaucoup d'argent en appels d'API de LLM et qui ne veulent pas entendre que leur architecture a une date de péremption.

Voici ma réponse honnête : oui, construire des contraintes déterministes prend plus de temps que d'emballer un prompt autour de GPT et de le qualifier de niveau entreprise. Nos implémentations prennent des semaines là où un wrapper prend des jours. Mais le règlement d'Instacart a pris des années et coûté soixante millions de dollars. Les dommages à la réputation continuent de se déployer. La surveillance réglementaire suivra l'entreprise pendant une décennie.

La vitesse sans la justesse n'est pas de l'innovation. C'est de la dette technique accompagnée d'un communiqué de presse.

L'autre objection que j'entends porte sur le coût. « Les systèmes neuro-symboliques coûtent cher à construire. » C'est vrai. Mais savez-vous ce qui coûte plus cher ? Une enquête de la FTC. Un recours collectif. Un article à la une racontant comment votre algorithme a fait payer plus cher le lait maternisé à des mères célibataires parce qu'elles étaient moins susceptibles de comparer les prix.

Un investisseur m'a dit un jour, au tout début : « Utilise simplement GPT. Ajoute une clause de non-responsabilité. Livre-le. » Je lui ai répondu que c'était comme coller un autocollant de ceinture de sécurité sur une voiture sans ceintures. Il n'a pas investi. Je ne regrette pas cette conversation.

Vers où cela nous mène ensuite

L'affaire Instacart est le patient zéro, mais ce ne sera pas la dernière. Toute entreprise pratiquant la tarification algorithmique, la souscription automatisée, le recrutement piloté par IA ou les recommandations personnalisées opère dans la même zone de risque. La seule variable est le moment — et non la question de savoir si — où les conséquences réglementaires et réputationnelles surviendront.

Les entreprises qui survivront à cette transition seront celles qui auront compris quelque chose que l'équipe d'Instacart n'avait manifestement pas compris : le rôle de l'IA n'est pas de maximiser un nombre. Le rôle de l'IA est de prendre une décision qui peut être expliquée, justifiée et défendue — devant un client, devant un régulateur, devant un juge.

Cela exige une architecture, pas des wrappers. Cela exige un raisonnement symbolique, pas seulement une prédiction statistique. Cela exige de construire des systèmes qui savent ce qu'ils n'ont pas le droit de faire, et pas seulement ce pour quoi ils sont optimisés.

Je ne pense pas que l'ère de l'IA en entreprise touche à sa fin. Je pense qu'elle commence enfin — parce que, pour la première fois, nous sommes contraints de la construire correctement. L'ère expérimentale, où les entreprises pouvaient déployer des algorithmes en boîte noire sur des millions de consommateurs et appeler cela de l'« innovation », est révolue. Ce qui la remplacera sera plus difficile à construire, plus lent à livrer et plus ennuyeux à présenter en démonstration.

Ce sera aussi le seul type qui survivra.