L'affirmation était vraie. Je l'ai tuée quand même.
Le premier e-mail que j'ai jamais refusé d'envoyer était entièrement exact.
Je me souviens de la phrase parce que je l'ai lue une quarantaine de fois : « J'ai vu que vous avez récemment porté votre flotte One-Way Truckload à 2,735 camions. » Chaque mot était vrai. Werner Enterprises a bel et bien déclaré cette flotte, dans son propre Form 10-K, déposé auprès de la SEC. Et assis devant la démo que je construisais, j'ai tué l'affirmation quand même.
Cette décision m'a semblé mauvaise pendant environ un jour. Puis elle a semblé être tout l'enjeu.
J'avais commencé ce projet en croyant, comme presque tous ceux qui construisent dans la vente par IA en ce moment, que l'ennemi était l'hallucination. Le modèle invente quelque chose, la chose fausse part dans l'e-mail, le prospect s'en aperçoit, votre crédibilité meurt. Attrapez les fabrications et vous gagnez. Ce cadrage est propre, il se démontre bien, et je pense maintenant qu'il est discrètement responsable de beaucoup de domaines d'envoi brûlés. La phrase Werner ne contenait aucune fabrication. C'était quand même une affirmation que je n'aurais jamais laissée sortir du bâtiment.
Cet essai porte sur ce qui m'a fait changer d'avis, raconté comme cela s'est réellement passé, c'est-à-dire lentement et avec une semaine embarrassante au milieu. Si vous voulez voir ce que j'ai fini par construire, c'est ici : veriprajna.com/fr/demos/intelligence-commerciale-par-ia-prospection-verifiee. Mais le produit est la partie ennuyeuse. La partie intéressante, c'est pourquoi une phrase vraie n'est pas une phrase sûre, et pourquoi j'ai cessé de faire confiance au modèle pour faire la différence.
La semaine où j'ai essayé de faire noter au modèle ses propres devoirs
J'ai passé environ une semaine à essayer d'amener le modèle de langage à attraper ses propres citations périmées, et je veux être honnête : ça n'a pas marché.
Le dispositif était raisonnable sur le papier. Un agent chercheur extrait des faits. Un agent rédacteur rédige l'e-mail, limité à ces seuls faits. Puis un agent vérificateur lit le brouillon contre les sources et signale tout ce qui ne tient pas. Trois agents, un pipeline soigné, le genre d'architecture qui reçoit un hochement de tête en revue de conception. Je m'attendais vraiment à ce que le vérificateur soit la partie facile.
C'est la partie qui a cassé. Pas bruyamment. C'était le problème. Le vérificateur lisait le brouillon Werner, voyait une phrase sur 2,735 camions, trouvait une source qui disait 2,735 camions, et l'approuvait avec confiance. Ce qui est correct, si la seule question est « une source soutient-elle ce chiffre. » Le modèle n'avait aucune notion durable du fait que la source avait plus de deux ans et que la phrase disait « récemment. » Quand je le poussais à raisonner sur les dates, il attrapait parfois la péremption et parfois la laissait passer, et je ne pouvais pas prédire lequel. Un vérificateur que vous ne pouvez pas prédire n'est pas un vérificateur. C'est un second avis.
Le moment où ça a vraiment frappé, c'était tard un soir, quand j'ai passé le même brouillon trois fois dans le vérificateur et obtenu deux approbations et un rejet, sans aucun changement à l'entrée. J'ai longuement regardé ça. Je demandais à un système probabiliste d'être le portail déterministe d'un autre système probabiliste.
Je demandais à un LLM d'être l'arbitre digne de confiance d'un LLM, et j'appelais le résultat « vérification. »
Ce n'est pas de la vérification. Ce sont deux modèles qui sont d'accord, ce qui est une chose différente et bien plus faible. Si toute la raison pour laquelle vous avez besoin d'un vérificateur est que la sortie du modèle ne peut pas être prise pour argent comptant, alors la sortie d'un second modèle ne peut pas être ce à quoi vous faites confiance pour la contrôler. J'avais construit un palais des miroirs et collé dessus une étiquette de conformité.
Qu'est-ce qui est pire, un fait inventé ou un vrai ?
Ce qui m'a le plus surpris en construisant ceci, c'est de réaliser que les fabrications n'étaient jamais les échecs les plus effrayants. Les affirmations vraies mais mal utilisées l'étaient.
Pensez à ce qui se passe réellement quand un SDR IA hallucine un détail d'entreprise. Souvent c'est du non-sens, clairement faux, le genre de chose qu'un prospect lit et efface. Embarrassant, certes. Mais l'affirmation qui vous met vraiment dans le pétrin, c'est celle qui est vérifiable et correcte et pourtant fausse dans son contexte. Elle traverse tous les filtres « est-ce inventé » précisément parce qu'elle n'est pas inventée. La grammaire est parfaite. Le chiffre est réel. Et c'est un mensonge sur le temps présent.
J'ai commencé à appeler cela mésusage contextuel, et une fois que j'ai eu un nom pour ça, je l'ai vu partout dans la démo que j'assemblais. Il a plus d'une forme, mais chaque version partage la propriété qui le rend dangereux : chacune est une affirmation vraie.
La forme qui m'a le plus appris est la source périmée, et Werner est l'endroit où je l'ai vue clairement pour la première fois. « A récemment porté à 2,735 camions » cite un vrai 10-K, mais ce dépôt est arrivé le 2024-02-26, et par rapport à la date de travail de la démo il a largement plus de deux ans. Le chiffre n'a pas cessé d'être vrai. Le mot « récemment » a cessé d'être vrai. Ce n'est pas le même fait, et une vérification par appariement de source les traite comme identiques.
J'ai reconstruit la même forme une deuxième fois avec un lead synthétique, une entreprise de logistique mid-market appelée Northwind, pour pouvoir montrer le schéma sans prétendre qu'une vraie société avait dit quelque chose qu'elle n'avait pas dit. Le brouillon affirmait que Northwind avait « récemment étendu ses activités en APAC. » Il y a une source d'apparence réelle pour cela. La source est datée de mars 2019, ce qui dans la démo donne environ 2,652 jours, plus de sept ans. Le chevauchement d'ancrage entre l'affirmation et la source est un 100 % net. L'entité correspond. Et c'est quand même le genre de phrase qui fait croire à un prospect que vous ne les avez pas regardés depuis la dernière Coupe du monde.
Un fait vrai sur une source périmée est encore un mensonge sur le présent. La date fait partie de l'affirmation, que la phrase l'admette ou non.
L'autre forme est la collision de noms identiques, et je l'ai aussi gardée comme cas synthétique. « Northwind Logistics vient de lever une Series B de 40 M$ » a une vraie source derrière. La source porte sur Northwind Inc., une startup de cybersécurité à Austin, une entreprise complètement différente qui se trouve partager un nom. Chaque mot est exact à propos d'une Northwind. Aucun n'est exact à propos de celle-ci.
Remarquez ce que les trois exemples ont en commun. Pas un seul n'est une hallucination. Si vous construisiez toute votre histoire de sécurité autour de l'attrapage des fabrications, vous livreriez les trois. C'est le mode de défaillance derrière les crashs de SDR IA que tout le monde cite et que personne n'explique vraiment. Les outils en une seule passe hallucinent bien une part mesurable des affirmations propres au prospect, quelque part entre 12 et 18 pour cent selon un décompte du secteur (AI SDR Industry Report, 2026), mais les fabrications sont les échecs que vous pouvez au moins imaginer attraper. Les affirmations vraies-mais-périmées, vraies-mais-à-mauvaise-entité sont celles qui ressemblent à un succès jusqu'au moment où elles vous coûtent.
Ce qui m'a fait cesser de faire confiance au modèle et commencer à faire confiance à une soustraction de dates
Ce qui a finalement marché était presque insultamment simple, et j'y ai résisté plus longtemps que je n'aurais dû.
Si le problème avec l'affirmation Werner est que « récemment » pointe vers une source plus vieille qu'une fenêtre de récence sensée, alors le contrôle n'est pas une tâche de raisonnement. C'est de l'arithmétique. Prenez la date de la source, prenez la date de travail, soustrayez. Si l'affirmation utilise un langage de récence et que l'écart dépasse 365 jours, l'affirmation est périmée et elle ne part pas. Âge de la source 2652 jours supérieur à 365 jours sur une affirmation de récence, donc échec. Il n'y a pas de prompt, pas de température, pas de « en tant que modèle de langage IA. » Il y a un nombre et un seuil.
Une fois que je me suis autorisé à écrire cela, le reste des contrôles a voulu être du code aussi. L'affirmation découle-t-elle réellement d'un extrait de source, mesurée comme chevauchement de jetons sur les mots de contenu, en excluant le nom propre de l'entreprise pour qu'une phrase ne puisse pas obtenir un score élevé juste en répétant « Werner, Werner, Werner » ? Code. La source porte-t-elle sur cette entité et non sur une autre au même nom ? Code. Le modèle de langage est toujours l'auteur, et c'est un authentiquement bon auteur. Il n'est juste pas le juge.
J'ai fini par formuler le principe de deux façons que je répète constamment maintenant. L'une est « les agents conseillent, le code décide. » L'autre est « pas un LLM qui juge un LLM. » Le réseau de neurones gère ce en quoi les réseaux de neurones sont bons, c'est-à-dire rédiger un brouillon fluide et humain. Un vérificateur déterministe, en Python pur, gère ce en quoi le code est bon, c'est-à-dire appliquer la même règle de la même façon à chaque fois. Rédaction neuronale, vérification symbolique. Le mot de l'industrie pour ce couple est neurosymbolique, bien que je me soucie moins de l'étiquette que de la propriété qu'elle achète.
De meilleurs modèles écrivent de meilleures phrases. Ils ne rendent pas récent un dépôt vieux de deux ans. Ce n'est pas un écart de capacité. C'est une erreur de catégorie.
Et la propriété qu'elle achète, c'est la reproductibilité. Quand je lance le vérificateur sur la même entrée, j'obtiens le même verdict, à chaque fois. Cela sonne comme une petite commodité d'ingénierie. C'est en fait tout le jeu, parce que la reproductibilité est ce qui rend une décision certifiable. Je peux vous tendre la trace. Âge de la source 2652 jours, supérieur à 365, affirmation de récence présente, verdict périmé, affirmation retirée. Vous pouvez relancer et obtenir le résultat identique. Un juge LLM, même bon, ne peut pas vous promettre cela. J'ai vécu la soirée des trois-passes-deux-verdicts. Je ne construis pas une histoire de conformité par-dessus.
N'est-ce pas juste un problème d'hallucination déguisé ?
On me pose une version de cette question dans presque chaque conversation, en général par quelqu'un de technique, et ma réponse s'est raccourcie avec le temps. Non. Et la raison pour laquelle ce n'est pas le cas est la raison pour laquelle je pense que ce travail survit à la génération actuelle de modèles.
Le cadrage par l'hallucination suppose discrètement que le correctif est un meilleur modèle. Plus grand contexte, entraînement plus propre, taux de fabrication plus bas, et finalement le problème rétrécit jusqu'à disparaître. Peut-être que c'est vrai pour la fabrication pure. Cela ne fait rien pour les échecs qui m'intéressent vraiment. Un modèle parfait, qui n'invente jamais un seul fait, écrira encore allègrement « récemment » sur un dépôt de 2024, parce que depuis l'intérieur du brouillon cette phrase est vraie et fluide et exactement ce que vous avez demandé. Le modèle n'a aucune obligation envers le calendrier. L'écart entre « porté à 2,735 camions » et « récemment porté à 2,735 camions » n'est pas un écart que l'échelle referme.
C'est là que le marché continue d'enseigner la leçon à la dure. La catégorie SDR IA a optimisé fort pour le volume et pour la personnalisation basée sur les signaux, et elle a surtout sauté l'étape où l'on revérifie l'affirmation résultante contre une source actuelle et correcte quant à l'entité. L'économie n'a pas été tendre. Le churn des SDR IA en entreprise tourne quelque part autour de 50 à 70 pour cent par an (UserGems, 2026). L'histoire cautionnaire la plus citée, 11x.ai, a levé 74 millions de dollars puis s'est effondrée en 2025 avec un churn rapporté dans la fourchette de 70 à 80 pour cent (TechCrunch). Vous n'affichez pas ces chiffres parce que votre modèle hallucinait de temps en temps. Vous les affichez parce que la sortie avait l'air personnalisée et n'était pas digne de confiance, et les acheteurs finissent par sentir la différence même quand ils ne savent pas la nommer.
Donc la thèse à laquelle je reviens sans cesse est brutale. La personnalisation n'est pas de la vérification. Votre SDR IA n'a pas principalement un problème d'hallucination. Il a un problème de vérification, et un meilleur modèle de base ne le résoudra pas, parce que la vérification et la provenance ne sont pas des capacités de modèle. Ce sont des propriétés du système que vous construisez autour du modèle.
La personnalisation n'est pas de la vérification. La vérification et la provenance ne sont pas des capacités de modèle. Ce sont des propriétés du système que vous construisez autour du modèle.
Ce que « 100 % » a réellement le droit de signifier
Je veux être prudent ici, parce que c'est exactement l'endroit où un fondateur est tenté de trop promettre, et l'entreprise que je construis est nommée pour l'instinct inverse.
Il y a deux chiffres dans la démo et ce n'est pas le même chiffre. Le premier est le Score de véracité, qui n'est que les affirmations soutenues divisées par le total des affirmations factuelles du brouillon. Il répond à « quelle part de ce que l'IA a écrit s'est avérée vraie », et sur un vrai brouillon il est souvent bien en dessous de 100, ce qui est l'aspect honnête et utile. L'e-mail Werner perd son affirmation phare. L'e-mail Northwind en perd deux. C'est le système qui fonctionne, pas qui échoue.
Le second chiffre est l'intégrité à l'envoi, et elle est à 100 % par construction dès que quoi que ce soit survit, parce que la porte de politique retire toute affirmation non soutenue avant que l'e-mail soit autorisé à partir. La garantie n'est pas « l'IA avait toujours raison. » La garantie est « l'e-mail qui part ne contient que des affirmations étayées par des sources. » Ce sont des promesses très différentes, et j'ai vu des gens les confondre en une bien plus grande, bien plus fausse.
Il y a aussi un benchmark, et voici la phrase que je refuse de raccourcir : sur un jeu doré fixe et étiqueté à la main de 25 cas, le vérificateur déterministe obtient 25 verdicts justes sur 25. C'est 100 % sur ce benchmark étiqueté. Ce n'est pas une affirmation sur le monde ouvert, ce n'est pas une promesse sur votre boîte de réception, et ce n'est emphatiquement pas « zéro hallucination », une expression que selon moi personne d'honnête ne devrait dire. Le modèle rédige encore. Les brouillons contiennent encore des affirmations non prouvées. Le point, c'est que les non prouvées sont attrapées et retirées, et l'attrapage est assez déterministe pour certifier. Quiconque vous vend une garantie zéro hallucination vous vend la chose que j'ai passé une semaine à échouer à construire.
Je dirai aussi clairement, parce que le brief que je me fixe l'exige, que les connecteurs de la démo sont simulés. Le pull EDGAR, la récupération d'actualités, le write-back CRM, l'envoi réel, tout est stubbé. Ce qui est réel, c'est le mécanisme : les contrôles, la porte, la piste d'audit, et les extraits du 10-K de Werner, qui sont de vrais documents publics. Je vous montre comment le moteur décide, pas un pipeline de production avec vos données dedans. Si vous voulez le regarder décider, c'est ici une fois de plus : veriprajna.com/fr/demos/intelligence-commerciale-par-ia-prospection-verifiee.
La question qui me reste
J'ai trouvé que la dernière chose que cette construction a changée en moi était plus petite que la thèse, et c'est celle qui a tenu le plus longtemps.
Il y a un troisième lead dans la démo, un courtier-négociant synthétique réglementé FINRA, et son brouillon sort complètement propre. Chaque affirmation soutenue, rien de retiré, un Score de véracité parfait. Et la porte de politique le route quand même vers un humain, parce que c'est réglementé et C-suite et un gros deal, et la règle dit qu'un humain regarde ceux-là indépendamment de la propreté du brouillon. La première fois que j'ai vu un e-mail impeccable retenu pour revue, mon instinct était que le système avait fait une erreur. Ce n'était pas le cas. J'avais juste assumé, sans m'en apercevoir, que l'exactitude et la sûreté étaient la même propriété.
Elles ne le sont pas. Une affirmation peut être vraie et dangereuse. Un brouillon peut être propre et avoir encore besoin d'une personne. Tout le travail s'est révélé être de séparer ces idées et de construire pour les deux, au lieu de les écraser en un seul chiffre qui fait un bon titre.
Donc la question que je vous laisserais est celle que je me pose maintenant avant que quoi que ce soit écrit par IA ne quitte mes mains. Pas « est-ce vrai », ce à quoi je peux généralement répondre et qui n'est généralement pas assez. La plus dure : puis-je prouver, maintenant, quelle source actuelle étaye exactement cette affirmation, et cette preuve survivrait-elle à quelqu'un qui voudrait la faire échouer ?
Si la réponse est non, peu importe à quel point le modèle s'améliore. La phrase n'est pas prête à être envoyée.
