Faut-il faire confiance à l'IA pour la recherche juridique ? Probablement pas encore.

Le problème

En juin 2023, un avocat a déposé un mémoire juridique devant un tribunal fédéral de New York. Le mémoire citait plusieurs affaires — Varghese v. China Southern Airlines, Shaboon v. Egyptair, Petersen v. Iran Air — avec numéros de dossier, dates et extraits cités à l'appui. Chacune de ces affaires était fictive. ChatGPT les avait toutes inventées.

Le juge dans l'affaire Mata v. Avianca, Inc. a constaté que les références étaient fabriquées. Il a qualifié de « charabia » certains passages des résumés de jurisprudence générés par l'IA, malgré leur présentation juridique convaincante. Le tribunal a infligé une amende de $5,000 et exigé que les avocats en informent leur client. Mais la sanction financière fut la moindre des dommages. Les retombées réputationnelles ont fait la une des médias internationaux.

Voici ce qui aggrave encore cette histoire. Lorsque le conseil adverse a contesté ces affaires fictives, l'avocat est retourné voir ChatGPT pour lui demander si elles étaient réelles. L'IA a confirmé ses propres mensonges. Elle a déclaré que ces affaires « existent bel et bien » et pouvaient être trouvées dans des « bases de données juridiques réputées ». Cela a créé ce que le livre blanc appelle une « boucle d'hallucination » — l'outil utilisé pour la vérification présentait la même défaillance que l'outil utilisé pour la génération.

Le tribunal a rejeté l'argument selon lequel l'avocat ignorait que l'IA pouvait fabriquer des informations. Les juges ont désormais établi que les avocats sont les garants ultimes de l'exactitude de leur technologie. Si votre cabinet utilise l'IA pour des travaux juridiques, la responsabilité vous incombe à vous — pas au fournisseur du logiciel.

Pourquoi cela compte pour votre entreprise

L'affaire Mata n'était pas un incident isolé. Elle a mis au jour un problème structurel qui touche toute organisation utilisant l'IA pour la recherche juridique, la conformité ou le travail réglementaire.

Ces chiffres devraient vous préoccuper :

• De 58 % à 82 % : les chercheurs de Stanford ont constaté que les chatbots d'IA généralistes hallucinaient à ces taux sur des requêtes juridiques complexes — y compris les outils dotés d'un accès Internet ou de fonctions de récupération de base.
• $5,000 : l'amende directe dans Mata v. Avianca. Mais le coût réel fut la destruction réputationnelle et un risque potentiel de radiation du barreau pour les avocats impliqués.
• Jusqu'à 30-35 % : l'écart de performance entre les systèmes avancés de récupération par graphe et les systèmes vectoriels standards sur des tâches de raisonnement juridique en plusieurs étapes.

Ces risques touchent votre entreprise sur trois plans :

• Responsabilité pour faute professionnelle. Votre cabinet assume la responsabilité légale de chaque référence générée par l'IA dans un acte de procédure. Les primes d'assurance responsabilité civile professionnelle augmenteront probablement pour les cabinets incapables de démontrer une gouvernance rigoureuse de l'IA.
• Exposition réglementaire. Des tribunaux émettent des instructions permanentes exigeant la divulgation obligatoire de l'utilisation de l'IA. Si vos outils ne peuvent pas expliquer leur raisonnement, vous faites face à des manquements à la conformité avant même d'aborder le fond de l'affaire.
• Confiance des clients. Vos clients demanderont de plus en plus : « Quelle IA utilisez-vous ? » Répondre « ChatGPT » — ou n'importe quelle simple surcouche légère autour d'un modèle généraliste — signale que vous n'avez pas sérieusement réfléchi à l'exactitude. Cette réponse devient inacceptable dans le travail juridique en entreprise.

Le bilan pour votre compte de résultat : si un avocat doit vérifier manuellement chaque référence générée par l'IA, vous perdez les gains d'efficacité qui justifiaient au départ l'investissement dans l'IA.

Ce qui se passe réellement sous le capot

Pour comprendre pourquoi Mata s'est produite, vous devez comprendre une chose sur le fonctionnement des grands modèles de langage (LLM). Ils prédisent le mot suivant dans une séquence. Ils ne cherchent pas dans une bibliothèque. Ils ne consultent pas une base de données. Ils génèrent du texte qui sonne juste sur la base de régularités statistiques.

Imaginez l'autocomplétion de votre téléphone — mais pour des paragraphes entiers. Votre téléphone peut suggérer « réunion » après que vous avez tapé « On se voit à la ». Un LLM fait la même chose à très grande échelle. Quand on lui demande une affaire de préjudice lié à un vol aérien, il ne recherche pas d'affaires réelles. Il assemble une réponse qui suit le schéma de ce à quoi ressemble une référence juridique. « Varghese » était un nom de demandeur statistiquement plausible. « China Southern Airlines » était un défendeur plausible. Mais la relation entre eux était une fiction mathématique, pas une réalité juridique.

La première correction apportée par l'industrie s'appelait la génération augmentée par récupération (RAG, Retrieval-Augmented Generation) — une méthode où l'on fournit à l'IA de véritables documents sources avant qu'elle ne génère une réponse. Le RAG standard stocke les documents juridiques sous forme de vecteurs numériques et récupère des extraits de texte sémantiquement similaires à votre question. Cela aide, mais cela introduit de nouveaux problèmes.

La recherche vectorielle traite un avis dissident de la même manière qu'un avis majoritaire si les mots se ressemblent. Elle ne peut pas dire si une affaire a été renversée (overruled). Elle récupère les documents de façon isolée, de sorte qu'elle passe à côté des connexions entre une loi, le règlement qui interprète cette loi et la jurisprudence qui applique ce règlement. La recherche montre que lorsque les LLM reçoivent de longues listes de texte récupéré, ils se concentrent sur les informations du début et de la fin et ignorent le contenu du milieu. Dans le travail juridique, l'exception cruciale est souvent enfouie dans le 15e extrait de jurisprudence récupérée.

Un système qui récupère la bonne affaire 80 % du temps constitue un risque de faute professionnelle les 20 % restants.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Trois approches courantes échouent pour l'IA juridique à enjeux élevés :

• Un meilleur prompting. L'ingénierie de prompts peut changer le style ou le format des sorties de l'IA. Elle ne peut pas injecter des connaissances que le modèle ne possède pas, ni forcer le modèle à vérifier des faits contre une base de données à laquelle il n'a pas accès.
• Les applications wrapper. Ce sont des surcouches légères superposées à des API comme celle d'OpenAI. Elles peuvent ajouter un prompt système disant « Tu es un avocat compétent », mais cela n'accorde aucun accès à des bases de données de jurisprudence vérifiées et n'empêche pas l'IA d'inventer des références.
• Le RAG vectoriel standard seul. Il réduit la fabrication pure mais ne peut pas saisir la hiérarchie juridique. Il ne sait pas qu'une affaire en renverse une autre. Il ne comprend pas la compétence juridictionnelle. Il traite une loi abrogée de la même manière qu'une loi en vigueur si le texte correspond à votre requête.

Ce qui fonctionne, c'est une méthode appelée Citation-Enforced GraphRAG — un système qui cartographie les autorités juridiques dans un graphe de connaissances vérifié et empêche physiquement l'IA de générer de fausses références. Voici comment cela fonctionne en trois étapes :

1. Entrée : construire la carte. Chaque loi, chaque règlement et chaque affaire devient un nœud spécifique dans un graphe de connaissances — un réseau structuré d'entités juridiques et de leurs relations. Les arêtes entre les nœuds portent un sens : « renverse », « interprète », « confirme », « distingue ». Ce n'est pas un tas de documents. C'est une carte vérifiée de la manière dont le droit se connecte.

2. Traitement : contraindre l'IA. Pendant la génération de texte, un mécanisme de contrainte vérifie chaque référence que l'IA tente de produire par rapport au graphe de connaissances. Si l'IA tente de produire « Varghese v. China Southern », le système interroge le graphe. Constatant qu'une telle affaire n'existe pas, il bloque entièrement la sortie. L'IA est physiquement incapable de produire une séquence de tokens pour une affaire qui ne figure pas dans la base vérifiée. Cela fait passer votre système d'une exactitude probabiliste à une application structurelle.

3. Sortie : montrez votre travail. Lorsque le système cite effectivement une affaire, il fournit le chemin de traversée exact — de quelle loi il est parti, quelles affaires l'interprètent, et si celles-ci demeurent applicables en droit. Si une affaire a été renversée, le graphe la signale d'un « signal rouge » et la retire du contexte de l'IA avant même que la génération ne commence.

C'est ici que votre équipe conformité doit être attentive. Chaque référence s'accompagne d'une piste d'audit. Vos avocats peuvent voir pourquoi l'IA a sélectionné une affaire, et pas seulement le fait qu'elle en ait sélectionné une. Le système peut démontrer qu'il a vérifié le traitement négatif — l'équivalent numérique du Shepardizing — et confirmé que l'autorité est valide. Une couche d'ancrage, de citation et de vérification rend chaque sortie traçable et défendable.

Pour les organisations du secteur des services juridiques et professionnels, cette architecture permet également de faire correspondre les politiques internes aux réglementations externes. Le graphe peut relier un paragraphe précis de votre manuel de conformité à la section exacte du règlement qu'il traite. Cela crée des matrices de conformité automatisées et vérifiables qui résistent à l'audit.

L'approche hybride — combinant la recherche vectorielle pour trouver les textes pertinents et la vérification par graphe pour confirmer la validité juridique — vous offre à la fois l'étendue et la précision. Votre architecture de solutions bénéficie de la fluidité de l'IA sans sa propension à fabriquer.

À mesure que l'IA juridique évolue vers des agents autonomes capables de planifier et d'exécuter des tâches de recherche en plusieurs étapes, la structure par graphe devient une infrastructure essentielle. Les agents ont besoin d'une carte du monde juridique pour raisonner sur des questions complexes. Une base de données vectorielle leur donne un tas de documents. Un graphe de connaissances leur donne la carte.

Pour aller plus loin dans l'architecture technique, lisez l'analyse technique complète ou explorez la version interactive.