L'algorithme qui a refusé des soins à des patients mourants — et ce qu'il m'a appris pour bâtir une IA qui ne tue pas

J'étais assis dans une salle de conférence à la fin de 2024 lorsqu'une collègue a affiché une statistique sur son ordinateur portable et a tourné l'écran vers moi. « L'as-tu vue ? »

C'était le taux d'annulation en appel de l'algorithme nH Predict de UnitedHealth Group — le système d'IA que leur filiale NaviHealth utilisait pour décider quand les patients de Medicare devaient être privés de soins post-aigus. Soins infirmiers spécialisés. Rééducation. Le genre de soins qui évite qu'une personne de 82 ans soit renvoyée dans un appartement vide après un AVC.

Le chiffre était de 90 %.

Neuf fois sur dix, lorsqu'un juge humain examinait réellement la décision de l'algorithme de refuser la couverture, il l'annulait. L'IA se trompait neuf fois sur dix. Et UnitedHealth le savait. Ils le savaient parce que seulement 0,2 % des patients — des personnes âgées, handicapées, atteintes de troubles cognitifs — parvenaient à déposer un recours. Le système n'était pas conçu pour être précis. Il était conçu pour être impossible à contester.

J'ai fermé mon ordinateur portable ce soir-là et je n'ai pas pu dormir. Non pas parce que la technologie m'avait surpris — j'ai passé des années à construire des systèmes d'IA et je comprends comment les modèles fondés sur la corrélation échouent. Ce qui m'a tenu éveillé, c'était quelque chose de plus laid : ce n'était pas un bug. C'était un modèle économique. Et c'était l'aboutissement logique de toute une philosophie de l'IA d'entreprise que mon secteur promeut joyeusement depuis une demi-décennie.

Je dirige Veriprajna, une entreprise fondée sur la prémisse que l'IA dans les domaines à enjeux élevés doit être fondamentalement différente des chatbots et des générateurs de contenu qui dominent la conversation. La crise UnitedHealth n'a pas seulement validé cette prémisse. Elle l'a radicalisée.

Un algorithme à un milliard de dollars incapable de voir une femme mourante

Laissez-moi vous parler de Carol Clemens, car les chiffres ne signifient rien sans elle.

Carol souffrait de méthémoglobinémie — un trouble sanguin potentiellement mortel où le sang ne peut pas transporter correctement l'oxygène. Après un épisode grave, elle se trouvait dans un établissement de soins infirmiers spécialisés pour recevoir la rééducation dont elle avait besoin pour survivre. Le genre de soins que Medicare est censé couvrir.

Puis nH Predict a généré une « date de sortie cible ». L'algorithme, entraîné sur 6 millions de dossiers de patients, avait recoupé le diagnostic de Carol avec des résultats historiques et décidé qu'elle en avait terminé. Peu importe que son taux d'oxygène sanguin fût encore dangereusement bas au point de mettre sa vie en danger. Peu importe que ses cliniciens aient dit qu'elle avait besoin de plus de temps. Le modèle avait parlé.

Sa famille a payé 16 768 $ de sa poche pour la maintenir en soins. Ils ont eu de la chance — ils avaient les moyens. La plupart des patients dans la situation de Carol ne les avaient pas.

Voici ce qui me hante dans cette affaire : nH Predict n'était pas une expérience isolée et incontrôlée. La division Optum de UnitedHealth a payé plus de 1 milliard de dollars pour acquérir NaviHealth et son algorithme. C'était un produit phare dans une entreprise projetant 340 milliards de dollars de revenus pour 2025. Le déploiement d'IA le plus coûteux de l'histoire de la santé, et il était incapable de distinguer une moyenne statistique d'une femme en train de suffoquer.

Pourquoi l'algorithme s'est-il trompé 90 % du temps ?

C'est la question que tout le monde pose, et la réponse est trompeusement simple. nH Predict était un moteur de corrélation se faisant passer pour un outil clinique.

Il ingérait des dossiers de patients et trouvait des schémas : les patients avec le diagnostic X restent généralement Y jours. C'est tout. C'est toute l'astuce. Il ne modélisait pas pourquoi les patients ont besoin de durées de soins différentes. Il ne tenait pas compte de savoir si quelqu'un avait un aidant à domicile, s'il était financièrement assez stable pour gérer un traitement ambulatoire, s'il présentait des complications spécifiques qui rendaient son cas différent de la moyenne statistique.

Un modèle qui vous dit « les patients comme celui-ci partent généralement au bout de 14 jours » n'est pas la même chose qu'un modèle qui comprend pourquoi ce patient précis a besoin de 21 jours. Le premier est un tableur avec des étapes en plus. Le second est de l'intelligence.

J'ai eu cet argument avec d'autres fondateurs plus de fois que je ne saurais compter. « Mais le modèle est précis en moyenne ! » diront-ils. Bien sûr. Et une rivière fait en moyenne quatre pieds de profondeur, ce qui n'est d'aucun réconfort pour la personne qui s'est noyée dans la section de huit pieds.

Le terme technique pour ce qui manquait à nH Predict est le raisonnement causal — la capacité de passer de « ce qui se produit habituellement » à « ce qui se produirait si nous changions cette variable ». Un modèle causal demanderait : qu'advient-il de la trajectoire de rétablissement de Carol Clemens si nous supprimons les soins infirmiers spécialisés au 14e jour ? Rechute-t-elle ? Meurt-elle ? Un modèle de corrélation ne pose pas la question. Il ne le peut pas. Il n'a pas été conçu pour ça.

J'ai écrit en profondeur sur cette distinction dans la version interactive de nos recherches, parce que je pense que c'est le concept le plus important que les dirigeants d'entreprise doivent comprendre au sujet de l'IA en ce moment.

La règle des 3 % à 1 % — ou comment on transforme les infirmières en tampons encreurs

L'imprécision de l'algorithme était déjà assez grave. Ce que UnitedHealth en a fait était pire.

Le témoignage d'un lanceur d'alerte a révélé que les responsables de NaviHealth fixaient des objectifs de conformité rigides à leur personnel clinique. Les gestionnaires de cas — infirmières, médecins, des personnes qui avaient passé des décennies à apprendre à évaluer les besoins des patients — se voyaient dire de maintenir la durée de séjour réelle des patients dans une marge de 3 % de ce que nH Predict projetait.

Puis ils l'ont resserrée à 1 %.

Réfléchissez à ce que cela signifie en pratique. Vous êtes infirmière. Vous avez examiné un patient. Vous savez, grâce à des années d'expérience et aux preuves cliniques que vous avez sous les yeux, que cette personne n'est pas prête à rentrer chez elle. Mais l'algorithme dit le 14e jour, et votre responsable dit que vous devez atteindre le 14e jour à une fraction de journée près, sinon vous vous exposez à des mesures disciplinaires. Peut-être un licenciement.

Que faites-vous ?

La plupart des gens se sont conformés. Non pas parce qu'ils étaient de mauvais cliniciens, mais parce que le système était conçu pour faire de la conformité la seule option viable. On demandait aux coordinateurs de soins de programmer leurs bilans d'évolution pour qu'ils coïncident exactement avec la date de sortie prédite par l'algorithme — en concevant le calendrier clinique pour l'adapter au modèle plutôt qu'au patient.

Je me souviens d'avoir décrit cela à un ami qui travaille dans la sécurité aérienne, et il est devenu blême. « C'est comme dire aux pilotes d'atterrir en fonction du plan de vol, quelles que soient les conditions météorologiques », a-t-il dit. « Vous ne voleriez plus jamais. »

Quand des cliniciens sont sanctionnés pour avoir passé outre un algorithme défaillant, vous n'avez pas d'« humain dans la boucle ». Vous avez un tampon encreur à forme humaine.

C'est ce que j'appelle la coercition algorithmique, et c'est le mode de défaillance qui me terrifie le plus — non pas parce que l'IA est autonome, mais parce qu'elle crée un environnement où les humains sont punis pour avoir exercé le jugement qui manque à l'IA.

Que s'est-il passé au tribunal le 13 février 2025 ?

Le recours collectif — Estate of Gene B. Lokken v. UnitedHealth Group — a atteint un tournant lorsque le juge fédéral John Tunheim a statué que l'affaire pouvait se poursuivre. Cela a une importance énorme, et pas seulement pour UnitedHealth.

Le tribunal a constaté que les propres documents de politique interne d'UHC promettaient que les décisions de couverture seraient prises par du « personnel de services cliniques » et des « médecins ». En remplaçant ces humains par un algorithme qui dictait de fait les résultats, UnitedHealth a potentiellement rompu son contrat avec chaque assuré.

Encore plus significatif : le juge a levé l'obligation pour les patients d'épuiser les recours administratifs avant d'intenter une action en justice. Normalement, les bénéficiaires de Medicare doivent franchir plusieurs niveaux d'examen bureaucratique avant de pouvoir saisir un tribunal. Mais Tunheim a considéré le taux d'erreur de 90 %, considéré le taux de recours de 0,2 %, et a essentiellement dit : nous n'allons pas forcer des personnes mourantes à participer à un système truqué contre elles.

Cette décision devrait être une lecture obligatoire pour tout dirigeant déployant de l'IA dans un secteur réglementé. Le système judiciaire n'est plus disposé à traiter le dysfonctionnement algorithmique comme un problème de procédure que les patients doivent résoudre par eux-mêmes.

Pourquoi l'« IA-wrapper » est une bombe à retardement dans le secteur de la santé

C'est ici que je dois être franc au sujet de mon propre secteur, car l'histoire de UnitedHealth n'est pas un incident isolé. C'est le symptôme le plus visible d'un problème structurel.

Au cours des trois dernières années, le marché de l'IA d'entreprise a été inondé de ce que j'appelle des solutions wrapper — des entreprises qui prennent un grand modèle de langage existant, l'enveloppent dans une interface personnalisée, le peaufinent peut-être sur des données propres à un domaine, et le vendent comme un produit d'IA pour la santé. Ou un produit d'IA pour l'assurance. Ou un produit d'IA pour la conformité.

Ces wrappers partagent toutes les vulnérabilités qui rendaient nH Predict dangereux :

Ce sont des boîtes noires. Vous ne pouvez pas auditer le raisonnement derrière une décision individuelle, ce qui signifie que vous ne pouvez pas détecter un biais systématique tant qu'il n'a pas déjà nui à des milliers de personnes.

Ils héritent des biais de leurs modèles fondamentaux. Si les données d'entraînement reflètent des schémas historiques de discrimination — et dans le domaine de la santé, c'est toujours le cas — le wrapper reproduit fidèlement ces schémas.

Ils n'ont aucune compréhension causale. Ils font des prédictions fondées sur la corrélation statistique, ce qui signifie qu'ils optimisent pour « ce qui se produit habituellement » plutôt que pour « ce qui devrait se produire pour ce patient ».

Et surtout, ils ne sont pas défendables. N'importe quel concurrent peut construire le même wrapper sur le même modèle fondamental. Il n'y a aucune intelligence propriétaire, aucune vision unique — juste une fine couche d'automatisation par-dessus le moteur de quelqu'un d'autre.

L'économie du wrapper dans l'IA de santé se construit sur du sable. Quand la marée réglementaire montera — et elle arrive vite — les entreprises dépourvues de systèmes profonds, explicables et ancrés dans la causalité seront emportées.

Je ne dis pas cela parce que Veriprajna est en concurrence avec les entreprises de wrappers (bien que ce soit le cas). Je le dis parce que j'ai vu ce qui se passe quand ces systèmes échouent en production, et l'écart entre « prêt pour la démo » et « sûr sur le plan clinique » est un gouffre que les wrappers ne peuvent pas franchir.

Comment la FDA veut-elle que l'IA prouve sa fiabilité ?

En janvier 2025, la FDA a publié un projet de directives établissant un cadre d'évaluation de la crédibilité en 7 étapes pour les modèles d'IA utilisés dans la prise de décision médicale et réglementaire. J'ai passé des semaines avec ce document, et c'est le texte de réglementation de l'IA le plus lourd de conséquences que j'aie vu.

Le cadre exige que chaque déploiement d'IA définisse clairement la question exacte à laquelle il répond, précise son rôle dans le flux de travail clinique, évalue ce qui se passe s'il se trompe, puis prouve — au moyen de tests rigoureux — qu'il est adapté à cet objectif précis.

nH Predict aurait échoué à chaque étape. Il n'avait aucune définition claire de son rôle clinique. Son évaluation des risques ignorait les conséquences potentiellement mortelles d'un refus de soins. Sa « validation » optimisait la maîtrise des coûts, et non les résultats pour les patients.

Parallèlement, l'EU AI Act a classé l'IA de santé comme « à haut risque » en 2025, exigeant des déclarations de transparence obligatoires et une supervision humaine. Les sanctions en cas de non-conformité vont jusqu'à 7 % du chiffre d'affaires mondial. Pour une entreprise de la taille de UnitedHealth, ce n'est pas une amende — c'est une menace existentielle.

L'Organisation mondiale de la santé est allée plus loin, ciblant spécifiquement ce qu'elle appelle le biais d'automatisation — la tendance des cliniciens à s'en remettre à un algorithme même lorsqu'il contredit leur propre jugement clinique. C'est exactement ce qui s'est passé chez NaviHealth. Les directives 2024 de l'OMS avertissent qu'une dépendance excessive à l'IA peut conduire à une « dégradation des compétences » chez les médecins qui cessent d'exercer un examen critique.

Pour la ventilation technique complète de ces cadres réglementaires et de la manière dont ils s'appliquent au déploiement de l'IA d'entreprise, consultez notre document de recherche.

La nuit où j'ai compris que l'explicabilité n'est pas optionnelle

Il y a un moment dans le parcours de chaque fondateur où un principe abstrait devient viscéral. Pour moi, ce fut une soirée tardive à tester une première version de l'un de nos modèles sur un jeu de données de santé.

Le modèle avait signalé un cas pour refus. J'ai demandé à mon équipe d'exécuter SHAP — SHapley Additive exPlanations, un outil qui montre quelles caractéristiques ont déterminé une prédiction précise. Le facteur principal n'était pas le diagnostic du patient ni sa trajectoire clinique. C'était son code postal.

Mon ingénieur en chef et moi avons fixé l'écran. Nous savions tous les deux à quoi le code postal est corrélé dans les données de santé américaines. Nous ne regardions pas une variable clinique. Nous regardions un indicateur indirect de la race et du revenu déguisé en cinq chiffres.

Nous avons supprimé cette caractéristique ce soir-là. Mais l'expérience a cristallisé quelque chose que j'avais compris intellectuellement mais que je n'avais pas ressenti au fond de moi : si vous ne pouvez pas expliquer pourquoi votre IA a pris une décision, vous ne pouvez pas repérer les décisions qui sont indéfendables.

C'est pourquoi nous construisons avec l'explicabilité comme architecture, et non comme une réflexion après coup. Des outils comme SHAP vous donnent une vue globale de ce qui pilote votre modèle. LIME — Local Interpretable Model-Agnostic Explanations — vous montre le raisonnement derrière chaque décision individuelle. Pour une patiente comme Carol Clemens, LIME aurait rendu visible que l'algorithme ignorait son taux d'oxygène sanguin dangereusement bas au profit des statistiques moyennes de rétablissement pour son code de diagnostic.

Et puis il y a le score de confiance — l'élément que la plupart des solutions wrapper omettent entièrement. Quand un patient présente une affection rare, mal représentée dans les données d'entraînement, le système doit dire, explicitement : « Je n'en sais pas assez pour trancher. Orientez ceci vers un humain. » Pas une suggestion. Un arrêt net.

Pourquoi cela ne peut plus être un « problème informatique »

Les gens me contredisent toujours quand je dis que la gouvernance de l'IA relève du conseil d'administration. « N'est-ce pas le rôle de l'équipe d'ingénierie ? » Non. Absolument pas. Et l'affaire UnitedHealth en est la preuve.

Les ingénieurs de NaviHealth n'ont pas fixé le mandat de variance de 1 %. C'était une décision de direction. Les ingénieurs n'ont pas décidé de sanctionner les cliniciens qui passaient outre l'algorithme. C'était une décision de politique interne. Les ingénieurs n'ont pas choisi de déployer un modèle fondé sur la corrélation pour des décisions de couverture à vie ou à mort sans validation causale. C'était une décision stratégique.

D'ici 2025, 72 % des entreprises du S&P 500 ont divulgué des risques significatifs liés à l'IA dans leurs dépôts auprès de la SEC. Le risque réputationnel est désormais la préoccupation la plus citée. Une seule défaillance algorithmique peut déclencher simultanément des litiges, des mesures réglementaires et l'indignation publique — et le conseil d'administration qui dit « nous ne savions pas » découvrira que l'ignorance n'est pas une défense.

Chez Veriprajna, nous poussons chaque client à établir des comités de gouvernance de l'IA interfonctionnels comprenant des responsables cliniques, des conseillers juridiques et des représentants de la sécurité des patients — et pas seulement des ingénieurs et des chefs de produit. Ces comités ont besoin de l'autorité nécessaire pour tenir un registre central de chaque modèle d'IA de la pile de l'organisation, imposer des options de retour arrière lorsque les performances se dégradent, et — c'est la partie qui met les dirigeants mal à l'aise — supprimer un modèle rentable lorsqu'il cause du tort.

La gouvernance de l'IA n'est pas un centre de coûts. C'est la différence entre une entreprise qui déploie l'IA de manière responsable et une entreprise qui devient le prochain cas d'école dans une enquête du Sénat.

L'argument que je ne cesse d'avoir

Il y a une conversation que j'ai à presque chaque conférence, et elle se déroule ainsi :

« Ashutosh, tu compliques trop les choses. On peut peaufiner GPT-4 sur nos données cliniques et livrer quelque chose en six semaines. Ton approche prend des mois. »

Je ne suis pas en désaccord sur le calendrier. Je suis en désaccord sur la définition de « terminé ».

Vous pouvez absolument livrer un wrapper en six semaines. Vous pouvez en faire une démonstration magnifique. Il générera des synthèses cliniques qui sonnent plausibles et rendra vos investisseurs heureux. Et puis, six mois plus tard, quand un patient mourra parce que votre modèle aura recommandé avec assurance la mauvaise conduite à tenir et que personne ne pourra expliquer pourquoi, vous découvrirez que les six semaines que vous avez économisées vous ont coûté tout le reste.

La crise UnitedHealth n'a pas été causée par de mauvais ingénieurs ni par une intention malveillante. Elle a été causée par une organisation qui traitait l'IA comme un problème d'optimisation du débit — réduisant le temps d'examen de six à dix minutes par cas — au lieu d'un problème de jugement clinique. Ils mesuraient le succès en vitesse de traitement et en taux de refus, et non en résultats pour les patients.

Le passage des wrappers prédictifs à ce que j'appelle l'IA profonde ne consiste pas à utiliser des modèles plus sophistiqués. Il s'agit de poser une question fondamentalement différente. Non pas « comment automatiser cette décision ? » mais « comment rendre cette décision meilleure, plus transparente et plus responsable qu'un humain seul ne pourrait le faire ? »

Où nous allons à partir d'ici

Je veux terminer par quelque chose qui me préoccupe depuis que j'ai commencé à écrire ceci.

L'histoire de nH Predict est choquante, mais elle ne devrait pas être surprenante. Nous avons passé des années à construire un écosystème d'IA qui récompense la vitesse au détriment de la sécurité, la corrélation au détriment de la causalité, et l'automatisation au détriment de l'augmentation. Les structures d'incitation — les calendriers du capital-risque, les cycles d'achat des entreprises, la pression incessante pour livrer — poussent toutes vers l'approche wrapper. Construire vite, vendre vite, se soucier de la gouvernance plus tard.

Il n'y a pas de « plus tard ». La décision de février 2025 l'a clairement montré. Le cadre de crédibilité de la FDA l'a clairement montré. La sanction de 7 % de l'EU AI Act l'a clairement montré. Et la facture médicale de 16 768 $ de Carol Clemens l'a clairement montré dans les termes les plus humains possibles.

La voie à suivre n'est pas moins d'IA. C'est une IA qui mérite l'autorité que nous lui accordons — grâce à une validation causale qui comprend pourquoi, grâce à une architecture explicable qui montre son travail, grâce à des structures de gouvernance qui donnent aux humains le pouvoir de passer outre la machine sans crainte de sanction, et grâce à l'humilité institutionnelle élémentaire d'admettre quand le modèle n'en sait pas assez pour trancher.

La question n'a jamais été « l'IA peut-elle prendre des décisions de santé ? » Elle a toujours été « devrions-nous laisser l'IA prendre des décisions de santé qu'elle ne peut pas expliquer, qu'elle ne peut pas justifier, et qu'elle se trompe 90 % du temps ? » La réponse, enfin, est non.

Nous avons créé Veriprajna parce que nous croyions que cette réponse allait venir. J'aurais simplement souhaité qu'il n'ait pas fallu des patients mourants pour nous donner raison.