Faut-il faire confiance à l'IA pour approuver vos demandes de remboursement de santé ?

Le problème

L'algorithme d'IA du groupe UnitedHealth a refusé des soins à des patients âgés — et il se trompait 90 % du temps. Neuf refus sur dix ont été annulés lorsqu'un juge humain les a réellement examinés. Mais UnitedHealth savait quelque chose de dévastateur : seulement 0,2 % des patients avaient les ressources nécessaires pour riposter.

L'algorithme au cœur de cette crise s'appelle nH Predict. La division Optum de UnitedHealth l'a acquis en 2020 pour plus d'un milliard de dollars. Il était censé prédire la durée des soins post-aigus dont les patients Medicare avaient besoin, comme les séjours en établissements de soins infirmiers qualifiés. À la place, il est devenu une machine à réduire les coûts qui ignorait si les patients avaient réellement besoin d'aide.

Prenez le cas de Carol Clemens. Après avoir survécu à une méthémoglobinémie — un trouble sanguin potentiellement mortel — elle avait besoin de soins infirmiers intensifs en établissement qualifié. Les preuves cliniques appuyaient son besoin continu de réadaptation. Mais les projections de nH Predict ont mis fin à sa couverture malgré tout. Sa famille a payé plus de 16 768 $ de sa poche pour empêcher sa sortie prématurée. UnitedHealth, allègue la plainte, « comptait » sur le fait que des patientes comme Clemens étaient trop malades, trop âgées ou trop pauvres pour faire appel.

En février 2025, un juge fédéral a statué que l'action collective pouvait aller de l'avant. L'ère où l'on se cachait derrière des décisions d'IA boîte noire touche à sa fin. Si votre organisation utilise l'IA pour prendre des décisions qui affectent la vie ou les moyens de subsistance des gens, cette affaire est votre coup de semonce.

Pourquoi cela compte pour votre entreprise

Cela ne concerne pas seulement le secteur de la santé. C'est une histoire de gouvernance d'entreprise, et l'exposition financière est stupéfiante.

UnitedHealth Group génère environ 300 milliards de dollars de chiffre d'affaires annuel. L'entreprise fait aujourd'hui face à une action collective fédérale qui pourrait redéfinir la manière dont chaque entreprise réglementée déploie l'IA. Voici ce que les chiffres vous révèlent sur votre propre risque :

• Les taux de refus ont bondi de plus de 100 %. Les refus de soins post-aigus sont passés d'environ 10 % à 22,7 % après le déploiement de l'IA. Les refus en établissement de soins infirmiers qualifiés ont augmenté de 800 %. Votre conseil d'administration devrait se demander : vos systèmes d'IA produisent-ils des résultats statistiquement anormaux que les régulateurs peuvent signaler ?

• 72 % des entreprises du S&P 500 divulguent désormais des risques matériels liés à l'IA dans leurs dépôts annuels auprès de la SEC. L'atteinte à la réputation est la préoccupation la plus citée. Un seul échec d'IA devenu viral peut déclencher des litiges coûtant plusieurs fois ce que l'IA était censée économiser.

• Les sanctions de l'AI Act européen atteignent jusqu'à 7 % du chiffre d'affaires mondial. Les systèmes d'IA de santé sont classés « à haut risque » en vertu de ce texte, ce qui impose des évaluations de conformité obligatoires, des divulgations de transparence et une supervision humaine. Si vous faites des affaires en Europe, la non-conformité est une menace financière relevant du conseil d'administration.

• Le projet de recommandations de la FDA de janvier 2025 instaure désormais un cadre de crédibilité obligatoire en 7 étapes pour les modèles d'IA utilisés dans les décisions médicales et réglementaires. Les régulateurs ne se contentent plus de suggérer des bonnes pratiques. Ils écrivent des règles.

Le bilan pour votre compte de résultat : le coût d'une gouvernance correcte de l'IA représente une fraction du coût de la défense contre une action collective, du paiement d'amendes réglementaires ou de la reconstruction de votre marque après un échec public.

Ce qui se passe réellement sous le capot

Voici pourquoi nH Predict a échoué, expliqué sans jargon.

L'algorithme fonctionnait en croisant une base de données de 6 millions de dossiers patients. Il recherchait des schémas : les patients présentant des diagnostics similaires restaient historiquement X jours. Puis il générait une date de sortie « cible » pour chaque nouveau patient.

Imaginez un GPS qui ne connaît que les conditions de circulation moyennes. Il vous dit que le trajet prend 30 minutes. Mais il ne voit pas l'accident plus loin, la route fermée, ni le fait que votre voiture a un pneu crevé. Il insiste simplement pour affirmer que vous devriez déjà être arrivé.

nH Predict avait le même angle mort. Il reposait sur la corrélation — ce qui se produit habituellement — plutôt que sur la causalité — ce qui déterminait réellement l'état de chaque patient. Il ne pouvait pas tenir compte du fait qu'un patient disposait ou non d'un aidant à domicile, faisait face à une instabilité financière ou présentait des complications cliniques spécifiques. Ces facteurs déterminent la nécessité médicale selon les règles de Medicare, mais le modèle les a entièrement ignorés.

Ce mode de défaillance porte un nom : c'est la différence entre demander « que se passe-t-il habituellement » et « pourquoi ce patient a-t-il besoin de plus de temps ». Un modèle piloté par la corrélation — qui repère des schémas sans comprendre les causes — vous dit que les patients atteints d'un certain diagnostic repartent généralement après 14 jours. Un modèle causal demande quels facteurs amènent un patient à avoir besoin de plus de temps, et ce qui se passe lorsque vous supprimez la couverture prématurément.

Le problème s'est aggravé lorsque UnitedHealth a transformé un outil de prédiction défectueux en directive obligatoire. Des cadres internes ont ordonné aux gestionnaires de cas de maintenir la durée des séjours à moins de 3 % des projections de l'algorithme. Puis ils ont resserré cette cible à seulement 1 %. Les cliniciens qui s'écartaient de ces consignes pour répondre aux besoins réels des patients s'exposaient à des mesures disciplinaires ou à un licenciement. Le garde-fou « humain dans la boucle » a été réduit à une validation de pure forme.

Ce qui fonctionne (et ce qui ne fonctionne pas)

Commençons par ce qui ne fonctionne pas, car votre organisation pratique peut-être déjà l'une de ces approches.

Ajouter une couche chatbot sur une IA existante. C'est l'approche « habillage » (wrapper) — poser une interface personnalisée sur un moteur d'IA tiers comme GPT. Ces habillages n'offrent aucune logique propriétaire, héritent de tous les biais de leur modèle sous-jacent et produisent des sorties de boîte noire impossibles à auditer. Dans les industries réglementées, ils constituent des passifs.

Supposer que la revue humaine règle tout. UnitedHealth avait techniquement des humains qui examinaient les décisions de l'IA. Mais lorsque vous punissez les employés qui passent outre l'algorithme, votre « humain dans la boucle » est une fiction. La conception des processus compte davantage que le libellé des politiques.

Traiter la gouvernance de l'IA comme un projet informatique. Si votre gouvernance de l'IA vit entièrement dans le service informatique, vous ignorez les dimensions juridiques, cliniques et financières qui créent la véritable responsabilité. La décision de février 2025 a abouti parce que le juge a estimé que UnitedHealth avait violé sa promesse contractuelle de faire prendre les décisions de couverture par un « personnel de services cliniques » et des « médecins » — et non par des algorithmes.

Voici ce qui fonctionne réellement, en trois étapes :

1. Entrée : modélisation causale plutôt que corrélation. Votre système d'IA devrait reposer sur la modélisation causale et contrefactuelle — une approche où vous cartographiez les véritables relations de cause à effet dans votre domaine, et pas seulement les schémas historiques. Pour la santé, cela signifie modéliser pourquoi un patient a besoin de soins, et pas seulement combien de temps des patients similaires sont restés.

2. Traitement : IA explicable avec scores de confiance. Chaque décision prise par votre IA devrait s'accompagner d'une explication en langage clair des facteurs qui l'ont motivée. Des outils comme SHAP et LIME — des méthodes qui montrent quelles données ont influencé une sortie spécifique — permettent aux auditeurs de voir si les refus sont motivés par des preuves cliniques ou par des variables proxies comme le code postal. Lorsque l'IA rencontre un cas situé hors de ses données d'entraînement, le score de confiance doit signaler l'incertitude et acheminer le cas vers un réviseur humain.

3. Sortie : piste d'audit complète avec commandes d'arrêt d'urgence (kill switch). Chaque sortie de l'IA doit être journalisée, horodatée et traçable. Votre programme de gouvernance et de conformité de l'IA doivent inclure un registre central de l'IA répertoriant chaque modèle de votre pile, une gestion des modifications de modèles avec options de retour arrière, et une autorité claire donnée à un comité interfonctionnel de mettre hors service un modèle dont les performances se dégradent.

Cette piste d'audit est ce qui convaincra votre équipe de conformité d'adopter cette approche. Lorsqu'un régulateur ou l'avocat d'un demandeur demande « montrez-moi comment cette décision a été prise », vous avez soit une logique documentée, soit un procès. Le cadre de crédibilité en 7 étapes de la FDA exige désormais explicitement un « rapport de crédibilité » documentant les stratégies de validation, les métriques et tout écart. Si votre IA ne peut pas produire ce rapport, elle échoue au test réglementaire avant même d'arriver devant un tribunal.

Les organisations qui construisent des solutions d'IA pour la santé et les sciences de la vie ont besoin de systèmes qui expliquent leur raisonnement, signalent leur propre incertitude et maintiennent les humains réellement aux commandes. Le message du tribunal dans l'affaire UnitedHealth était sans ambiguïté : si votre système d'IA est fondamentalement défaillant, les tribunaux n'exigeront pas que les victimes participent à la farce d'un processus de recours truqué.

Vous pouvez lire l'analyse technique complète ou explorer la version interactive pour un examen approfondi des cadres réglementaires et des exigences architecturales.