L'oxymètre de pouls au doigt de ma fille mentait — et l'IA de votre hôpital aussi

Ma fille a fait une fièvre de 103 le printemps dernier. Nous étions aux urgences, et l'infirmière a fixé un oxymètre de pouls à son petit doigt brun. L'écran affichait 97 % de saturation en oxygène. Normal. L'infirmière a souri. Pas moi.

Je savais — parce que j'avais passé des mois plongé dans la littérature clinique pour un projet chez Veriprajna — que l'appareil sur son doigt surestimait presque certainement son oxygène sanguin. Pas d'une quantité négligeable. Suffisamment pour que cela compte. Des recherches publiées dans le New England Journal of Medicine et le British Medical Journal ont montré que les patients noirs sont près de trois fois plus susceptibles de connaître ce que les cliniciens appellent une « hypoxémie occulte » — une situation où l'appareil indique que vous allez bien alors que vos niveaux d'oxygène réels sont dangereusement bas. Une étude Vanderbilt de 2024 a révélé que des oxymètres de pouls courants ne détectaient pas un faible taux d'oxygène chez 7 % des enfants aux teintes de peau les plus foncées. Ils n'ont manqué aucun cas chez les enfants aux teintes les plus claires.

J'ai regardé ce petit chiffre lumineux sur l'écran et j'ai pensé : c'est là que tout commence. Pas avec un algorithme malveillant. Pas avec un jeu de données biaisé. Avec un composant matériel à 30 $ qui a été calibré sur une peau blanche et qui ment à tous les autres depuis trente ans.

Cette nuit-là a changé ma façon de penser tout ce que nous construisons chez Veriprajna. C'est la raison pour laquelle j'ai écrit notre étude sur l'équité algorithmique dans l'IA clinique, et c'est la raison pour laquelle j'écris ceci maintenant.

Pourquoi votre oxymètre de pouls fonctionne-t-il différemment sur une peau foncée ?

La physique est presque insultante de simplicité. Un oxymètre de pouls fait passer une lumière rouge et infrarouge à travers votre doigt et mesure la quantité absorbée. L'hémoglobine oxygénée et l'hémoglobine désoxygénée absorbent la lumière selon des ratios différents, et l'appareil utilise ce ratio pour estimer votre niveau d'oxygène sanguin.

Voici le problème : la mélanine absorbe elle aussi la lumière sur ces mêmes longueurs d'onde. Si vous calibrez l'appareil principalement sur des personnes à la peau plus claire — ce que les fabricants ont fait, et jusqu'à récemment la FDA n'exigeait des tests que sur dix sujets au total — alors l'absorption supplémentaire due à la mélanine dans une peau plus foncée est mal interprétée. L'appareil l'interprète comme davantage d'hémoglobine oxygénée qu'il n'en existe réellement. Votre chiffre paraît plus élevé que la réalité.

Ce n'est pas une conclusion académique subtile. Le taux de faux négatifs pour la détection d'un faible taux d'oxygène varie de 1,2 % à 26,9 % pour les teintes de peau plus claires. Pour les teintes de peau plus foncées, il grimpe à 7,6 % à 62,2 %. Ce n'est pas une erreur d'arrondi. C'est une réalité médicale différente.

Quand l'appareil sur votre doigt indique 97 % et que votre oxygène artériel réel est de 88 %, vous ne recevez pas d'oxygène supplémentaire. Vous ne bénéficiez pas d'une prise en charge renforcée. On vous renvoie chez vous.

Je me souviens d'être assis en réunion d'équipe après avoir compilé ces données, et l'un de nos ingénieurs — un type brillant, quelqu'un en qui j'ai entièrement confiance — a dit : « Mais les modèles d'IA en aval corrigent sûrement cela, non ? » Et j'ai réalisé que c'était exactement l'hypothèse qui tuait des gens. L'IA ne corrige pas cela. L'IA amplifie cela.

La cascade dont personne ne parle

Voici ce qui se passe dans un hôpital moderne. Un patient arrive. Les signes vitaux sont enregistrés — y compris cette lecture d'oxymètre de pouls. Ces signes vitaux alimentent le dossier médical électronique. Et de plus en plus, un système d'IA surveille ce flux de données, à la recherche de schémas suggérant une détérioration : septicémie, insuffisance respiratoire, événements cardiaques.

Si le seuil de l'IA pour une alerte « haute priorité » est une SpO₂ inférieure à 92 %, et que l'oxymètre d'un patient noir affiche 93 % alors que son oxygène artériel réel est de 88 %, l'alerte ne se déclenche jamais. Le patient n'est pas signalé. Le clinicien, qui gère quinze autres patients et a appris à faire confiance au système, n'intervient pas.

Ce n'est pas hypothétique. C'est l'architecture de centaines d'hôpitaux en ce moment même.

J'ai passé une longue soirée à réfléchir aux implications de tout cela avec mon cofondateur. Nous revenions sans cesse au même constat inconfortable : le biais n'est pas dans l'algorithme. Il est dans l'entrée. Et si vous construisez le modèle d'IA le plus sophistiqué, le plus soucieux d'équité et le plus parfaitement calibré au monde, et que vous l'alimentez avec les données d'un thermomètre raciste, vous obtenez une IA raciste dotée d'excellentes références.

Que se passe-t-il lorsque l'IA de détection de la septicémie la plus utilisée manque 67 % des cas ?

Si l'histoire de l'oxymètre de pouls parle d'un biais matériel qui se propage dans le logiciel, l'histoire de l'Epic Sepsis Model parle de ce qui se passe lorsque le logiciel lui-même n'a jamais été conçu pour fonctionner pour tout le monde.

L'Epic Sepsis Model, ou ESM, est intégré aux systèmes de DME de centaines d'hôpitaux américains. Il a été présenté comme une avancée majeure — une IA capable d'identifier la septicémie avant que les cliniciens ne la reconnaissent, sauvant des vies grâce à une intervention précoce. Le développeur a rapporté une aire sous la courbe (une mesure de performance standard) de 0,76 à 0,83. Des chiffres respectables.

Puis des chercheurs de Michigan Medicine ont mené une validation externe indépendante. L'AUC est tombée à 0,63. La sensibilité — la capacité du modèle à réellement détecter les cas de septicémie — était de 33 %. Il manquait deux cas sur trois. La valeur prédictive positive était de 12 %, ce qui signifie que 88 % de ses alertes étaient de fausses alertes. Et il ne signalait les patients avant les cliniciens que dans 6 % des cas.

Je veux m'attarder un instant là-dessus. Un système déployé dans des centaines d'hôpitaux, intégré au flux de travail dont les médecins dépendent chaque jour, se trompait près de neuf fois sur dix lorsqu'il déclenchait une alarme, et il manquait les vrais cas deux fois sur trois.

Un modèle de septicémie avec 33 % de sensibilité n'est pas un filet de sécurité. C'est un faux sentiment de sécurité assorti d'un abonnement à l'échelle de l'hôpital.

Mais les chiffres de performance, aussi mauvais soient-ils, ne sont pas le pire. Le pire, c'est qui elle laisse tomber.

Pourquoi l'IA de détection de la septicémie fait-elle défaut aux patients noirs en particulier ?

Les patients noirs et hispaniques présentent une incidence de septicémie près de deux fois supérieure à celle des patients blancs, et ils se présentent souvent à un âge plus jeune. On pourrait penser que cela en ferait la population prioritaire pour un système de détection par IA. Au lieu de cela, des études ont révélé que des modèles comme l'ESM présentent un mauvais calibrage au sein de ces groupes.

La raison en est ce qu'on appelle le biais d'étiquetage, et une fois que vous l'avez compris, vous ne pouvez plus l'ignorer.

La plupart des modèles de septicémie sont entraînés sur des définitions cliniques ou des codes de facturation. Ces codes sont générés par des cliniciens humains prenant des décisions humaines. Si les médecins sont historiquement plus lents à prescrire des hémocultures pour les patients noirs — que ce soit à cause de biais implicites, de barrières de communication ou de facteurs systémiques — alors les données d'entraînement reflètent ce retard. L'IA apprend que la « septicémie » ressemble aux signatures de données des patients blancs, parce que ce sont ces patients qui ont été diagnostiqués rapidement. Elle devient, de fait, aveugle à la présentation de la septicémie chez les patients noirs.

Et alors la boucle de rétroaction mortelle se referme : l'IA manque le patient parce que les données historiques étaient biaisées. Le clinicien manque le patient parce qu'il a fait confiance à une IA qui n'a pas déclenché d'alerte.

J'ai eu une discussion animée avec un investisseur potentiel à ce sujet. Il a dit : « Ne pouvez-vous pas simplement réentraîner le modèle sur de meilleures données ? » Comme si de « meilleures données » se trouvaient dans un entrepôt quelque part, attendant d'être branchées. Les données sont l'histoire. L'histoire est le biais. Vous ne pouvez pas corriger un jeu de données biaisé en y ajoutant davantage des mêmes données biaisées. Vous devez changer l'architecture.

50,3 décès pour 100 000 : le chiffre qui devrait hanter l'IA de santé

Tout ce que j'ai décrit jusqu'ici — les mensonges de l'oxymètre, les défaillances du modèle de septicémie, le biais d'étiquetage — converge de la manière la plus dévastatrice dans la santé maternelle.

Les CDC rapportent que les femmes noires font face à un taux de mortalité lié à la grossesse de 50,3 pour 100 000 naissances vivantes. Les femmes blanches : 14,5. Ce n'est pas un écart. C'est un gouffre — 3,5 fois plus élevé. Et il persiste même lorsqu'on tient compte du niveau d'éducation et du revenu. Une femme noire titulaire d'un diplôme universitaire a plus de risques de mourir en couches qu'une femme blanche sans diplôme d'études secondaires.

Le Maternal Data Center de Californie, l'un des environnements de santé maternelle les plus riches en données du pays, a constaté que les systèmes d'alerte précoce automatisés manquaient 40 % des cas de morbidité sévère chez les patientes noires. Quarante pour cent. Il s'agit de complications potentiellement mortelles — hémorragie, prééclampsie, septicémie — qui surviennent 100 fois plus fréquemment que le décès maternel. L'IA était censée les détecter. Elle ne l'a pas fait.

Une partie de l'explication tient à ce que les chercheurs appellent l'effet de « weathering » (usure) — le péage physiologique du stress chronique causé par le racisme systémique. Les femmes noires présentent souvent des tensions artérielles de base plus élevées et des réponses cardiovasculaires altérées. Une IA entraînée sur des moyennes de population peut les interpréter comme « normales pour ce patient » plutôt que de les reconnaître comme des signes d'alerte dans un corps soumis à une contrainte chronique.

Lorsqu'un système d'alerte précoce par IA manque 40 % des complications sévères chez les mères noires, ce n'est pas un problème technique. C'est un système qui fonctionne exactement comme ses données d'entraînement le lui ont appris — c'est-à-dire de manière inéquitable.

Et voici le chiffre qui devrait retenir l'attention de chaque dirigeant de la santé : McKinsey estime que combler l'écart de santé maternelle des femmes noires pourrait ajouter 24,4 milliards de dollars au PIB des États-Unis et économiser 385 millions de dollars de coûts de santé évitables par an. Ce n'est pas seulement une crise morale. C'est aussi une crise économique.

Les femmes noires ont 1,79 fois plus de risques de mourir une fois qu'une complication sévère est survenue, comparativement aux femmes blanches. Il ne s'agit pas d'incidence — il s'agit d'« échec du sauvetage ». La complication survient, la fenêtre d'intervention s'ouvre, et le système ne parvient pas à agir à temps. Quand l'IA n'alerte pas, et que le clinicien gère une douzaine d'autres patients, cette fenêtre se referme.

Pourquoi ChatGPT ne peut-il pas régler ce problème ?

On me pose constamment cette question. Une version de : « Pourquoi ne pas simplement utiliser GPT-4 avec des instructions médicales ? Il connaît beaucoup de choses sur la médecine. »

Il connaît effectivement beaucoup de choses sur la médecine, de la même manière que quelqu'un qui a lu tous les manuels mais n'a jamais touché un patient connaît beaucoup de choses sur la médecine. Un LLM est un moteur statistique entraîné sur des probabilités de langage. Il ne comprend pas la physiopathologie. Il ne traite pas les données de forme d'onde en temps réel d'un moniteur de chevet. Il ne peut pas vous dire si une lecture SpO₂ donnée est fiable compte tenu de la teinte de peau du patient et du modèle d'appareil spécifique utilisé.

Des études ont révélé que les LLM n'atteignaient que 16,7 % de précision dans les ajustements de dose pour insuffisance rénale lorsque les variables spécifiques au patient étaient complexes. Ils hallucinent — générant avec assurance des informations cliniques qui semblent faire autorité et sont entièrement fabriquées. Ils ne peuvent pas fournir la chaîne de raisonnement transparente dont un clinicien a besoin pour vérifier une recommandation, ce qui constitue de plus en plus une exigence réglementaire au titre du RGPD et de la réglementation sanitaire américaine en évolution.

Le marché de l'IA de santé est inondé de ce que j'appelle des applications « wrapper » — de fines interfaces posées sur des API publiques généralistes. Elles conviennent pour rédiger des comptes rendus de sortie ou résumer des notes de dossier. Elles sont fondamentalement inadaptées pour décider si une femme noire de 32 ans présentant des signes vitaux limites nécessite une intervention immédiate ou peut attendre.

La distinction compte. Un wrapper prend un modèle de langage généraliste et le pointe vers une question médicale. Un système d'IA profonde — ce que nous construisons chez Veriprajna — intègre des signaux physiologiques en temps réel, des jeux de données étiquetés par des experts et des contraintes mathématiques soucieuses d'équité dans l'architecture du modèle, dès la base.

L'une de ces approches peut rédiger un paragraphe convaincant sur la septicémie. L'autre peut réellement la détecter de manière équitable.

Comment construit-on concrètement une IA clinique qui ne discrimine pas ?

C'est ici que je dois devenir un peu technique, car la solution n'est pas philosophique — elle est mathématique. Et ce sont les mathématiques qui séparent l'IA profonde du vaporware bien intentionné.

L'optimisation classique de l'apprentissage automatique minimise l'erreur moyenne sur l'ensemble du jeu de données. Cela semble raisonnable jusqu'à ce que vous réalisiez que la « moyenne » favorise naturellement le groupe majoritaire. Si 70 % de vos données d'entraînement proviennent de patients blancs, le modèle s'optimisera pour les patients blancs. Les taux d'erreur pour tous les autres ne sont que... des pertes acceptables dans la moyenne.

Nous n'acceptons pas cela. Chez Veriprajna, nous mettons en œuvre ce qu'on appelle l'optimisation de la perte du pire groupe. Au lieu de minimiser l'erreur moyenne, nous minimisons l'erreur maximale sur tous les sous-groupes démographiques. Mathématiquement, nous résolvons : minimiser la perte dans le pire des cas simultanément pour les populations noire, blanche, hispanique et autres. Des recherches sur la détection automatisée de la dépression ont montré que, bien que cette approche puisse légèrement réduire la précision globale, elle améliore significativement les résultats pour les groupes sous-représentés qui sont autrement systématiquement mal classés.

Nous appliquons également l'égalité des chances (equalized odds) — en exigeant que le taux de vrais positifs et le taux de faux positifs soient tous deux égaux entre les groupes démographiques. Si un modèle de septicémie a 80 % de sensibilité pour les patients blancs mais seulement 40 % pour les patients noirs, il fournit un niveau de soins différent en fonction de la race. Point final. Ce n'est pas un problème de performance de modèle. C'est une question de droits civiques.

Pour le cadre mathématique complet — y compris les fonctions de perte soucieuses d'équité, le débiaisage adversarial et notre approche de la fusion de signaux multimodaux — j'ai exposé les détails techniques dans notre article de recherche.

Mais les mathématiques ne sont qu'une couche. Voici à quoi ressemble l'architecture complète en pratique :

Vous devez corriger les entrées. Nous ne traitons pas une lecture d'oxymètre de pouls comme une vérité absolue. Nos modèles fusionnent l'oxymétrie avec la variabilité de la fréquence cardiaque, la fréquence respiratoire et les tendances du lactate. Si la fréquence cardiaque et le lactate d'un patient grimpent alors que la SpO₂ reste étrangement stable, le système signale une divergence de signal et invite le clinicien à prescrire une gazométrie artérielle — la référence absolue. Nous triangulons l'état réel du patient plutôt que de faire confiance à un unique capteur biaisé.

Vous devez corriger les étiquettes. Nous utilisons une vérité terrain arbitrée par des experts plutôt que des codes de facturation. Lorsque trois experts en septicémie examinent indépendamment un cas et s'accordent sur la chronologie du diagnostic, c'est un signal d'entraînement fondamentalement différent d'un code de facturation généré six heures après que le patient était déjà en soins intensifs.

Vous devez valider localement. Chaque déploiement commence par un audit rétrospectif des propres données de l'établissement. Nous mesurons ce qu'on appelle l'indice de stabilité de la population (Population Stability Index) pour quantifier à quel point la population de patients locale diffère de notre cohorte d'entraînement. Si l'écart est trop grand, nous recalibrons avant la mise en service. La chute catastrophique de performance de l'Epic Sepsis Model — de 0,83 d'AUC en interne à 0,63 en externe — est ce qui arrive lorsqu'on saute cette étape.

« Mais cela ne va-t-il pas ralentir l'adoption de l'IA ? »

Les gens me posent cette question, et je comprends l'impulsion qui la sous-tend. Il y a une réelle urgence à intégrer l'IA dans les flux de travail cliniques. Des gens meurent pendant que nous débattons des mesures d'équité.

Mais voici ce que j'ai appris : déployer rapidement un système d'IA biaisé ne sauve pas davantage de vies. Cela sauve certaines vies — de manière disproportionnée blanches, de manière disproportionnée aisées — tout en créant un faux sentiment de sécurité qui nuit activement à tous les autres. L'Epic Sepsis Model a été déployé rapidement. Il a été déployé largement. Et il a manqué les deux tiers des cas de septicémie tout en générant de fausses alertes 88 % du temps. La vitesse sans équité n'est pas un progrès. C'est de la négligence à grande échelle.

L'autre objection que j'entends : « Les contraintes d'équité réduisent la précision. » C'est techniquement vrai au sens le plus étroit — optimiser pour la performance du pire groupe peut légèrement abaisser la mesure agrégée. Mais la « précision agrégée » est le même tour de passe-passe statistique qui a laissé la crise de l'oxymètre de pouls perdurer pendant trente ans. Quand vos 95 % de précision signifient 95 % pour les patients blancs et 62 % pour les patients noirs, le chiffre agrégé est un mensonge.

Optimiser pour la précision moyenne dans l'IA de santé, c'est comme rapporter la température moyenne dans un hôpital — cela ne vous dit rien sur le patient qui est en train de brûler.

Ce à quoi je pense à 2 h du matin

Je pense au fait qu'une femme noire sur trois déclare avoir été maltraitée pendant les soins de maternité. Je pense aux 40 % de cas de morbidité sévère que les systèmes d'IA de Californie ont manqués chez les patientes noires. Je pense au doigt de ma fille dans ce clip d'oxymètre de pouls, au sourire de l'infirmière, et au chiffre sur l'écran dont je savais qu'il était probablement faux.

Et je pense au fait que nous disposons des outils mathématiques pour corriger cela. Les fonctions de perte soucieuses d'équité existent. La fusion de signaux multimodaux existe. Les cadres de validation locale existent. L'optimisation du pire groupe existe. Rien de tout cela n'est théorique. Nous l'avons construit. D'autres équipes le construisent. Le savoir est là.

Ce qui manque, c'est la volonté. Trop de systèmes de santé achètent des solutions wrapper parce qu'elles sont bon marché et rapides. Trop de fournisseurs d'IA rapportent une précision agrégée parce que les ventilations par sous-groupe seraient embarrassantes. Trop de régulateurs testent des appareils sur dix sujets et jugent cela suffisant.

La voie à suivre n'est pas compliquée. Exigez des mesures de performance par sous-groupe de chaque fournisseur d'IA — sensibilité, spécificité et valeur prédictive positive ventilées par race, âge et sexe. Rejetez les allégations de « 99 % de précision » qui ne vous montrent pas le dénominateur. Exigez une validation externe indépendante, pas des livres blancs de fournisseurs. Et cessez de traiter l'équité comme une demande de fonctionnalité. C'est une exigence de conception.

Les mères noires meurent à un taux 3,5 fois supérieur à celui des mères blanches. Les systèmes d'IA construits sur du matériel biaisé et des étiquettes biaisées aggravent la situation. Et chaque jour où nous déployons une nouvelle solution wrapper sans nous demander pour qui elle fonctionne et pour qui elle ne fonctionne pas, nous choisissons la commodité au détriment des vies.

Je n'ai pas fondé Veriprajna pour construire un énième chatbot doté d'un vocabulaire médical. Je l'ai fondée parce que je crois que l'IA profonde — celle qui interroge ses propres entrées, applique l'équité de manière mathématique et valide localement avant de toucher un seul patient — est la seule technologie qui mérite d'être dans la pièce lorsque la vie de quelqu'un est en jeu.

La question n'est pas de savoir si l'IA a sa place dans la santé. Elle l'a. La question est de savoir si nous avons l'intégrité de la construire correctement.