El pulsioxímetro en el dedo de mi hija mentía — y la IA de tu hospital también

Mi hija tuvo 40 de fiebre la primavera pasada. Estábamos en urgencias y la enfermera le puso un pulsioxímetro en su pequeño dedo moreno. La pantalla marcó una saturación de oxígeno del 97%. Normal. La enfermera sonrió. Yo no.

Yo sabía —porque había pasado meses inmerso en la literatura clínica para un proyecto en Veriprajna— que el dispositivo en su dedo casi con toda seguridad estaba sobreestimando el oxígeno en su sangre. No por una cantidad insignificante. Por lo suficiente como para importar. Una investigación publicada en el New England Journal of Medicine y el British Medical Journal ha demostrado que los pacientes negros tienen casi tres veces más probabilidades de experimentar lo que los médicos llaman "hipoxemia oculta": una condición en la que el dispositivo dice que estás bien mientras tus niveles reales de oxígeno están peligrosamente bajos. Un estudio de Vanderbilt de 2024 encontró que los pulsioxímetros comunes no detectaron el oxígeno bajo en el 7% de los niños con los tonos de piel más oscuros. No fallaron en ningún caso en niños con los tonos más claros.

Miré ese pequeño número brillante en la pantalla y pensé: aquí es donde empieza. No con un algoritmo malicioso. No con un conjunto de datos sesgado. Con una pieza de hardware de 30 dólares que fue calibrada en piel blanca y que ha estado mintiendo sobre todos los demás durante treinta años.

Esa noche cambió mi forma de pensar sobre todo lo que construimos en Veriprajna. Es la razón por la que escribí nuestra investigación sobre equidad algorítmica en la IA clínica, y es la razón por la que escribo esto ahora.

¿Por qué tu pulsioxímetro funciona de forma diferente en la piel oscura?

La física es de una simplicidad casi insultante. Un pulsioxímetro proyecta luz roja e infrarroja a través de tu dedo y mide cuánta se absorbe. La hemoglobina oxigenada y la desoxigenada absorben la luz en proporciones diferentes, y el dispositivo usa esa proporción para estimar tu nivel de oxígeno en sangre.

Aquí está el problema: la melanina también absorbe luz en esas mismas longitudes de onda. Si calibras el dispositivo principalmente en personas de piel más clara —lo que los fabricantes hicieron, y hasta hace poco la FDA solo exigía pruebas en diez sujetos en total—, entonces la absorción adicional de la melanina en la piel más oscura se malinterpreta. El dispositivo la interpreta como más hemoglobina oxigenada de la que realmente existe. Tu número parece más alto que la realidad.

Este no es un hallazgo académico sutil. La tasa de falsos negativos para detectar oxígeno bajo oscila entre el 1,2% y el 26,9% en tonos de piel más claros. En tonos de piel más oscuros, salta al 7,6% al 62,2%. Eso no es un error de redondeo. Es una realidad médica distinta.

Cuando el dispositivo en tu dedo dice 97% y tu oxígeno arterial real es del 88%, no recibes oxígeno suplementario. No recibes una atención escalada. Te mandan a casa.

Recuerdo estar sentado en una reunión de equipo después de haber recopilado estos datos, y uno de nuestros ingenieros —un tipo brillante, alguien en quien confío por completo— dijo: "Pero seguramente los modelos de IA aguas abajo corrigen esto, ¿no?". Y me di cuenta de que esa era exactamente la suposición que estaba matando gente. La IA no lo corrige. La IA lo amplifica.

La cascada de la que nadie habla

Esto es lo que ocurre en un hospital moderno. Llega un paciente. Se registran los signos vitales, incluida esa lectura del pulsioxímetro. Esos signos vitales fluyen hacia la Historia Clínica Electrónica. Y cada vez más, un sistema de IA vigila ese flujo de datos, buscando patrones que sugieran deterioro: sepsis, insuficiencia respiratoria, eventos cardíacos.

Si el umbral de la IA para una alerta de "alta prioridad" es una SpO₂ por debajo del 92%, y el oxímetro de un paciente negro marca 93% cuando su oxígeno arterial real es del 88%, la alerta nunca se dispara. El paciente no es señalado. El médico, que está atendiendo a otros quince pacientes y ha aprendido a confiar en el sistema, no interviene.

Esto no es hipotético. Esta es la arquitectura de cientos de hospitales en este mismo momento.

Pasé una larga velada analizando las implicaciones de esto con mi cofundador. Volvíamos una y otra vez a la misma incómoda constatación: el sesgo no está en el algoritmo. Está en la entrada. Y si construyes el modelo de IA más sofisticado, consciente de la equidad y perfectamente calibrado del mundo, y lo alimentas con datos de un termómetro racista, obtienes una IA racista con excelentes credenciales.

¿Qué pasa cuando la IA de sepsis más usada no detecta el 67% de los casos?

Si la historia del pulsioxímetro trata sobre el sesgo del hardware fluyendo hacia el software, la historia del Epic Sepsis Model trata sobre lo que ocurre cuando el propio software nunca fue construido para funcionar para todos.

El Epic Sepsis Model, o ESM, está integrado en los sistemas de historia clínica electrónica de cientos de hospitales estadounidenses. Se comercializó como un avance revolucionario: una IA que podía identificar la sepsis antes de que los médicos la reconocieran, salvando vidas mediante la intervención temprana. El desarrollador reportó un Área Bajo la Curva (una métrica de rendimiento estándar) de 0,76 a 0,83. Cifras respetables.

Entonces, unos investigadores de Michigan Medicine realizaron una validación externa independiente. El AUC cayó a 0,63. La sensibilidad —la capacidad del modelo para detectar realmente los casos de sepsis— fue del 33%. No detectó dos de cada tres casos. El valor predictivo positivo fue del 12%, lo que significa que el 88% de sus alertas eran falsas alarmas. Y solo señaló a los pacientes antes que los médicos en el 6% de los casos.

Quiero detenerme en esto un momento. Un sistema desplegado en cientos de hospitales, integrado en el flujo de trabajo del que los médicos dependen cada día, se equivocaba casi nueve de cada diez veces cuando lanzaba una alarma, y no detectaba los casos reales dos tercios de las veces.

Un modelo de sepsis con un 33% de sensibilidad no es una red de seguridad. Es una falsa sensación de seguridad con una tarifa de suscripción para todo el hospital.

Pero las cifras de rendimiento, por malas que sean, no son la peor parte. La peor parte es a quién le falla.

¿Por qué la detección de sepsis con IA falla específicamente a los pacientes negros?

Los pacientes negros e hispanos experimentan casi el doble de incidencia de sepsis en comparación con los pacientes blancos, y a menudo se presentan a edades más tempranas. Pensarías que eso los convertiría en la población de máxima prioridad para un sistema de detección con IA. En cambio, los estudios han encontrado que modelos como el ESM presentan una mala calibración en estos grupos.

La razón es algo llamado sesgo de etiqueta, y una vez que lo entiendes, ya no puedes dejar de verlo.

La mayoría de los modelos de sepsis se entrenan con definiciones clínicas o códigos de facturación. Esos códigos los generan médicos humanos que toman decisiones humanas. Si históricamente los médicos son más lentos a la hora de ordenar hemocultivos para los pacientes negros —ya sea por sesgo implícito, barreras de comunicación o factores sistémicos—, entonces los datos de entrenamiento reflejan ese retraso. La IA aprende que la "sepsis" se parece a las firmas de datos de los pacientes blancos, porque esos son los pacientes que fueron diagnosticados con prontitud. Se vuelve, en efecto, ciega a la presentación de la sepsis en pacientes negros.

Y entonces se cierra el bucle de retroalimentación letal: la IA no detecta al paciente porque los datos históricos estaban sesgados. El médico no detecta al paciente porque confió en una IA que no disparó una alerta.

Tuve una discusión sobre esto con un posible inversor. Dijo: "¿No puedes simplemente reentrenar el modelo con mejores datos?". Como si los "mejores datos" estuvieran en un almacén en alguna parte, esperando a ser conectados. Los datos son la historia. La historia es el sesgo. No puedes arreglar un conjunto de datos sesgado añadiendo más de los mismos datos sesgados. Tienes que cambiar la arquitectura.

50,3 muertes por cada 100.000: la cifra que debería obsesionar a la IA sanitaria

Todo lo que he descrito hasta ahora —las mentiras del oxímetro, los fallos del modelo de sepsis, el sesgo de etiqueta— converge de la forma más devastadora en la salud materna.

Los CDC informan de que las mujeres negras enfrentan una tasa de mortalidad relacionada con el embarazo de 50,3 por cada 100.000 nacidos vivos. Mujeres blancas: 14,5. Eso no es una brecha. Es un abismo: 3,5 veces mayor. Y persiste incluso cuando controlas por educación e ingresos. Una mujer negra con un título universitario tiene más probabilidades de morir en el parto que una mujer blanca sin un diploma de secundaria.

El Maternal Data Center de California, uno de los entornos de salud materna más ricos en datos del país, encontró que los sistemas automatizados de alerta temprana no detectaron el 40% de los casos de morbilidad grave en pacientes negras. Cuarenta por ciento. Estas son complicaciones potencialmente mortales —hemorragia, preeclampsia, sepsis— que ocurren 100 veces más frecuentemente que la muerte materna. Se suponía que la IA debía detectarlas. No lo hizo.

Parte de la razón tiene que ver con lo que los investigadores llaman el efecto de "desgaste" (weathering): el costo fisiológico del estrés crónico causado por el racismo sistémico. Las mujeres negras a menudo se presentan con presiones arteriales de base más altas y respuestas cardiovasculares alteradas. Una IA entrenada con promedios poblacionales puede interpretarlas como "normales para este paciente" en lugar de reconocerlas como señales de advertencia en un cuerpo bajo una coacción crónica.

Cuando un sistema de alerta temprana de IA no detecta el 40% de las complicaciones graves en madres negras, no es un fallo técnico. Es un sistema que funciona exactamente como sus datos de entrenamiento le enseñaron a funcionar, lo que equivale a decir: de forma inequitativa.

Y aquí está la cifra que debería hacer que todo directivo del sector sanitario preste atención: McKinsey estima que cerrar la brecha de salud materna de las mujeres negras podría añadir 24.400 millones de dólares al PIB de EE. UU. y ahorrar 385 millones de dólares anuales en costos sanitarios evitables. Esto no es solo una crisis moral. Es una crisis económica.

Las mujeres negras tienen 1,79 veces más probabilidades de morir una vez que se ha producido una complicación grave, en comparación con las mujeres blancas. Eso no tiene que ver con la incidencia, sino con el "fracaso en el rescate". La complicación ocurre, se abre la ventana para la intervención y el sistema no actúa a tiempo. Cuando la IA no alerta, y el médico está atendiendo a una docena de otros pacientes, esa ventana se cierra.

¿Por qué ChatGPT no puede arreglar esto?

Me hacen esta pregunta constantemente. Alguna versión de: "¿Por qué no usar simplemente GPT-4 con instrucciones médicas? Sabe mucho de medicina".

Sí que sabe mucho de medicina, de la misma manera que sabe mucho de medicina alguien que ha leído todos los libros de texto pero que nunca ha tocado a un paciente. Un LLM es un motor estadístico entrenado con probabilidades del lenguaje. No entiende la fisiopatología. No procesa datos de forma de onda en tiempo real de un monitor a pie de cama. No puede decirte si una determinada lectura de SpO₂ es fiable dado el tono de piel del paciente y el modelo específico de dispositivo que se está utilizando.

Los estudios encontraron que los LLM lograron solo un 16,7% de precisión en los ajustes de dosis para la disfunción renal cuando las variables específicas del paciente eran complejas. Alucinan: generan con confianza información clínica que suena autorizada y que está completamente inventada. No pueden proporcionar la cadena de razonamiento transparente que un médico necesita para verificar una recomendación, lo cual es cada vez más un requisito regulatorio bajo el RGPD y las cambiantes regulaciones sanitarias de EE. UU.

El mercado de la IA sanitaria está inundado de lo que yo llamo aplicaciones "envoltorio" (wrappers): interfaces superficiales sobre API públicas generalizadas. Están bien para redactar informes de alta o resumir notas de historiales. Son fundamentalmente inadecuadas para decidir si una mujer negra de 32 años que se presenta con signos vitales límite necesita una intervención inmediata o puede esperar.

La distinción importa. Un envoltorio toma un modelo de lenguaje de propósito general y lo apunta a una pregunta médica. Un sistema de IA profunda —lo que construimos en Veriprajna— integra señales fisiológicas en tiempo real, conjuntos de datos etiquetados por expertos y restricciones matemáticas conscientes de la equidad en la arquitectura del modelo desde su base.

Uno de estos enfoques puede escribir un párrafo convincente sobre la sepsis. El otro puede realmente detectarla de forma equitativa.

¿Cómo se construye realmente una IA clínica que no discrimine?

Aquí es donde tengo que ponerme un poco técnico, porque la solución no es filosófica, sino matemática. Y las matemáticas son lo que separa a la IA profunda del humo bienintencionado.

La optimización del aprendizaje automático tradicional minimiza el error promedio en todo el conjunto de datos. Eso suena razonable hasta que te das cuenta de que el "promedio" favorece naturalmente al grupo mayoritario. Si el 70% de tus datos de entrenamiento provienen de pacientes blancos, el modelo se optimizará para pacientes blancos. Las tasas de error de todos los demás son simplemente... pérdidas aceptables dentro del promedio.

Nosotros no aceptamos eso. En Veriprajna, implementamos lo que se llama optimización de pérdida del peor grupo (worst-group loss). En lugar de minimizar el error promedio, minimizamos el error máximo en todos los subgrupos demográficos. Matemáticamente, estamos resolviendo para: minimizar la pérdida del peor caso entre las poblaciones negras, blancas, hispanas y otras de forma simultánea. La investigación en detección automatizada de la depresión ha demostrado que, si bien este enfoque puede reducir ligeramente la precisión general, mejora significativamente los resultados para los grupos infrarrepresentados que de otro modo son sistemáticamente mal clasificados.

También aplicamos la igualdad de probabilidades (equalized odds): exigimos que tanto la tasa de verdaderos positivos como la de falsos positivos sean iguales entre los grupos demográficos. Si un modelo de sepsis tiene un 80% de sensibilidad para pacientes blancos pero solo un 40% para pacientes negros, está proporcionando un nivel de atención diferente en función de la raza. Punto final. Eso no es un problema de rendimiento del modelo. Es un problema de derechos civiles.

Para el marco matemático completo —incluidas las funciones de pérdida conscientes de la equidad, el desesgado adversarial y nuestro enfoque de la fusión multimodal de señales— he expuesto los detalles técnicos en nuestro artículo de investigación.

Pero las matemáticas son solo una capa. Así es como se ve la arquitectura completa en la práctica:

Hay que arreglar las entradas. No tratamos la lectura de un pulsioxímetro como una verdad absoluta. Nuestros modelos fusionan la oximetría con la variabilidad de la frecuencia cardíaca, la frecuencia respiratoria y las tendencias del lactato. Si la frecuencia cardíaca y el lactato de un paciente están subiendo mientras la SpO₂ se mantiene sospechosamente estable, el sistema señala una discrepancia de señal y solicita al médico que ordene una gasometría arterial, el patrón de referencia. Estamos triangulando el estado real del paciente en lugar de confiar en un único sensor sesgado.

Hay que arreglar las etiquetas. Usamos una verdad de referencia adjudicada por expertos en lugar de códigos de facturación. Cuando tres expertos en sepsis revisan un caso de forma independiente y coinciden en la cronología del diagnóstico, esa es una señal de entrenamiento fundamentalmente distinta a la de un código de facturación que se generó seis horas después de que el paciente ya estuviera en la UCI.

Hay que validar localmente. Cada despliegue comienza con una auditoría retrospectiva de los propios datos de la institución. Medimos algo llamado Índice de Estabilidad de la Población (Population Stability Index) para cuantificar cuán diferente es la población local de pacientes respecto a nuestra cohorte de entrenamiento. Si la brecha es demasiado grande, recalibramos antes de la puesta en marcha. La catastrófica caída de rendimiento del Epic Sepsis Model —de un AUC de 0,83 internamente a 0,63 externamente— es lo que ocurre cuando te saltas este paso.

"Pero ¿no ralentizará esto la adopción de la IA?"

La gente me pregunta esto, y entiendo el impulso que hay detrás. Hay una urgencia real por meter la IA en los flujos de trabajo clínicos. La gente se está muriendo mientras debatimos sobre métricas de equidad.

Pero esto es lo que he aprendido: desplegar rápidamente un sistema de IA sesgado no salva más vidas. Salva algunas vidas —desproporcionadamente blancas, desproporcionadamente ricas— mientras crea una falsa sensación de seguridad que perjudica activamente a todos los demás. El Epic Sepsis Model se desplegó rápido. Se desplegó de forma amplia. Y no detectó dos tercios de los casos de sepsis mientras generaba falsas alarmas el 88% de las veces. La velocidad sin equidad no es progreso. Es negligencia a escala.

La otra objeción que oigo: "Las restricciones de equidad reducen la precisión". Esto es técnicamente cierto en el sentido más estricto: optimizar para el rendimiento del peor grupo puede reducir ligeramente la métrica agregada. Pero la "precisión agregada" es el mismo juego de manos estadístico que dejó que la crisis del pulsioxímetro persistiera durante treinta años. Cuando tu 95% de precisión significa un 95% para pacientes blancos y un 62% para pacientes negros, la cifra agregada es una mentira.

Optimizar para la precisión promedio en la IA sanitaria es como informar de la temperatura promedio de un hospital: no te dice nada sobre el paciente que está en llamas.

En lo que pienso a las 2 de la madrugada

Pienso en el hecho de que una de cada tres mujeres negras informa haber sido maltratada durante la atención de maternidad. Pienso en el 40% de los casos de morbilidad grave que los sistemas de IA de California no detectaron en pacientes negras. Pienso en el dedo de mi hija en aquella pinza del pulsioxímetro, y en la sonrisa de la enfermera, y en el número de la pantalla que yo sabía que probablemente estaba mal.

Y pienso en el hecho de que tenemos las herramientas matemáticas para arreglar esto. Las funciones de pérdida conscientes de la equidad existen. La fusión multimodal de señales existe. Los marcos de validación local existen. La optimización del peor grupo existe. Nada de esto es teórico. Lo hemos construido. Otros equipos lo están construyendo. El conocimiento está aquí.

Lo que falta es la voluntad. Demasiados sistemas de salud están comprando soluciones envoltorio porque son baratas y rápidas. Demasiados proveedores de IA reportan precisión agregada porque los desgloses por subgrupos serían vergonzosos. Demasiados reguladores prueban dispositivos en diez sujetos y lo consideran suficiente.

El camino a seguir no es complicado. Exige métricas de rendimiento por subgrupos a cada proveedor de IA: sensibilidad, especificidad y valor predictivo positivo desglosados por raza, edad y sexo. Rechaza las afirmaciones de "99% de precisión" que no te muestran el denominador. Exige una validación externa independiente, no los informes técnicos de los proveedores. Y deja de tratar la equidad como una solicitud de funcionalidad. Es un requisito de diseño.

Las madres negras están muriendo a una tasa 3,5 veces superior a la de las madres blancas. Los sistemas de IA construidos sobre hardware sesgado y etiquetas sesgadas lo están empeorando. Y cada día que desplegamos otra solución envoltorio sin preguntar para quién funciona y para quién no, estamos eligiendo la comodidad por encima de las vidas.

No fundé Veriprajna para construir otro chatbot con vocabulario médico. La fundé porque creo que la IA profunda —la que interroga sus propias entradas, aplica la equidad de forma matemática y valida localmente antes de tocar a un solo paciente— es la única tecnología que merece estar en la sala cuando la vida de alguien está en juego.

La cuestión no es si la IA tiene un lugar en la sanidad. Lo tiene. La cuestión es si tenemos la integridad para construirla correctamente.