El algoritmo que negó atención a pacientes moribundos, y lo que me enseñó sobre construir una IA que no mate

Estaba sentado en una sala de conferencias a finales de 2024 cuando una colega abrió una estadística en su portátil y giró la pantalla hacia mí. «¿Has visto esto?»

Era la tasa de revocación de apelaciones del algoritmo nH Predict de UnitedHealth Group — el sistema de IA que su filial NaviHealth había estado usando para decidir cuándo debía cortarse a los pacientes de Medicare la cobertura de atención posaguda. Enfermería especializada. Rehabilitación. El tipo de atención que evita que una persona de 82 años sea enviada a casa, a un apartamento vacío, después de un ictus.

La cifra era 90 %.

Nueve de cada diez veces que un juez humano revisaba de verdad la decisión del algoritmo de denegar la cobertura, la revocaba. La IA se equivocaba nueve de cada diez veces. Y UnitedHealth lo sabía. Lo sabían porque solo el 0,2 % de los pacientes — personas ancianas, discapacitadas, con deterioro cognitivo — lograba siquiera presentar una apelación. El sistema no estaba diseñado para ser preciso. Estaba diseñado para ser inapelable.

Esa noche cerré el portátil y no pude dormir. No porque la tecnología me sorprendiera — llevo años construyendo sistemas de IA y entiendo cómo fallan los modelos basados en correlación. Lo que me mantuvo despierto fue algo más feo: esto no era un fallo. Era un modelo de negocio. Y era el punto final lógico de toda una filosofía de la IA empresarial que mi sector lleva media década promoviendo alegremente.

Dirijo Veriprajna, una empresa fundada sobre la premisa de que la IA en dominios de alto riesgo debe ser fundamentalmente distinta de los chatbots y los generadores de contenido que dominan la conversación. La crisis de UnitedHealth no solo validó esa premisa. La radicalizó.

Un algoritmo de mil millones de dólares que no podía ver a una mujer moribunda

Déjame hablarte de Carol Clemens, porque los números no significan nada sin ella.

Carol tenía metahemoglobinemia — un trastorno sanguíneo potencialmente mortal en el que la sangre no puede transportar oxígeno correctamente. Tras un episodio grave, estaba en un centro de enfermería especializada recibiendo la rehabilitación que necesitaba para sobrevivir. El tipo de atención que se supone que Medicare debe cubrir.

Entonces nH Predict generó una «fecha objetivo de alta». El algoritmo, entrenado con 6 millones de historiales de pacientes, había cruzado el diagnóstico de Carol con resultados históricos y decidió que ya estaba lista. Daba igual que sus niveles de oxígeno en sangre siguieran siendo peligrosamente bajos. Daba igual que sus médicos dijeran que necesitaba más tiempo. El modelo había hablado.

Su familia pagó 16.768 dólares de su propio bolsillo para mantenerla en tratamiento. Tuvieron suerte — contaban con los recursos. La mayoría de los pacientes en la situación de Carol no.

Esto es lo que me obsesiona de este caso: nH Predict no era un experimento descontrolado. La división Optum de UnitedHealth pagó más de 1000 millones de dólares para adquirir NaviHealth y su algoritmo. Era un producto estrella en una empresa que proyectaba 340.000 millones de dólares de ingresos para 2025. El despliegue de IA más caro de la historia de la sanidad, y no podía distinguir entre una media estadística y una mujer que se estaba asfixiando.

¿Por qué el algoritmo se equivocaba el 90 % de las veces?

Esta es la pregunta que todos hacen, y la respuesta es engañosamente simple. nH Predict era un motor de correlación que fingía ser una herramienta clínica.

Ingería historiales de pacientes y encontraba patrones: los pacientes con el diagnóstico X suelen quedarse Y días. Eso es todo. Ese es todo el truco. No modelaba por qué los pacientes necesitan distintas duraciones de atención. No tenía en cuenta si alguien tenía un cuidador en casa, si era lo bastante estable económicamente para gestionar un tratamiento ambulatorio, si tenía complicaciones específicas que hacían su caso distinto de la media estadística.

Un modelo que te dice «los pacientes como este suelen irse en 14 días» no es lo mismo que un modelo que entiende por qué este paciente concreto necesita 21 días. El primero es una hoja de cálculo con pasos de más. El segundo es inteligencia.

He tenido esta discusión con otros fundadores más veces de las que puedo contar. «¡Pero el modelo es preciso de media!», dicen. Claro. Y un río tiene un metro y medio de profundidad de media, lo cual no consuela a quien se ahogó en el tramo de dos metros y medio.

El término técnico para lo que le faltaba a nH Predict es razonamiento causal — la capacidad de pasar de «lo que suele pasar» a «lo que pasaría si cambiáramos esta variable». Un modelo causal preguntaría: ¿qué le pasa a la trayectoria de recuperación de Carol Clemens si retiramos la atención de enfermería especializada el día 14? ¿Recae? ¿Muere? Un modelo de correlación no lo pregunta. No puede. No fue construido para eso.

Escribí sobre esta distinción en profundidad en la versión interactiva de nuestra investigación, porque creo que es el concepto más importante que los líderes empresariales deben entender sobre la IA ahora mismo.

La regla del 3 % al 1 % — o cómo conviertes a los enfermeros en sellos de goma

La inexactitud del algoritmo ya era bastante mala. Lo que UnitedHealth hizo con ella fue peor.

El testimonio de un denunciante reveló que los directivos de NaviHealth fijaron objetivos rígidos de cumplimiento para su personal clínico. A los gestores de casos — enfermeros, médicos, personas que habían pasado décadas aprendiendo a evaluar las necesidades de los pacientes — se les dijo que mantuvieran las estancias reales de los pacientes dentro de una variación del 3 % respecto a lo que proyectara nH Predict.

Luego lo ajustaron al 1 %.

Piensa en lo que eso significa en la práctica. Eres enfermero. Has examinado a un paciente. Sabes, por años de experiencia y por la evidencia clínica que tienes delante, que esta persona no está lista para irse a casa. Pero el algoritmo dice día 14, y tu jefe dice que tienes que cumplir el día 14 más o menos una fracción de día, o te enfrentas a medidas disciplinarias. Quizá al despido.

¿Qué haces?

La mayoría cumplió. No porque fueran malos médicos, sino porque el sistema estaba diseñado para hacer del cumplimiento la única opción con la que se podía sobrevivir. Se instruía a los coordinadores de atención para que programaran sus revisiones de evolución de modo que coincidieran exactamente con la fecha de alta prevista por el algoritmo — diseñando el cronograma clínico para que encajara con el modelo en lugar de con el paciente.

Recuerdo describirle esto a un amigo que trabaja en seguridad aérea, y se puso pálido. «Eso es como decirles a los pilotos que aterricen según el plan de vuelo sin importar las condiciones meteorológicas», dijo. «No volverías a volar jamás.»

Cuando se sanciona a los médicos por anular un algoritmo defectuoso, no tienes un «humano en el circuito». Tienes un sello de goma con forma humana.

A esto lo llamo coerción algorítmica, y es el modo de fallo que más me aterra — no porque la IA sea autónoma, sino porque crea un entorno en el que se castiga a los humanos por ejercer el juicio del que la IA carece.

¿Qué ocurrió en los tribunales el 13 de febrero de 2025?

La demanda colectiva — Estate of Gene B. Lokken v. UnitedHealth Group — alcanzó un punto de inflexión cuando el juez federal de distrito John Tunheim dictaminó que el caso podía seguir adelante. Esto importa enormemente, y no solo para UnitedHealth.

El tribunal constató que los propios documentos de política de UHC prometían que las decisiones de cobertura las tomaría «personal de servicios clínicos» y «médicos». Al sustituir a esos humanos por un algoritmo que dictaba efectivamente los resultados, UnitedHealth potencialmente incumplió su contrato con cada asegurado.

Aún más significativo: el juez eximió a los pacientes del requisito de agotar las apelaciones administrativas antes de demandar. Normalmente, los beneficiarios de Medicare tienen que sortear múltiples niveles de revisión burocrática antes de poder acudir a los tribunales. Pero Tunheim miró la tasa de error del 90 %, miró la tasa de apelación del 0,2 % y, en esencia, dijo: no vamos a obligar a personas moribundas a participar en un sistema amañado en su contra.

Ese fallo debería ser lectura obligatoria para todo directivo que despliegue IA en un sector regulado. El sistema legal ya no está dispuesto a tratar la disfunción algorítmica como un problema de procedimiento que los pacientes deban resolver por su cuenta.

Por qué la «IA envoltorio» es una bomba de relojería en la sanidad

Aquí es donde tengo que ser franco sobre mi propio sector, porque la historia de UnitedHealth no es un incidente aislado. Es el síntoma más visible de un problema estructural.

En los últimos tres años, el mercado de la IA empresarial se ha inundado de lo que yo llamo soluciones envoltorio — empresas que toman un gran modelo de lenguaje ya existente, lo envuelven en una interfaz a medida, quizá lo ajustan con algunos datos específicos del dominio, y lo venden como un producto de IA para la sanidad. O un producto de IA para seguros. O un producto de IA para cumplimiento normativo.

Estos envoltorios comparten todas las vulnerabilidades que hicieron peligroso a nH Predict:

Son cajas negras. No puedes auditar el razonamiento detrás de ninguna decisión individual, lo que significa que no puedes detectar un sesgo sistemático hasta que ya ha dañado a miles de personas.

Heredan los sesgos de sus modelos fundacionales. Si los datos de entrenamiento reflejan patrones históricos de discriminación — y en la sanidad, siempre lo hacen — el envoltorio reproduce fielmente esos patrones.

No tienen ninguna comprensión causal. Predicen basándose en correlación estadística, lo que significa que optimizan para «lo que suele pasar» en lugar de «lo que debería pasar para este paciente».

Y, de forma crítica, no son defendibles. Cualquier competidor puede construir el mismo envoltorio sobre el mismo modelo fundacional. No hay inteligencia propietaria, ni conocimiento único — solo una fina capa de automatización sobre el motor de otro.

La economía de los envoltorios en la IA sanitaria se está construyendo sobre arena. Cuando llegue la marea regulatoria — y llega rápido — las empresas sin sistemas profundos, explicables y con fundamento causal serán arrastradas.

No digo esto porque Veriprajna compita con las empresas de envoltorios (aunque lo hacemos). Lo digo porque he visto lo que pasa cuando estos sistemas fallan en producción, y la brecha entre «listo para la demo» y «clínicamente seguro» es un abismo que los envoltorios no pueden cruzar.

¿Cómo quiere la FDA que la IA demuestre que es fiable?

En enero de 2025, la FDA publicó una guía preliminar que establecía un marco de evaluación de credibilidad de 7 pasos para los modelos de IA usados en la toma de decisiones médicas y regulatorias. He pasado semanas con este documento, y es la pieza de regulación de IA más trascendental que he visto.

El marco exige que cada despliegue de IA defina con claridad la pregunta exacta que responde, especifique su papel en el flujo de trabajo clínico, evalúe qué ocurre si se equivoca, y luego demuestre — con pruebas rigurosas — que es apto para ese propósito específico.

nH Predict habría fallado en cada paso. No tenía una definición clara de su papel clínico. Su evaluación de riesgos ignoraba las consecuencias potencialmente mortales de una atención denegada. Su «validación» optimizaba para la contención de costes, no para los resultados de los pacientes.

Mientras tanto, la Ley de IA de la UE clasificó la IA sanitaria como de «Alto Riesgo» en 2025, exigiendo divulgaciones de transparencia obligatorias y supervisión humana. Las sanciones por incumplimiento llegan hasta el 7 % de la facturación global. Para una empresa del tamaño de UnitedHealth, eso no es una multa — es una amenaza existencial.

La Organización Mundial de la Salud ha ido más allá, apuntando específicamente a lo que denomina sesgo de automatización — la tendencia de los médicos a ceder ante un algoritmo incluso cuando contradice su propio juicio clínico. Esto es exactamente lo que ocurrió en NaviHealth. La guía de 2024 de la OMS advierte de que la dependencia excesiva de la IA puede llevar a una «degradación de las competencias» entre los médicos que dejan de ejercer una valoración crítica.

Para el desglose técnico completo de estos marcos regulatorios y de cómo se aplican al despliegue de IA empresarial, consulta nuestro artículo de investigación.

La noche en que comprendí que la explicabilidad no es opcional

Hay un momento en el camino de todo fundador en el que un principio abstracto se vuelve visceral. Para mí, fue una noche tardía probando una versión temprana de uno de nuestros modelos con un conjunto de datos sanitarios.

El modelo había marcado un caso para denegación. Pedí a mi equipo que ejecutara SHAP — SHapley Additive exPlanations, una herramienta que muestra qué características impulsaron una predicción concreta. El factor principal no era el diagnóstico del paciente ni su trayectoria clínica. Era su código postal.

Mi ingeniero jefe y yo nos quedamos mirando la pantalla. Ambos sabíamos con qué se correlaciona el código postal en los datos sanitarios estadounidenses. No estábamos ante una variable clínica. Estábamos ante un indicador indirecto de raza e ingresos disfrazado con cinco dígitos.

Descartamos la característica esa misma noche. Pero la experiencia cristalizó algo que había entendido intelectualmente pero no había sentido en las entrañas: si no puedes explicar por qué tu IA tomó una decisión, no puedes detectar las decisiones que son indefendibles.

Por eso construimos con la explicabilidad como arquitectura, no como añadido posterior. Herramientas como SHAP te dan una visión global de qué impulsa tu modelo. LIME — Local Interpretable Model-Agnostic Explanations — te muestra el razonamiento detrás de cualquier decisión individual. Para una paciente como Carol Clemens, LIME habría hecho visible que el algoritmo ignoraba su peligrosamente bajo oxígeno en sangre en favor de las estadísticas medias de recuperación para su código de diagnóstico.

Y luego está la puntuación de confianza — la parte que la mayoría de las soluciones envoltorio se saltan por completo. Cuando un paciente se presenta con una afección poco frecuente que está mal representada en los datos de entrenamiento, el sistema necesita decir, explícitamente: «No sé lo suficiente para tomar esta decisión. Deriva esto a un humano». No una sugerencia. Un alto en firme.

Por qué esto ya no puede ser un «problema de TI»

La gente siempre me lleva la contraria cuando digo que la gobernanza de la IA pertenece al consejo de administración. «¿No es para eso el equipo de ingeniería?» No. En absoluto. Y el caso de UnitedHealth es la prueba.

Los ingenieros de NaviHealth no fijaron el mandato de variación del 1 %. Esa fue una decisión de dirección. Los ingenieros no decidieron sancionar a los médicos que anulaban el algoritmo. Esa fue una decisión de política. Los ingenieros no eligieron desplegar un modelo basado en correlación para decisiones de cobertura de vida o muerte sin validación causal. Esa fue una decisión de estrategia.

Para 2025, el 72 % de las empresas del S&P 500 ha divulgado riesgos materiales de IA en sus informes ante la SEC. El riesgo reputacional es ahora la preocupación más citada. Un solo fallo algorítmico puede desencadenar litigios, acción regulatoria e indignación pública de forma simultánea — y el consejo que diga «no lo sabíamos» descubrirá que la ignorancia no es una defensa.

En Veriprajna, animamos a cada cliente a establecer comités de gobernanza de IA multidisciplinarios que incluyan a líderes clínicos, asesores jurídicos y representantes de seguridad del paciente — no solo a ingenieros y gestores de producto. Estos comités necesitan la autoridad para mantener un registro central de cada modelo de IA en la pila de la organización, imponer opciones de reversión cuando el rendimiento se degrada y — esta es la parte que incomoda a los directivos — desactivar un modelo rentable cuando está causando daño.

La gobernanza de la IA no es un centro de costes. Es la diferencia entre una empresa que despliega IA de forma responsable y una empresa que se convierte en el próximo caso ejemplarizante de una investigación del Senado.

La discusión que sigo teniendo

Hay una conversación que tengo en casi todas las conferencias, y va así:

«Ashutosh, estás complicando esto demasiado. Podemos ajustar GPT-4 con nuestros datos clínicos y lanzar algo en seis semanas. Tu enfoque tarda meses.»

No discrepo en el plazo. Discrepo en la definición de «hecho».

Puedes lanzar sin duda un envoltorio en seis semanas. Puedes hacer una demo preciosa. Generará resúmenes clínicos que suenan plausibles y hará felices a tus inversores. Y luego, seis meses después, cuando un paciente muera porque tu modelo recomendó con seguridad el curso de acción equivocado y nadie pudo explicar por qué, descubrirás que las seis semanas que ahorraste te costaron todo.

La crisis de UnitedHealth no la causaron malos ingenieros ni una mala intención. La causó una organización que trató la IA como un problema de optimización de rendimiento — reduciendo el tiempo de revisión en seis a diez minutos por caso — en lugar de un problema de juicio clínico. Medían el éxito en velocidad de procesamiento y tasas de denegación, no en resultados de los pacientes.

El cambio de los envoltorios predictivos a lo que yo llamo IA profunda no consiste en usar modelos más sofisticados. Consiste en hacer una pregunta fundamentalmente distinta. No «¿cómo automatizamos esta decisión?» sino «¿cómo hacemos que esta decisión sea mejor, más transparente y más responsable de lo que un humano por sí solo podría?»

Hacia dónde vamos a partir de aquí

Quiero terminar con algo que me viene inquietando desde que empecé a escribir esto.

La historia de nH Predict es escandalosa, pero no debería sorprender. Hemos pasado años construyendo un ecosistema de IA que premia la velocidad sobre la seguridad, la correlación sobre la causalidad y la automatización sobre la potenciación. Las estructuras de incentivos — los plazos del capital riesgo, los ciclos de adquisición empresarial, la presión implacable por lanzar — empujan todas hacia el enfoque del envoltorio. Construye rápido, vende rápido, preocúpate por la gobernanza después.

No hay «después». El fallo de febrero de 2025 lo dejó claro. El marco de credibilidad de la FDA lo dejó claro. La sanción del 7 % de la Ley de IA de la UE lo dejó claro. Y la factura médica de 16.768 dólares de Carol Clemens lo dejó claro en los términos más humanos posibles.

El camino a seguir no es menos IA. Es una IA que se gane la autoridad que le estamos dando — mediante validación causal que entienda por qué, mediante arquitectura explicable que muestre su trabajo, mediante estructuras de gobernanza que faculten a los humanos para anular la máquina sin miedo al castigo, y mediante la humildad institucional básica de admitir cuándo el modelo no sabe lo suficiente para tomar la decisión.

La pregunta nunca fue «¿puede la IA tomar decisiones sanitarias?». Siempre fue «¿deberíamos dejar que la IA tome decisiones sanitarias que no puede explicar, no puede justificar y acierta mal el 90 % de las veces?». La respuesta, por fin, es no.

Construimos Veriprajna porque creíamos que esa respuesta iba a llegar. Solo desearía que no hubieran hecho falta pacientes moribundos para darnos la razón.