El noventa por ciento de los médicos confía en su IA clínica. Detectan un tercio de sus errores peligrosos.

La primera versión de nuestra herramienta de seguridad de IA clínica funcionaba de maravilla. Ese era el problema.

La habíamos construido para hacer lo obvio: detectar alucinaciones. La apuntas a un escriba ambiental o a una herramienta de redacción del portal del paciente, le das la salida de la IA y haces que marque las afirmaciones que eran objetivamente incorrectas. Detectaba los nombres de fármacos equivocados. Detectaba los valores de laboratorio imposibles. Detectaba una dosis que estaba desviada en un orden de magnitud. Recuerdo sentirme genuinamente satisfecho con ella: estábamos encontrando errores, la demo funcionó, los números se veían impecables.

Entonces un asesor clínico del proyecto, un hospitalista que había pasado dos décadas en las salas, me explicó un ejemplo en el que todavía pienso. Una IA había redactado una respuesta de MyChart a un paciente que preguntaba sobre su medicación. El borrador decía que continuara con la metformina y señalaba con optimismo que la última HbA1c era del 6,8 %. Todos los datos que contenía eran ciertos. La nota era empática, bien estructurada, exactamente lo que escribiría un buen médico. Nuestra herramienta la aprobó sin marcarla.

La creatinina del paciente había ido subiendo a lo largo de tres visitas. Una creatinina en aumento significa una función renal en declive, y una función renal en declive hace que la metformina sea peligrosa. La IA no supo que debía fijarse. Y —esta es la parte que reordenó mi manera de pensar sobre la seguridad de la IA clínica— tampoco lo habría hecho el médico que la revisaba, escaneando un borrador fluido, amable y objetivamente coherente en los diez o quince segundos que un clínico ocupado le dedica antes de hacer clic en enviar.

Nuestro detector de alucinaciones estaba resolviendo el problema equivocado. Los errores que dañan a los pacientes no suelen ser los que están obviamente equivocados. Son los que son localmente correctos y contextualmente letales. No puedes llegar a la seguridad a base de verificar datos, porque el peligro reside en lo que la IA no dijo.

Ese fracaso es la razón por la que Veriprajna dejó de construir un detector de alucinaciones y empezó a construir infraestructura de seguridad independiente para toda la pila de IA que un sistema de salud realmente ejecuta. Este ensayo trata sobre lo que encontramos cuando miramos con honestidad esa pila.

El número que debería mantener despierto por la noche a todo director médico de informática

En abril de 2024, The Lancet Digital Health publicó un estudio que considero el hallazgo más importante y menos asimilado de la IA en salud. Los investigadores hicieron que médicos revisaran respuestas redactadas por IA a mensajes de pacientes. El 7,1 % de esos borradores planteaba un riesgo grave de daño al paciente. El 0,6 % planteaba un riesgo de muerte.

Aquí está la parte que importa más que la tasa de error. Los médicos, haciendo exactamente lo que les pedimos que hagan —revisar el trabajo de la IA—, pasaron por alto el 66,6 % de los borradores dañinos. Entre un tercio y casi la mitad de los erróneos salieron por completo sin editar. Y cuando se les encuestó, el 90 % de esos mismos médicos dijo que confiaba en el desempeño de la herramienta.

Noventa por ciento de confianza, y un tercio de los errores peligrosos detectados. Esa brecha no es un problema de formación. Es el resultado predecible de pedirle a un humano que audite a una máquina que escribe con más fluidez que él.

Esto es sesgo de automatización, y no es un defecto de carácter en los médicos. Es una propiedad de la interacción. Cuando un borrador está bien escrito y es empático, la calidad de la prosa sustituye a la verificación independiente en la mente del lector. Cuanto mejor escribe la IA, menos comprueba el humano. Estamos desplegando herramientas cuya mayor fortaleza —un lenguaje fluido y seguro— es precisamente el mecanismo que desarma la red de seguridad que construimos a su alrededor.

ECRI, la organización sin ánimo de lucro de seguridad del paciente que publica la lista anual de los principales peligros de la tecnología sanitaria, clasificó el riesgo diagnóstico impulsado por IA como el peligro número uno tanto para 2025 como para 2026. No entre los diez primeros. El número uno, dos años seguidos.

«Leído y revisado» es una ficción legal

La AB 3030 de California, en vigor desde enero de 2025, exige que los sistemas de salud revelen cuándo se usa IA en las comunicaciones clínicas con los pacientes. Incluye una exención que suena razonable: si un proveedor con licencia lee y revisa la salida de la IA, no se necesita revelación. La lógica es que un humano en el circuito hace que la contribución de la IA sea invisible y segura.

Los datos de The Lancet demuelen esa lógica. Si los médicos pasan por alto dos tercios de los errores dañinos, entonces «leído y revisado» es, para una gran parte de los casos, un mero trámite. La exención presupone una calidad de revisión que el sesgo de automatización hace imposible a escala. Las infracciones alcanzan hasta 25.000 dólares por incidente para un centro, más la exposición disciplinaria del médico cuyo nombre figura en la nota.

Paso mucho tiempo con directores médicos de informática, y aquí es donde la conversación suele volverse incómoda. El marco legal presume que la revisión humana es significativa. La realidad clínica es que una revisión significativa requiere un andamiaje técnico que los proveedores de IA en su mayoría no han construido: resaltado de la incertidumbre, enlace de citas de vuelta a la fuente, flujos de trabajo de confirmación activa que hagan que el médico se detenga en las afirmaciones que importan. Algunos proveedores han empezado a construirlo —el Linked Evidence de Abridge rastrea cada línea de una nota generada hasta el segmento de audio exacto que la produjo—, lo que solo demuestra que la capacidad existe y que la mayoría de las herramientas siguen sin priorizarla. Sin ese andamiaje, «un humano lo revisó» es una casilla de cumplimiento, no un control de seguridad.

El proveedor dijo 0,001 %. El fiscal general de Texas dijo: demuéstrenlo.

Todo proveedor de IA clínica encabeza con una cifra de precisión. Lo primero que aprendí auditando estas herramientas es que la cifra es un artefacto de marketing hasta que sabes cómo se calculó.

En septiembre de 2024, el fiscal general de Texas llegó a un acuerdo con Pieces Technologies por su afirmación comercial de una «tasa de alucinaciones críticas» inferior al 0,001 %. El software de Pieces estaba desplegado en cuatro grandes hospitales de Texas: Houston Methodist, Children's Health, Texas Health Resources y Parkland. Lo llamativo del caso es que el fiscal no necesitó ninguna ley específica sobre IA. La legislación de protección al consumidor ya existente bastó para cuestionar una afirmación de precisión que la empresa no podía sustentar.

El acuerdo —una Garantía de Cumplimiento Voluntario de cinco años— ahora obliga a Pieces a revelar, a cada cliente, cómo se definen y calculan sus métricas, con qué datos se entrenó el modelo y qué usos dañinos conoce. Eso es una plantilla para toda la industria.

Una tasa de alucinaciones sin denominador no es una medición. Es un anuncio.

Compara el 0,001 % con lo que nosotros y otros encontramos de verdad en el terreno. En un piloto del primer trimestre de 2025, un asistente de alta con IA recomendó un medicamento para un paciente que estaba explícitamente registrado como alérgico a esa clase de fármaco. Su tasa real de afirmaciones erróneas clínicamente accionables era del 0,98 %: doce veces el 0,08 % que afirmaba el proveedor. La misma categoría de producto, una brecha de un orden de magnitud entre la diapositiva y el paciente. El MIT Media Lab descubrió que, sin mitigación, los modelos alcanzan tasas de alucinaciones superiores al 60 % en casos clínicos. La respuesta honesta es que la cifra estelar de nadie significa nada hasta que preguntas: calculada sobre qué conjunto de datos, validada por quién, durante qué periodo y —la pregunta que casi nadie hace— a través de qué grupos demográficos de pacientes.

Esa última pregunta resultó ser la que tenía cuerpos detrás.

El sesgo que no puedes ver porque el dispositivo lo oculta

Hay un hecho que ojalá fuera más conocido fuera de los cuidados intensivos. El oxímetro de pulso —la pequeña pinza en el dedo del paciente que lee la saturación de oxígeno en sangre, uno de los números más fiables de la medicina— es sistemáticamente menos preciso en la piel oscura.

Los pacientes negros tienen aproximadamente tres veces más probabilidades de sufrir hipoxemia oculta: un oxígeno en sangre peligrosamente bajo que el dispositivo lee como normal. La sobreestimación va de 0,6 a 1,5 puntos porcentuales, lo que parece trivial hasta que es la diferencia entre «ingresar en la UCI» y «mandar a casa». En datos pediátricos, el dispositivo pasó por alto el oxígeno bajo en el 7 % de los niños con los tonos de piel más oscuros y en el 0 % con los más claros. La FDA emitió un borrador de directriz en enero de 2025 que recomienda a los fabricantes probar en al menos 150 participantes diversos usando la escala Monk de tonos de piel, frente a una norma previa de tan solo diez.

Ahora superpón la IA sobre una medición que ya está sesgada en el sensor. El modelo hereda el sesgo y lo blanquea a través de una salida segura. Esta es la parte de la seguridad de la IA clínica que los proveedores están menos preparados para encontrar en sí mismos, porque encontrarla requiere estratificar deliberadamente el rendimiento por raza, sexo y edad, y luego publicar las brechas.

El modelo de sepsis de Epic es la advertencia que llevo a cada debate sobre gobernanza. El desarrollador reportó un AUC —una medida estándar de precisión predictiva donde 1,0 es perfecto y 0,5 es lanzar una moneda— de 0,76 a 0,83. Cuando la Universidad de Michigan lo validó externamente con sus propios pacientes, obtuvieron 0,63. La sensibilidad era del 33 %, es decir, pasaba por alto dos tercios de los casos de sepsis. Su valor predictivo positivo era del 12 %, es decir, el 88 % de sus alertas eran falsas alarmas. Y estaba mal calibrado para pacientes negros e hispanos, que tienen casi el doble de incidencia de sepsis. Un modelo entrenado con el juicio clínico histórico aprende los puntos ciegos clínicos históricos, y luego se los dispara de vuelta a los clínicos revestido de la autoridad de un algoritmo. Epic revisó a fondo el modelo en 2022, y una validación prospectiva multicéntrica de su segunda versión se publicó en JAMA Network Open en febrero de 2026, lo cual es exactamente la cuestión. La validación externa, posterior al despliegue, es lo que detecta la brecha que oculta una afirmación de AUC original, y aquí hicieron falta años e investigadores externos para forzarla.

La versión más extrema de esto aparece en la atención materna. Las mujeres negras mueren en el parto a un ritmo de 42,8 a 50,3 por cada 100.000 nacidos vivos, frente a 13 a 14,5 en las mujeres blancas. Una revisión de California encontró que los sistemas de alerta temprana con IA pasaban por alto el 40 % de los casos de morbilidad grave en pacientes negras. Cuando el sistema de alerta es ciego a la población de mayor riesgo, no solo falla de forma neutral: amplía la misma brecha que se vendió para cerrar.

¿Por qué no basta con probar el sesgo del modelo y seguir adelante?

La gente me pregunta por qué los sistemas de salud no hacen simplemente una comprobación de equidad y certifican el modelo. Yo solía pensar que era un problema de recursos. Es más profundo que eso, y es matemático.

Existe un resultado llamado teorema de la imposibilidad de Chouldechova. Dicho de forma sencilla: dos definiciones razonables de equidad —la paridad demográfica (el modelo marca cada grupo con la misma frecuencia) y las probabilidades igualadas (el modelo es igual de preciso dentro de cada grupo)— no pueden satisfacerse ambas a la vez salvo en casos triviales. Tienes que elegir qué tipo de equidad estás optimizando, y esa elección tiene consecuencias clínicas.

«Probamos el sesgo» no significa nada sin nombrar el criterio. Cualquier proveedor que no pueda decirte qué definición de equidad eligió ya eligió una y no te lo está diciendo.

Por eso una auditoría de sesgo real no es un certificado de una sola vez. Son tablas de rendimiento estratificado por subgrupos, curvas de calibración por grupo demográfico y un Índice de Estabilidad de la Población —una métrica de deriva— rastreado por cada sitio de despliegue, porque un modelo que era justo en Boston puede desviarse de su calibración en Houston a medida que cambia la mezcla de pacientes. Las etiquetas de verdad fundamental adjudicadas por expertos para este trabajo cuestan de 50 a 200 dólares por caso. Es una infraestructura cara, especializada y continua. También es lo único que se interpone entre una decisión de compra y el informe de un forense.

Nadie es dueño de la pila completa

El problema estructural con el que me topaba una y otra vez es este: un sistema de salud de tamaño mediano a grande ejecuta entre cinco y quince herramientas de IA a la vez. Un escriba ambiental (Abridge en los más de cuarenta hospitales de UPMC, o el DAX Copilot de Nuance conectado a la historia clínica electrónica), un modelo de sepsis de Epic, un redactor del portal del paciente, un algoritmo de triaje, un asistente de codificación. Cada uno tiene su propia afirmación de precisión, su propio perfil de seguridad, sus propios puntos ciegos y su propio panel de control. Ningún proveedor ofrece gobernanza a través de las herramientas, porque ningún proveedor las vende todas.

Y la gobernanza que sí existe es más endeble de lo que sugieren los organigramas. Los datos de 2026 de Censinet muestran que el 84 % de los sistemas de salud tiene un comité de gobernanza de IA, pero solo el 59 % tiene un proceso de aprobación formal y documentado antes de que una herramienta de IA entre en funcionamiento. Los CIO forman parte del 63 % de esos comités; el director médico de informática, la persona clínicamente responsable cuando la herramienta se equivoca, forma parte de solo el 45 %. Mientras tanto, los clínicos adoptan herramientas por su cuenta —IA en la sombra— más rápido de lo que cualquier comité puede revisarlas.

Esta es la brecha que Veriprajna se creó para llenar, y es la razón por la que dejé de describir lo que hacemos como «detección de alucinaciones». Hacemos una evaluación independiente y neutral respecto al proveedor de la IA que un sistema de salud realmente ha desplegado: sometemos las herramientas a red-teaming como lo haría un adversario o un mal día, validamos las afirmaciones de precisión del proveedor frente al denominador real, ejecutamos las auditorías de sesgo que la mayoría de los equipos de TI no tienen capacidad de ejecutar, y convertimos la AB 3030, la Ley de IA de Colorado y las reglas de alto riesgo de la Ley de IA de la UE en controles operativos en lugar de ansiedades legales. Una capa de seguridad que se extiende sobre todas las herramientas.

«¿No es esto simplemente frenar la innovación?»

Es la objeción que más oigo, normalmente de alguien que vio cómo la documentación ambiental se convirtió en una categoría de 600 millones de dólares en un solo año y no quiere ser el ejecutivo que dijo que no.

Yo argumentaría lo contrario. La seguridad independiente es lo que hace que la adopción rápida sea sobrevivible. Los sistemas de salud que salen escaldados no son los cautelosos: son los que desplegaron basándose en la presentación de un proveedor y descubrieron la brecha entre el 0,08 % y el 0,98 % después de que un paciente resultara dañado. La inversión media en IA sanitaria devuelve alrededor de 3,20 dólares por cada dólar, materializados en 14 meses. Ese retorno se evapora la primera vez que una herramienta no verificada da lugar a una demanda por negligencia, y las demandas relacionadas con IA ya han subido un 14 % desde 2022, concentradas en radiología, cardiología y oncología. La verificación no es el impuesto a la innovación. Es el seguro que te permite seguir innovando después de que salga mal la primera cosa.

La segunda objeción: ¿no puede encargarse de esto nuestro propio equipo de informática? A veces, en parte. Pero el valor de una evaluación independiente es precisamente que es independiente, la misma razón por la que no dejas que una empresa audite sus propias finanzas. Un proveedor no se hará red-teaming a sí mismo hasta llegar a una cifra peor, y un equipo interno que defendió una compra tiene un interés silencioso en que tenga éxito. Alguien sin posición en el trato hace las preguntas que todos los demás tienen un motivo para no hacer.

Lo que le diría hoy a un director médico de informática

La pregunta que solía creer que importaba era: ¿funciona esta IA? Estaba equivocado. Todo proveedor te mostrará que funciona. La pregunta que importa es: ¿puedes demostrar que funciona —en todos los grupos demográficos de pacientes— el día en que un regulador, el abogado de un demandante o un periodista te lo pida?

Ahora mismo, la mayoría de los sistemas de salud no puede. Tienen cifras de precisión que no pueden reproducir, un comité de gobernanza sin el líder clínico en él, y una flota de herramientas que ninguna parte independiente ha probado nunca en conjunto. El borrador fluido seguirá recibiendo clics de aprobación. La alerta de sepsis seguirá gritando que viene el lobo el 88 % de las veces. El oxímetro de pulso seguirá leyendo normal en el paciente que no lo está.

Construí la práctica de seguridad de IA sanitaria de Veriprajna porque el ejemplo de la metformina nunca me abandonó. La nota era perfecta. Todo lo que contenía era cierto. Y podría haber matado a alguien, no porque la IA fuera estúpida, sino porque era convincente, y nadie estaba preparado para comprobar aquello que no dijo. La seguridad en la IA clínica no consiste en detectar el error obvio. Consiste en construir la infraestructura para detectar el invisible, antes de que lo haga el paciente.