Los mensajes a pacientes con IA tuvieron una tasa de daño grave del 7 %

El problema

Una IA redactó una respuesta para un paciente que describía un síntoma potencialmente mortal. En lugar de indicarle al paciente que acudiera a urgencias, envió una respuesta tranquila y rutinaria. Ese único mensaje fue clasificado posteriormente como un riesgo directo de muerte.

Esto no fue un fallo marginal. En un estudio de abril de 2024 publicado en The Lancet Digital Health, investigadores de la Facultad de Medicina de Harvard, Yale y la Universidad de Wisconsin evaluaron la capacidad de GPT-4 para redactar mensajes en portales de pacientes. Procesaron 156 conversaciones simuladas de pacientes a través de la IA dentro de un sistema simulado de historia clínica electrónica. Los resultados fueron alarmantes: el 7,1 % de los borradores generados por IA presentaban un riesgo de daño grave para los pacientes. Y el 0,6 % —un mensaje en la simulación— conllevaba un riesgo directo de muerte.

Pero aquí está la parte que debería quitarle el sueño. Veinte médicos de atención primaria en ejercicio revisaron esos borradores de IA. Pasaron por alto un promedio de dos tercios de los errores peligrosos. Solo un médico de cada veinte detectó los cuatro mensajes con errores intencionados. Entre el 35 % y el 45 % de los borradores erróneos se enviaron a los pacientes sin ninguna modificación. Los médicos confiaban en la IA. El noventa por ciento afirmó que confiaba en el rendimiento de la herramienta. El ochenta por ciento dijo que reducía su carga de trabajo mental. La IA escribía bien, sonaba empática y acertaba con el tono. Simplemente se equivocó en la parte médica, y los médicos no se dieron cuenta.

Si su sistema de salud utiliza IA para redactar comunicaciones con pacientes, este es su perfil de riesgo en este momento.

Por qué esto le importa a su empresa

La exposición financiera y legal aquí no es teórica. Es cuantificable y va en aumento.

El Proyecto de Ley de la Asamblea de California 3030 (AB 3030) entró en vigor el 1 de enero de 2025. Exige que todo centro sanitario, clínica y consulta médica notifique a los pacientes siempre que se utilice IA generativa para comunicar información clínica. Esto significa advertencias por escrito en la parte superior de los correos electrónicos, advertencias verbales al inicio y al final de las llamadas telefónicas y advertencias persistentes a lo largo de las interacciones por vídeo y chat. Si no cumple con la normativa, sus centros se enfrentan a multas y sanciones sobre sus licencias. Sus médicos individuales se enfrentan a medidas disciplinarias contra sus licencias médicas.

La ley AB 3030 incluye una exención: si un profesional sanitario colegiado "lee y revisa" el resultado de la IA, no es necesario divulgarlo. Pero considere los datos del estudio de The Lancet:

• 7,1 % de los borradores generados por IA presentaban riesgo de daño grave
• 66,6 % de esos borradores peligrosos fueron pasados por alto por los médicos revisores
• 35 %–45 % de los borradores erróneos se enviaron sin ninguna modificación
• 90 % de los médicos declaró confiar en el rendimiento de la herramienta de IA

Esa exención asume que la revisión humana realmente funciona. La evidencia demuestra que a menudo no es así. Si un paciente sufre daños por un mensaje redactado por IA que su médico aprobó sin una revisión significativa, usted se enfrenta a una demanda por negligencia médica en la que el estándar de atención está evolucionando rápidamente. Los tribunales se preguntan ahora si los profesionales sanitarios aceptaron las recomendaciones de la IA a ciegas. Están reconociendo el sesgo algorítmico como una fuente de daño real para el paciente. Y su aseguradora de responsabilidad civil médica puede exigir registros de auditoría documentados que demuestren la versión del modelo, los pasos de razonamiento y las modificaciones específicas del médico.

Nuevos productos de seguros cubren ahora las reclamaciones por alucinaciones de IA, pero vienen con límites bajos y estrictos requisitos de documentación de supervisión. Si no puede presentar esa documentación, es posible que su cobertura no se mantenga.

Qué está ocurriendo realmente bajo el capó

La mayoría de las herramientas de IA en salud actuales son lo que el sector llama «envoltorios de LLM» (LLM wrappers). Imagínelas como una delgada capa de software alrededor de una IA de propósito general como GPT-4 o Google Gemini. Su sistema de historia clínica electrónica envía el mensaje del paciente a la IA, y la IA devuelve un borrador. Ese es esencialmente todo el sistema.

He aquí por qué esto es peligroso. Estos modelos predicen la siguiente palabra de una frase basándose en patrones estadísticos. No razonan sobre medicina. No comprueban las interacciones farmacológicas. No evalúan si el síntoma de un paciente es una molestia de un martes por la mañana o una urgencia de un sábado por la noche. El estudio de The Lancet reveló que los fallos más críticos de la IA se debieron a su incapacidad para evaluar la urgencia de la situación del paciente.

Imagine a un empleado que redacta memorandos copiando frases de miles de memorandos antiguos. La gramática es perfecta. El tono es profesional. Pero el empleado no tiene idea de lo que significan realmente las palabras. Así es como una IA de propósito general gestiona los mensajes de sus pacientes.

Estos modelos también tienen límites temporales de conocimiento (knowledge cutoffs): fechas fijas a partir de las cuales no saben nada. No pueden consultar los resultados de laboratorio más recientes de su paciente ni las guías clínicas más recientes a menos que alguien construya esa conexión. A menudo no pueden procesar imágenes médicas, trazados de ECG ni datos genómicos. Y sin un acuerdo de socio comercial (BAA) específico de HIPAA y protocolos de enmascaramiento de datos, enviar datos de pacientes a través de la API de una IA de propósito general genera un grave riesgo para la privacidad. Los ataques de inyección de prompts adversarios pueden engañar potencialmente a estos modelos para que revelen información confidencial de los pacientes.

El resultado: su IA suena segura de sí misma. Sus médicos confían en ella. Y nadie detecta los errores hasta que un paciente resulta perjudicado.

Qué funciona (y qué no)

En primer lugar, he aquí tres enfoques que no resuelven este problema:

«Basta con formar a los médicos para que sean más cuidadosos». El sesgo de automatización es un efecto psicológico bien documentado. Cuando la IA genera textos pulidos y empáticos, incluso los clínicos experimentados bajan la guardia. El estudio de The Lancet demostró esto con significación estadística (p < 0.001).

«Ajustar un modelo de IA médica (fine-tuning)». Las investigaciones demuestran que los modelos médicos especializados como MedGemma obtuvieron solo un 28 %–61 % de precisión en algunas pruebas de alucinación. El ajuste fino por dominio por sí solo no soluciona la brecha de razonamiento subyacente.

«Añadir un aviso legal y seguir adelante». El cumplimiento de la ley AB 3030 es necesario, pero no suficiente. Un aviso no previene los daños. Simplemente le dice al paciente a quién culpar.

Esto es lo que realmente funciona: una arquitectura fundamentada construida en tres pasos:

Paso 1: Recuperar antes de generar. Antes de que su IA escriba una sola palabra, debe extraer el material de origen relevante. Esto se denomina generación aumentada por recuperación (RAG, Retrieval-Augmented Generation), una técnica en la que se proporcionan a la IA documentos verificados, como las notas clínicas del paciente, las guías de tratamiento vigentes y los protocolos institucionales. A continuación, la IA genera su respuesta basándose únicamente en esa información recuperada, no en sus datos de entrenamiento general.

Paso 2: Estructurar su conocimiento como un grafo. Un grafo de conocimiento médico mapea conceptos clínicos como relaciones interconectadas: un fármaco se vincula con sus contraindicaciones, que a su vez se vinculan con patologías específicas del paciente. Sistemas como MediGRAF utilizan bases de datos de grafos para traducir preguntas en lenguaje natural en consultas precisas. Esto logra una exhaustividad (recall) del 100 % en consultas clínicas basadas en hechos, ya que el sistema recorre relaciones verificadas y no conjeturas estadísticas.

Paso 3: Citar cada afirmación. Cada declaración en el resultado de la IA debe remitir a su documento de origen. El médico revisor no tiene que adivinar si la IA tiene razón. Puede verificar cada afirmación con respecto a la fuente citada en cuestión de segundos. Esto transforma la revisión pasiva en una verificación activa.

La ventaja del registro de auditoría es lo que hace que este enfoque sea defendible. Cada borrador generado por IA incluye un registro de qué documentos se recuperaron, qué rutas del grafo de conocimiento se recorrieron y qué fuente respalda cada afirmación. Cuando su equipo de cumplimiento, su aseguradora o el abogado de un demandante pregunten cómo se generó un mensaje específico, usted podrá mostrarles la trazabilidad lógica completa. Esa es la diferencia entre un proceso defendible y una responsabilidad legal.

Para sus programas de cumplimiento y seguridad de IA en salud, esta arquitectura no es opcional: es el estándar de atención emergente. Los mismos principios se aplican a su infraestructura de RAG y grafos de conocimiento y a las pruebas de validación y red teaming que deberían someter a prueba de esfuerzo sus sistemas a diario.

Puede leer el análisis técnico completo para consultar las especificaciones de ingeniería detalladas, o explorar la versión interactiva para un recorrido guiado por la arquitectura.