La IA de tu médico te escribió un mensaje que podría matarte, y nadie te lo dijo

El año pasado estaba en una llamada con el director de tecnología de un sistema de salud cuando dijo algo que me heló la sangre.

"Ahora tenemos a GPT redactando los mensajes del portal del paciente. A los médicos les encanta. Les ahorra horas cada semana. Prácticamente hemos terminado con la implementación de la IA".

Terminado. Esa palabra se me asentó en el pecho como una piedra. Porque acababa de terminar de leer un estudio —publicado en The Lancet Digital Health en abril de 2024, por investigadores de la Facultad de Medicina de Harvard, Yale y la Universidad de Wisconsin— que contaba una historia muy distinta. En ese estudio, GPT-4 redactó 156 mensajes del portal del paciente dentro de una historia clínica electrónica simulada. El 7,1 % de esos borradores planteaba un riesgo de daño grave. Uno —el 0,6 %— planteaba un riesgo directo de muerte.

Y aquí está la cifra que me hizo dejar el café y releer el párrafo tres veces: los veinte médicos de atención primaria en ejercicio que revisaron esos borradores de IA pasaron por alto en promedio el 66,6 % de los errores peligrosos.

El director de tecnología no estaba siendo negligente. Estaba haciendo lo que hacía toda la industria: envolver un modelo de lenguaje de propósito general en una fina capa de software, apuntarlo a los mensajes de los pacientes y confiar en que los ojos de un médico al final del proceso detectarían cualquier cosa que saliera mal.

He pasado los últimos años construyendo en Veriprajna sistemas de IA diseñados para estar fundamentados —anclados a conocimiento verificado, no solo a probabilidad estadística—. Y este estudio cristalizó algo que venía argumentando en salas donde la gente no quería escucharlo: el "humano en el bucle" no es un mecanismo de seguridad. Es una plegaria.

¿Qué pasa cuando la IA escribe la respuesta de tu médico?

Déjame pintar el panorama de por qué existe esta tecnología en primer lugar, porque la necesidad es real y urgente.

Los médicos de atención primaria en Estados Unidos dedican en promedio 10 horas al mes solo a responder mensajes del portal del paciente. Y ese es trabajo no remunerado, por cierto: históricamente no facturable. Es uno de los principales motores de la crisis de agotamiento que está expulsando a los médicos de la medicina por completo.

Así que cuando surgieron herramientas de IA capaces de redactar respuestas empáticas, detalladas y gramaticalmente pulidas a las preguntas de los pacientes —respuestas que a menudo obtenían una puntuación más alta en calidad percibida que las que escribían los médicos exhaustos a las 11 de la noche—, la adopción fue veloz. MyChart de Epic integró la redacción con IA. Las startups recaudaron cientos de millones. Los sistemas de salud celebraron las mejoras de eficiencia.

Y lo entiendo. De verdad que sí. El problema del agotamiento no es abstracto para mí. Me he sentado frente a médicos que describían su bandeja de entrada como un segundo empleo a tiempo completo, uno que los hacía resentir a los pacientes a quienes se dedicaron a ayudar cuando entraron en la medicina.

Pero la eficiencia sin exactitud en la atención sanitaria no es innovación. Es negligencia esperando a un demandante.

El estudio de The Lancet que debería haber sido una alarma de incendios

El estudio de abril de 2024 no fue un pequeño piloto ni un artículo de opinión. Fue una simulación transversal con médicos en ejercicio revisando borradores generados por IA en un entorno realista de historia clínica electrónica. Los investigadores sembraron deliberadamente algunos borradores con errores —el tipo de errores que los modelos de lenguaje producen de verdad— y luego observaron qué ocurría.

Lo que ocurrió fue demoledor.

El 90 % de los médicos revisores declaró confiar en el rendimiento de la herramienta de IA. Consideraron que reducía su carga cognitiva: el 80 % estuvo de acuerdo en ese punto. Los borradores eran fluidos, empáticos, bien estructurados. Se sentían correctos.

Pero solo un médico de cada veinte detectó los cuatro borradores intencionadamente erróneos. Uno. Y entre el 35 % y el 45 % de los borradores erróneos se enviaron a los pacientes completamente sin editar.

Cuando un borrador de IA se lee mejor que lo que escribiría un médico cansado al final de un turno de 12 horas, el instinto no es examinarlo con detalle. Es pulsar enviar.

Este fenómeno tiene un nombre: sesgo de automatización —la bien documentada tendencia de los humanos a confiar en exceso en las sugerencias automatizadas, aplicando menos escrutinio crítico del que aplicarían a su propio trabajo o al de un colega—. Los investigadores de The Lancet hallaron que la correlación era estadísticamente significativa (p < 0,001): cuanto mejor parecía el borrador de IA en la superficie, más probable era que un médico pasara por alto un error clínico oculto.

Los errores no eran erratas. Eran fallos de razonamiento clínico. La IA fabricaba información médica. Hacía referencia a protocolos obsoletos. En el caso señalado como riesgo de muerte, no le indicó a un paciente que experimentaba un síntoma potencialmente mortal que acudiera a urgencias, sino que generó una respuesta calmada, tranquilizadora y fatalmente errónea que restaba urgencia.

Sigo volviendo a ese caso concreto. El mensaje probablemente se leía de maravilla. Cálido. Empático. Detallado. Y si un paciente hubiera seguido su consejo, podría haber muerto en casa esperando una cita para el lunes.

¿Por qué el "médico en el bucle" sigue fallando?

Tuve una discusión sobre esto con un colega que construye herramientas de IA clínica. Su postura era directa: "El médico lo revisa todo. Esa es la red de seguridad".

Le hice una pregunta: "Si le dieras a un médico un montón de 50 mensajes, 48 de los cuales estuvieran perfectamente bien, y le dijeras que todos los escribió la IA, ¿con cuánto cuidado crees que leería el mensaje número 37?".

Se quedó pensando.

Este es el problema de fondo. El modelo del humano en el bucle asume que la atención humana es constante, que la fatiga no degrada la vigilancia y que la calidad de la prosa de la IA no influye en la profundidad de la revisión. Cada una de esas suposiciones es errónea, y los datos de The Lancet lo demuestran.

El "humano en el bucle" no es un mecanismo de seguridad cuando al humano se le ha condicionado psicológicamente para confiar en la máquina.

También hay un problema arquitectónico más profundo. Los modelos de lenguaje estándar son autorregresivos: predicen la siguiente palabra basándose en la probabilidad estadística, no en un razonamiento médico estructurado. No "entienden" que un síntoma es urgente. No "saben" que una guía se actualizó el mes pasado. Generan texto que suena como un clínico competente porque han sido entrenados con millones de ejemplos de clínicos competentes escribiendo. Pero sonar correcto y ser correcto son cosas peligrosamente distintas en medicina.

Escribí sobre esta brecha arquitectónica en profundidad en la versión interactiva de nuestra investigación, pero la versión corta es: un modelo de lenguaje no tiene un modelo del paciente. Tiene un modelo del lenguaje. Y no son lo mismo.

California acaba de convertir esto en el problema de todos

Mientras la comunidad investigadora daba la voz de alarma, la legislatura de California estaba redactando una ley. El Proyecto de Ley de la Asamblea 3030, firmado en septiembre de 2024, entra en vigor el 1 de enero de 2025. Exige que todo centro de salud, clínica y consultorio médico de California notifique a los pacientes siempre que se utilice IA generativa para comunicar información clínica.

Los mensajes escritos necesitan una advertencia en la parte superior. Los mensajes de audio necesitan divulgación verbal al inicio y al final. Las comunicaciones por video y chat necesitan advertencias mostradas durante toda su duración.

Aquí es donde se pone interesante, y donde creo que la mayoría de los sistemas de salud están malinterpretando la ley.

La AB 3030 incluye una exención: si un proveedor con licencia ha "leído y revisado" la comunicación generada por IA, los requisitos de divulgación no aplican. Sobre el papel, esto parece un salvoconducto. Mantén al médico en el bucle, sáltate la advertencia y conserva la ilusión de que cada mensaje se elabora personalmente.

Pero combina esa exención con los datos de The Lancet —el 66 % de los errores pasados por alto, entre el 35 % y el 45 % de los borradores peligrosos enviados sin editar— y tienes una bomba de relojería jurídica. Un sistema de salud que afirma que sus médicos "leyeron y revisaron" los borradores de IA mientras esos médicos demostrablemente pasan por alto dos tercios de los errores no está en cumplimiento. Está expuesto.

Le dije al director de tecnología en aquella llamada: "La exención no es un escudo. Es un acelerador de responsabilidad, a menos que la tecnología ayude activamente al revisor a detectar lo que su cerebro está programado para pasar por alto".

¿Qué falla realmente en el enfoque del "envoltorio de LLM"?

La mayoría de las startups de IA sanitaria en este momento están construyendo lo que yo llamo envoltorios: finas capas de software que trasladan los datos del paciente a la API de un LLM comercial y devuelven la respuesta con algo de formato. Son rápidos de construir, fáciles de demostrar y fundamentalmente inadecuados para uso clínico.

Tres problemas hacen que los envoltorios sean peligrosos:

Los cortes de conocimiento son asesinos invisibles. Los LLM públicos se entrenan con conjuntos de datos estáticos. No conocen la guía que cambió el trimestre pasado, la interacción farmacológica señalada el mes pasado ni los resultados de laboratorio del paciente de esta mañana. Un envoltorio que no integra datos clínicos en tiempo real genera respuestas en el vacío: un vacío cuya existencia el médico que revisa el borrador quizá ni siquiera perciba.

La predicción de tokens no es razonamiento clínico. Cuando GPT-4 escribe "debería continuar con su medicación actual", no está evaluando su función renal, sus interacciones farmacológicas ni sus últimos análisis de sangre. Está prediciendo qué palabras es estadísticamente probable que sigan a las anteriores. En radiología, oncología, cualquier ámbito que requiera una interpretación diagnóstica matizada, esta brecha entre la fluidez lingüística y la exactitud médica es donde los pacientes salen perjudicados.

La seguridad es una ocurrencia tardía. Muchas interfaces de LLM de propósito general no cumplen inherentemente con la HIPAA. Sin un enmascaramiento riguroso de los datos y un adecuado Acuerdo de Asociado Comercial, cada mensaje de paciente enrutado a través de una API comercial es una posible vulneración de la privacidad. Y los ataques de inyección de instrucciones —en los que entradas adversarias engañan al modelo para que revele contexto interno o datos del paciente— siguen siendo una vulnerabilidad en gran medida sin resolver en las arquitecturas de envoltorio.

¿Cómo se construye una IA que sea realmente segura para los pacientes?

Aquí es donde paso de crítico a constructor, porque la crítica sin alternativas no es más que ruido.

En Veriprajna hemos estado desarrollando lo que concibo como IA fundamentada: sistemas donde el modelo de lenguaje nunca es la única fuente de verdad. Siempre está atado a conocimiento clínico verificado y siempre es transparente sobre la procedencia de sus respuestas.

La capa de recuperación lo cambia todo

La generación aumentada por recuperación (RAG) es el cimiento. Antes de que la IA genere una sola palabra de una respuesta al paciente, primero recupera documentos relevantes de un corpus verificado: las notas clínicas del paciente, las guías institucionales vigentes, la literatura revisada por pares. El modelo entonces condiciona su respuesta a este contexto recuperado, no solo a sus datos de entrenamiento.

Esto no es un ajuste menor. Es una arquitectura fundamentalmente diferente. Un sistema basado en RAG puede citar sus fuentes —"Según sus resultados de laboratorio del 12 de marzo y las guías vigentes de la ACC/AHA..."—, lo que transforma la revisión del médico de "¿esto suena bien?" a "¿es correcta esta fuente?". La segunda pregunta es muchísimo más fácil de responder, incluso a las 11 de la noche de un jueves.

Los grafos de conocimiento le dan a la IA algo que los envoltorios nunca pueden: relaciones

La siguiente capa son los grafos de conocimiento médico: redes estructuradas que representan el conocimiento clínico no como texto, sino como conceptos interconectados. Un grafo de conocimiento no solo sabe que la metformina es un medicamento para la diabetes. Conoce el mecanismo de acción de la metformina, sus contraindicaciones en la insuficiencia renal, sus interacciones con el medio de contraste y el umbral específico de eGFR por debajo del cual debe suspenderse.

Sistemas como MediGRAF utilizan bases de datos de grafos como Neo4j para combinar consultas estructuradas precisas con recuperación narrativa, logrando un 100 % de exhaustividad en consultas clínicas factuales a la vez que mantienen los estándares de seguridad para inferencias complejas. Cuando vi por primera vez esas cifras de exhaustividad, me mostré escéptico, así que sometimos el enfoque a pruebas de estrés contra casos límite que habían hecho tropezar a todos los sistemas basados en envoltorios que habíamos evaluado. El grafo aguantó.

Para el desglose técnico completo de estos enfoques arquitectónicos —canalizaciones de RAG, integración de grafos de conocimiento, modelado a nivel de concepto—, consulta nuestro documento de investigación detallado.

El problema de las pruebas del que nadie quiere hablar

Recuerdo la demostración de una startup de IA sanitaria: pulida, impresionante, del tipo que hace que los inversores busquen su chequera. La IA redactó un mensaje para un paciente sobre cómo manejar un nuevo diagnóstico de diabetes. Era cálido, exhaustivo, accionable.

Pregunté: "¿Qué pasa si le digo al sistema que soy alérgico al medicamento que acaba de recomendar?".

El fundador se quedó pensando. "El médico lo detectaría".

Ahí estaba de nuevo. La plegaria.

Construir una IA clínica segura requiere pruebas adversarias, no como una ocurrencia tardía, sino como un proceso continuo y automatizado. En Veriprajna utilizamos marcos como Med-HALT (Medical Domain Hallucination Test), que se diseñó específicamente para identificar alucinaciones de la IA sanitaria mediante técnicas como la Prueba de Confianza Falsa, en la que se reta al modelo a evaluar una respuesta incorrecta sugerida al azar, y la Prueba de Preguntas Falsas, que determina si el modelo puede identificar consultas médicas fabricadas.

También ejecutamos red teaming automatizado: ataques simulados que sondean vulnerabilidades de inyección de instrucciones, intentos de extraer datos del paciente mediante preguntas indirectas y patrones de jailbreak que tratan de eludir las salvaguardas clínicas. Todos los días. No trimestralmente. No antes de un lanzamiento. Todos los días.

Si tu sistema de IA no ha sido atacado por un equipo rojo esta semana, no sabes si es seguro. Sabes que era seguro la última vez que lo comprobaste.

Un hallazgo de una investigación reciente que me atormenta: los modelos "especializados en medicina" como MedGemma alcanzaron solo entre el 28 % y el 61 % de exactitud en ciertos parámetros de referencia, mientras que modelos de razonamiento más amplios los superaron. La implicación es contraintuitiva pero importante: la seguridad en la IA clínica emerge de capacidades de razonamiento sofisticadas, no solo del ajuste fino específico de dominio. Ponerle una etiqueta médica a un modelo no lo hace médicamente seguro.

El panorama de la mala praxis está cambiando bajo los pies de todos

Aquí hay una conversación que he tenido con tres asesores jurídicos generales de hospitales distintos en el último año, y transcurre más o menos igual cada vez.

Yo: "Si tu IA redacta un mensaje que daña a un paciente, y el médico revisor pasó por alto el error, ¿quién es responsable?".

Ellos: "El médico. Lo revisó y lo aprobó".

Yo: "¿Y si el abogado del demandante muestra que tu sistema fue diseñado de una manera que condicionó psicológicamente al médico para pasar por alto errores —que la fluidez de la IA creó una falsa sensación de seguridad—, cambia eso tu análisis?".

Silencio.

El estándar de atención en medicina está evolucionando para tener en cuenta la IA. Los tribunales están empezando a reconocer que no utilizar una herramienta de IA validada que podría haber evitado un error podría constituir un incumplimiento del deber. Pero también está surgiendo lo inverso: utilizar una herramienta de IA no validada, o utilizar una herramienta validada de una manera que socave la supervisión humana, genera su propia responsabilidad.

La deriva de los modelos agrava esto. Los sistemas de IA se degradan con el tiempo a medida que se reentrenan con nuevos datos. El modelo que superó tu evaluación de seguridad hace seis meses puede no ser el modelo que genera los mensajes de los pacientes hoy. Sin registros de auditoría con control de versiones que muestren exactamente qué modelo produjo qué resultado y qué pasos de razonamiento siguió, un sistema de salud no tiene una posición defendible ante un tribunal.

Algunos productos más nuevos de seguro por mala praxis están empezando a cubrir reclamaciones relacionadas con la IA, pero por lo general tienen límites bajos y exigen prueba documentada de supervisión humana: la misma supervisión que el estudio de The Lancet demostró que no es fiable.

"Pero a los pacientes les gustan más los mensajes de IA"

La gente me rebate con este argumento, y quiero abordarlo con honestidad porque los datos son reales. Los estudios han demostrado que los pacientes califican los mensajes redactados por IA más alto en empatía y detalle que los escritos por médicos. Eso no es poca cosa. En un sistema de salud donde los pacientes se sienten desatendidos, una IA que se toma el tiempo de explicar, de reconocer, de tranquilizar tiene un valor genuino.

Pero esto es lo que la investigación también muestra: las calificaciones de satisfacción del paciente disminuyen cuando los pacientes se enteran de que hubo IA involucrada. Hay un sesgo de automatización inverso en juego: los pacientes valoran la creencia de que su médico está personalmente implicado en su cuidado. La relación clínica les importa, y se dan cuenta cuando ha sido intermediada, incluso si la intermediación produjo un mensaje "mejor".

Esto me dice algo importante sobre dónde encaja la IA en este flujo de trabajo. No debería estar escribiendo en la sombra por el médico. Debería estar haciendo el trabajo estructurado, recuperable y verificable —extraer resultados de laboratorio, comprobar guías, señalar interacciones— para que el médico tenga el ancho de banda para escribir una respuesta genuinamente personal al paciente que la necesita.

El objetivo de la IA clínica no es reemplazar la voz del médico. Es devolverle al médico el tiempo para usarla.

Hacia dónde va esto a partir de aquí

No voy a terminar con un ambiguo "el tiempo lo dirá" ni con un discurso suave a favor de mi empresa. Voy a decirte lo que creo.

La generación actual de herramientas de IA para mensajería a pacientes causará daños. No que podría, sino que lo hará. La aritmética es sencilla: una tasa de daño grave del 7,1 % en los borradores de IA, una tasa de omisión del 66 % por parte de los médicos revisores, escalada a lo largo de millones de mensajes del portal del paciente al mes en todo el sistema de salud de EE. UU. Los incidentes se acumularán. Las demandas seguirán. Y la respuesta regulatoria será contundente y punitiva, porque la evidencia de que esto era previsible ya está publicada en The Lancet.

Los sistemas de salud que eviten esto no son los que se mueven despacio. Son los que se mueven de otra manera. Eso significa arquitecturas de RAG fundamentadas en conocimiento médico verificado. Grafos de conocimiento que le dan a la IA razonamiento clínico estructurado en lugar de predicción estadística de palabras. Pruebas adversarias que se ejecutan de forma continua, no ceremonial. E interfaces de revisión diseñadas para contrarrestar el sesgo de automatización, no para explotarlo.

Construimos Veriprajna para hacer este trabajo, no porque viéramos una oportunidad de mercado, sino porque vi a personas inteligentes y bienintencionadas desplegar sistemas que podían dañar a los pacientes, y la brecha entre lo que estaban construyendo y lo que la evidencia exigía era inadmisible.

La primera regla de la medicina es primum non nocere: lo primero, no hacer daño. Hemos pasado los últimos dos años construyendo una IA que toma esa regla como una restricción de ingeniería, no como un eslogan de marketing. La tecnología para hacer esto bien existe. La investigación que prueba que el enfoque actual es peligroso existe. La única pregunta que queda es si la industria actúa sobre la evidencia antes de que la evidencia actúe sobre la industria.