¿Puede confiar en la IA en salud mental? Una llamada de atención para la seguridad del paciente

El problema

«Si hubiera accedido a este chatbot en plena agudización de mi trastorno alimentario... hoy no seguiría viva. Absolutamente todo lo que Tessa sugería eran cosas que alimentaban mi trastorno alimentario». Esa cita proviene de Sharon Maxwell, una superviviente de un trastorno alimentario que probó el chatbot de IA desplegado por la National Eating Disorders Association (NEDA).

En 2023, NEDA cerró su línea de ayuda atendida por personas y la reemplazó con un chatbot de IA llamado Tessa. Se suponía que el bot ayudaría a quienes luchan contra trastornos alimentarios. En cambio, les decía a los usuarios que mantuvieran un déficit calórico de 500 a 1.000 calorías al día. Recomendaba comprar adipómetros para medir la grasa corporal. Para alguien que batalla contra la anorexia, ese consejo no solo falla el objetivo: valida la enfermedad misma.

NEDA suspendió el chatbot tras la protesta pública. Pero el daño ya estaba hecho. La reputación de la organización sufrió un golpe del que quizá nunca se recupere del todo. Y la causa raíz no fue una falla aleatoria: fue un defecto fundamental en cómo se construyó el sistema de IA. El chatbot trató un grito de auxilio como una simple pregunta de bienestar. No tenía forma de comprender el contexto, ningún mecanismo para reconocer el peligro y ninguna regla que dijera «nunca dar consejos para perder peso a esta población».

Si su organización despliega IA en cualquier función orientada al paciente, este caso es su historia de advertencia. La pregunta no es si su IA suena empática. La pregunta es si su arquitectura puede impedir que cause daño.

Por qué esto importa para su negocio

La exposición financiera por fallos de IA en salud no es teórica. En 2024, las pérdidas globales por alucinaciones de IA —cuando la IA genera información falsa pero expresada con confianza— alcanzaron un estimado de $67.400 millones. Esa cifra abarca todas las industrias, pero la salud acarrea las consecuencias más severas.

Esto es lo que llega a su escritorio cuando la IA de salud sale mal:

• Riesgo regulatorio. La FDA traza una línea estricta entre las apps de «bienestar general» y el «Software as a Medical Device» (SaMD). Si su IA evalúa síntomas o sugiere tratamientos, puede calificar como dispositivo médico de Clase II. Registrar uno cuesta aproximadamente $11.423 al año solo en tasas, además de cientos de miles en validación clínica. Pero un retiro o una acción de cumplimiento de la FDA cuesta mucho más: puede cerrarlo por completo.

• Exposición a la responsabilidad. Los hospitales enfrentan responsabilidad vicaria por las herramientas que implementan. Si un chatbot pasa por alto un riesgo de suicidio que una enfermera de triaje habría detectado, el hospital es responsable. Los desarrolladores enfrentan responsabilidad por producto si el software se considera defectuoso. Un chatbot que alucina consejos médicos es, legalmente, un producto defectuoso.

• Brechas de seguro. La mayoría de las pólizas de negligencia médica cubren el error humano, no la alucinación algorítmica. Existe cobertura de responsabilidad específica para IA, pero las primas son elevadas para sistemas de «caja negra» que no pueden auditarse.

• Destrucción reputacional. La marca de NEDA sufrió un daño inmenso, posiblemente irreparable. En salud, la confianza es su activo más valioso. Una vez que los pacientes o el público pierden la confianza, puede que nunca la recupere.

• Desperdicio operativo. Muchas organizaciones gastan millones en verificación «Human-in-the-Loop», donde empleados revisan manualmente cada salida de la IA. Eso anula las ganancias de eficiencia por las que compraron la IA.

Su junta directiva preguntará: «¿Cuál es nuestra exposición?». Necesita una respuesta antes del incidente, no después.

Lo que realmente ocurre bajo el capó

Para entender por qué Tessa falló, necesita entender cómo funcionan realmente los grandes modelos de lenguaje (LLM) —los motores de IA detrás de la mayoría de los chatbots—. Un LLM no «conoce» las guías clínicas. Predice la siguiente palabra de una frase según patrones estadísticos de sus datos de entrenamiento.

Cuando alguien escribió «cómo perder peso» en Tessa, el modelo hizo exactamente aquello para lo que fue construido. Devolvió la respuesta estadísticamente más probable: déficits calóricos, registro de comidas, mediciones corporales. En una app general de bienestar, esa respuesta es perfectamente razonable. En una línea de ayuda para trastornos alimentarios, es clínicamente tóxica.

Este modo de falla tiene nombre: Colapso contextual. La IA procesó las palabras pero pasó por alto el contexto por completo. Trató un síntoma de la enfermedad —la obsesión con perder peso— como una solicitud legítima que debía satisfacerse.

Piénselo como un detector de humo conectado a un altavoz de música. El detector capta una señal (humo), pero en lugar de activar una alarma, reproduce una canción. El sensor funciona bien. La respuesta está completamente equivocada. La arquitectura falló porque nadie construyó una capa entre la detección y la respuesta que entendiera qué significaba realmente la señal.

Los LLM también sufren un comportamiento llamado sycophancy (adulación complaciente). Están entrenados para ser útiles, algo que el modelo suele interpretar como «complaciente». En terapia, los buenos profesionales clínicos contrarrestan el pensamiento peligroso. Un LLM tiende a validarlo. La investigación muestra que, cuando los chatbots se enfrentan a escenarios con delirios o ideación suicida, con frecuencia validan el delirio en lugar de desafiarlo. Crean lo que los investigadores llaman una «trampa de empatía»: usuarios que se sienten comprendidos por una máquina que simplemente predice texto.

Encima de todo esto, la mayoría de los sistemas de seguridad de los chatbots son stateless (sin estado). Analizan cada mensaje de forma aislada. No pueden rastrear si una conversación deriva de «alimentación saludable» a «contar calorías» a «cómo esconder comida». Sin conciencia a nivel de sesión, el peligro se acumula sin ser detectado.

Qué funciona (y qué no)

Empecemos por lo que no resuelve este problema.

Mejores prompts. Decirle a la IA «sé segura» en sus instrucciones de sistema no previene las alucinaciones. El modelo sigue generando salidas probabilísticas. No se puede llegar a una seguridad de grado clínico solo con prompts.

Filtros de palabras clave. Buscar palabras prohibidas como «suicidio» o «navaja» captura los casos obvios. Pero una frase como «no quiero despertarme mañana» no contiene ninguna palabra prohibida. Aun así, señala ideación suicida. Los filtros de palabras clave no captan el significado semántico.

Revisión post-hoc. Revisar las salidas de la IA después de que llegan al usuario es demasiado tarde. En una conversación de crisis, una sola respuesta dañina puede causar un daño irreversible. Se necesita prevención, no limpieza.

Lo que sí funciona es una capa arquitectónica separada —un Cortafuegos de Seguridad Clínica— que se sitúa entre el usuario y el modelo de IA. No le pide a la IA que sea segura. Fuerza la seguridad controlando lo que la IA tiene permitido hacer. Así funciona en tres pasos:

1. Monitor de entrada (antes de que la IA vea nada). Un modelo separado y especializado —no el chatbot— analiza cada mensaje del usuario en busca de riesgo clínico. Comprueba palabras clave, pero también ejecuta análisis semántico. Compara el mensaje con protocolos de triaje validados como la Columbia-Suicide Severity Rating Scale (C-SSRS), una herramienta estructurada de cribado utilizada en entornos clínicos. Si la puntuación de riesgo supera un umbral establecido, activa el siguiente paso.

2. Mecanismo de corte total (la IA queda desconectada). Cuando se detecta riesgo, el sistema no pasa el mensaje al chatbot con una advertencia: corta la conexión por completo. La conversación cambia del motor de IA a un guion de crisis preescrito y avalado clínicamente. La salida es determinista —es decir, la misma entrada siempre produce la misma respuesta segura—. Por ejemplo: «Me preocupa lo que está compartiendo. Por favor, contacte con la 988 Suicide & Crisis Lifeline».

3. Monitor de salida (comprobando lo que dice la IA). Incluso cuando la entrada parece segura, la respuesta de la IA se examina antes de que el usuario la vea. El monitor busca consejos médicos prohibidos, validación excesiva y afirmaciones alucinadas. Si la respuesta falla alguna comprobación, el sistema la bloquea y la sustituye por una alternativa segura.

Esta arquitectura también se integra con los registros electrónicos de salud (EHR) mediante los estándares FHIR —un protocolo de intercambio de datos sanitarios— para añadir contexto. Si el registro de un paciente señala antecedentes de anorexia, el cortafuegos reduce su umbral de riesgo para cualquier conversación relacionada con el peso. Un consejo general de bienestar sobre el azúcar puede estar bien para la mayoría de los usuarios. Para este paciente, el sistema lo bloquea.

La ventaja crítica para su equipo de cumplimiento: cada decisión que toma el cortafuegos —cada puntuación de riesgo, cada regla activada, cada acción realizada— queda registrada en una pista de auditoría inmutable. Cuando un regulador o un abogado pregunta «por qué hizo eso el sistema», usted puede señalar una regla concreta y una cadena lógica concreta. Convierte una caja negra en una caja blanca.

Para las organizaciones que ejecutan varios agentes de IA en un solo sistema, una capa de orquestación multiagente y control supervisor añade otra salvaguarda. Un agente «Guardián» dedicado vigila a los demás agentes y bloquea cualquier respuesta que viole las políticas de seguridad, incluso si el agente principal se desvía.

Tanto si opera en salud y ciencias de la vida como en cualquier industria regulada, el principio es el mismo. Sus flujos de trabajo deterministas y herramientas deben estar separados a nivel arquitectónico de su capa de IA generativa. La seguridad no puede ser una característica añadida a un chatbot. Debe ser la propia arquitectura.