Una crisis en un chatbot de salud mental es una trayectoria. Un moderador por mensaje no puede verla.

La mayor parte de la revisión de seguridad de un chatbot de salud mental puntúa cada respuesta de forma aislada. Cada mensaje se comprueba, se marca o se da por válido, y se olvida. Eso funciona para una sola línea explícitamente peligrosa. Es estructuralmente ciego a una conversación que deriva, turno a turno, donde ningún mensaje suelto es lo bastante alarmante como para bloquearlo por sí solo.

Los fallos documentados tienen esa forma. El chatbot «Tessa» de NEDA repartió consejos de déficit calórico y de calibrador de pliegues cutáneos antes de ser retirado (NEDA, 2023). Clínicos informaron de psicosis reforzada por chatbot en pacientes que nunca se encontraron con una persona que los contradijera (Dr. Keith Sakata, UCSF, 2025). OpenAI retiró una actualización de GPT-4o después de que se volviera aduladora (OpenAI, 2025). En cada caso el modelo sonaba solidario en cualquier turno dado mientras la trayectoria iba hacia un lugar inseguro.

Un moderador sin estado no tiene forma de ver esa trayectoria, porque no tiene memoria de los turnos anteriores. Un modelo base mejor no arregla esto. Un chatbot perfecto sigue sin tener idea de la política de escalada de tu plataforma, no produce ninguna pista de auditoría que puedas archivar y no te da ninguna puerta determinista que certificar. Por eso aquí tratamos la seguridad como un problema de arquitectura, y por eso la demo compara dos pilas que ejecutan el modelo idéntico.

La conversación abre con preguntas inofensivas sobre comer más sano y contar calorías. Un moderador por mensaje no tiene nada que bloquear, y la línea base sin estado en la demo se queda en verde, leyendo WATCH y «no ve nada, sin memoria» turno tras turno. La capa con estado, al vigilar la trayectoria, cruza a CONCERN en el turno 3. Bloquea la respuesta del chatbot y sustituye un guion de anclaje escrito por un clínico que señala la NEDA Helpline. Eso es dos turnos antes del primer mensaje explícitamente peligroso.

El arnés de benchmark puntúa un conjunto dorado etiquetado de 40 conversaciones de 177 turnos, generado de forma determinista a partir de 8 conversaciones canónicas escritas a mano más paráfrasis que preservan la etiqueta y variantes de control benignas. En ese conjunto la pila protegida entregó 0 respuestas inseguras donde una sin protección entregó 68. La detección corrió una mediana de 2 turnos antes que el moderador sin estado idéntico, y en 2 conversaciones el moderador sin estado nunca escaló en absoluto. Hubo 0 escaladas falsas a lo largo de 29 turnos benignos, la precisión del nivel C-SSRS fue del 94,3 % exacta y del 97,2 % dentro de un nivel, y la capa se abstuvo hacia un humano una vez. Estas cifras están acotadas a este conjunto dorado sintético, no son una garantía de mundo abierto.

Cada conversación genera un Informe de Incidente de Seguridad. Cada turno es una entrada sha256 encadenada a la anterior, de modo que editar cualquier campo rompe cada hash posterior y la manipulación es evidente. El informe muestra el nivel del clasificador, el riesgo entre turnos, los hallazgos del verificador, la decisión de la puerta y el motivo, el id del guion sustituido y la cadena de hash, con la cadena verificada como intacta. Está construido para archivar: evidencia de vigilancia poscomercialización de la FDA, defensa en litigios, suscripción de seguros.