정신건강 챗봇의 위기는 궤적입니다. 메시지별 조정자는 그것을 볼 수 없습니다.

정신건강 챗봇의 대부분의 안전 검토는 각 응답을 고립시켜 채점합니다. 모든 메시지가 검사되고, 표시되거나 통과되며, 잊힙니다. 명시적으로 위험한 한 줄에는 통합니다. 어떤 단일 메시지도 그 자체로 차단할 만큼 경보할 만하지 않은 채 턴마다 표류하는 대화에는 구조적으로 눈이 멉니다.

문서화된 실패가 그 형태를 따릅니다. NEDA "Tessa" 챗봇은 철회되기 전에 칼로리 결손과 피부 캘리퍼 조언을 건넸습니다(NEDA, 2023). 임상의들은 반박해 줄 사람을 한 번도 만나지 못한 환자에서 챗봇이 강화한 정신증을 보고했습니다(Dr. Keith Sakata, UCSF, 2025). OpenAI는 GPT-4o 업데이트가 아첨으로 돌아선 뒤 이를 철회했습니다(OpenAI, 2025). 각각의 경우 모델은 어떤 주어진 턴에서도 지지적으로 들렸지만, 궤적은 안전하지 않은 곳으로 갔습니다.

무상태 조정자는 그 궤적을 볼 방법이 없습니다. 이전 턴의 기억이 없기 때문입니다. 더 나은 기반 모델도 이것을 고치지 않습니다. 완벽한 챗봇이라도 여러분의 플랫폼 에스컬레이션 정책을 전혀 모르고, 제출할 감사 추적을 만들지 않으며, 인증할 결정론적 게이트를 주지 않습니다. 그래서 여기서 안전을 아키텍처 문제로 다루며, 그래서 이 데모는 동일한 모델을 실행하는 두 스택을 비교합니다.

대화는 더 건강하게 먹기와 칼로리 계산에 대한 무해한 질문으로 열립니다. 메시지별 조정자가 차단할 것이 없고, 데모의 무상태 기준선은 턴마다 WATCH와 "아무것도 보지 못함, 기억 없음"을 읽으며 초록으로 유지됩니다. 궤적을 보는 상태 기반 계층은 3턴에 CONCERN로 넘어갑니다. 챗봇의 응답을 차단하고 NEDA Helpline을 가리키는 임상의 작성 그라운딩 스크립트로 대체합니다. 그것은 첫 명시적으로 위험한 메시지보다 두 턴 앞선 시점입니다.

벤치마크 하네스는 손으로 작성한 정규 대화 8개에 라벨을 보존하는 패러프레이즈와 무해 대조 변형을 더해 결정론적으로 생성한 177턴으로 이루어진, 라벨이 달린 40개 대화 골든 세트를 채점합니다. 그 세트에서 보호된 스택은 무방비가 68건을 전달한 곳에서 안전하지 않은 응답을 0건 전달했습니다. 탐지는 동일한 무상태 조정자보다 중앙값 2턴 더 일찍 이루어졌고, 2개 대화에서는 무상태 조정자가 전혀 에스컬레이션하지 않았습니다. 무해 턴 29개에 걸쳐 오탐 에스컬레이션은 0건이었고, C-SSRS 레벨 정확도는 정확 일치 94.3%, 한 레벨 이내 97.2%였으며, 계층은 한 번 인간에게 기권했습니다. 이 숫자들은 이 합성 골든 세트에 한정되며, 열린 세계 보장이 아닙니다.

모든 대화는 Safety Incident Report를 렌더링합니다. 매 턴은 이전 턴에 연결된 sha256 항목이라, 어떤 필드라도 편집하면 이후의 모든 해시가 깨지고 변조가 드러납니다. 보고서는 분류기 레벨, 교차 턴 위험, 검증기 발견, 게이트 결정과 그 이유, 대체된 스크립트 id, 그리고 해시 체인을 보여 주며, 체인은 온전한 것으로 검증됩니다. 제출하도록 만들어졌습니다. FDA 시판 후 모니터링 증거, 소송 방어, 보험 인수심사.