0.001%의 미신을 넘어

텍사스 검찰총장의 합의는 의료 생성형 AI 기업을 상대로 한 것으로는 유례 없는 첫 사례였습니다. 해당 기업은 Houston Methodist, Children's Health System of Texas, Texas Health Resources, Parkland Hospital 등 텍사스의 주요 병원 4곳에 배치된 임상 문서화 소프트웨어에 대해 '치명적 환각률'이 0.001% 미만이라고 마케팅했습니다. 검찰총장은 이 지표가 부정확하고 기만적이라고 주장했습니다 — LLM은 본질적으로 확률적 엔진이며, 0.001% 정밀도로 환각을 측정하려면 존재하지 않는 극도로 큰 골드 스탠다드 데이터셋이 필요합니다. 임상 LLM의 현실적인 환각률은 2~5% 수준입니다. 5년짜리 자발적 이행 보증(Assurance of Voluntary Compliance)은 지표 투명성(계산 방법 공개), 유해한 용도에 대한 위험 공개, 학습 데이터 문서화, 검찰총장 정보 요청에 대한 30일 이내 응답을 의무화합니다. 결정적으로, 새로운 AI 전용 입법은 필요하지 않았습니다 — 기존 텍사스 DTPA 소비자 보호법으로 충분했습니다.

Med-HALT(Medical Domain Hallucination Test)는 네 가지 테스트 유형으로 임상 AI를 탐구하는 특화 프레임워크입니다. 잘못된 '암시 답'이 포함된 질문을 제시해 과신을 탐지하는 허위 확신 테스트(False Confidence Test), 조작된 의료 시나리오로 무의미한 질의 처리 능력을 평가하는 가짜 질문 테스트(Fake Questions), 학습 데이터의 사실 기억을 검증하는 PMID-to-Title Recall, 그리고 정답이 없어 누락된 정보 인식 능력을 평가하는 해당 사항 없음(None of the Above) 테스트가 그것입니다. FAIR-AI(Framework for Appropriate Implementation and Review)는 네 가지 기둥으로 더 넓은 배포 준비성을 다룹니다. 독립적인 제3자 검증과 함께 도메인 특화 임상 요구에 벤치마킹하는 검증(Validation), 인구통계 집단 간 공정성을 평가하는 형평성(Equity), 기술적 정확성 너머의 실제 임상 영향을 측정하는 유용성(Usefulness), 그리고 학습 데이터, 모델 버전, 알려진 실패 모드와 한계를 공개하는 'AI 라벨'을 통한 투명성(Transparency)입니다. 이 프레임워크들은 0.001% 주장 같은 단일 검증 불가능 지표에 대한 의존을 대체합니다.

Veriprajna의 단계별 AI 안전 등급(ASL) 프레임워크는 위험 수준과 요구되는 감독에 따라 사용 사례를 분류합니다. ASL 1-2(낮은 영향)는 주기적 감사와 표준 프라이버시 통제가 적용되는 일정 관리 같은 행정 작업을 다룹니다. ASL 3(중간 영향)는 의료진 검토 의무화와 투명성 로그가 필요한 임상 문서화 지원을 다룹니다. ASL 4(높은 영향)는 설명 가능한 출력과 휴먼인더루프 검증이 필요한 재입원 또는 재발 예측 위험 스코어링을 다룹니다. ASL 5(치명적 영향)는 에스컬레이션 프로토콜과 엄격한 가드레일이 필요한 위기 개입 챗봇 같은 자율적 환자 상호작용을 다룹니다. 이 프레임워크는 무작위 샘플링보다 임상적으로 유의한 환각을 찾는 데 7.5배 더 효과적인 적대적 AI 탐지로 뒷받침되며, 감지된 오류가 전문의에 의해 수정되기까지의 중앙값은 3.7시간입니다. 이를 통해 고위험 출력은 적절한 인간 검증 없이 제시되지 않습니다.