지금 AI에서 가장 위험한 숫자는 99.999%다

작년에 한 병원 CIO와 통화하던 중, 그가 한 벤더의 피치 덱을 띄우고 화면을 공유했습니다. 일곱 번째 슬라이드에는 72포인트 폰트로 가운데 정렬된 숫자 하나만 있었습니다: 환각률 <0.001%. 그 아래에는 작은 글씨로 "임상적으로 검증됨"이라고 적혀 있었습니다.

그는 웹캠 너머로 저를 바라보며 말했습니다. "아슈토시, 이걸 믿어야 할까요?"

저는 모르겠다고 답했습니다. 다만 그 숫자 자체는 안심시키는 게 아니라 불안하게 만들어야 한다고 했습니다. 수십 개 진료과에 걸쳐 지저분하고 모순되며 손으로 쓰고 구술한 임상 노트를 요약하는 시스템의 환각률이 10만 분의 1 미만이라고요? 그건 정확도 주장이 아닙니다. 마술 트릭이죠. 그리고 제 경험상, 영업 미팅에서 누군가 마술 트릭을 보여준다면, 그 후에는 주머니를 확인해 봐야 합니다.

몇 달 후, 텍사스 법무장관이 그 직감을 공식화했습니다. 2024년 9월, 텍사스주는 댈러스에 본사를 둔 헬스케어 AI 기업 Pieces Technologies와 획기적인 합의에 도달했습니다. 법무장관이 기만적인 정확도 주장이라고 주장한 것 — 바로 그 0.001% 중대 환각률을 포함한 것 — 에 대한 합의였습니다. 이는 헬스케어 분야의 생성형 AI 기업을 상대로 한 최초의 이런 종류의 집행 조치였으며, 어떤 새로운 AI 전용 법률도 필요로 하지 않았습니다. 그저 오래된 텍사스 기만적 거래관행법, 악덕 자동차 딜러들을 추적할 때 쓰던 바로 그 법령이면 충분했습니다.

그 합의는 우리가 Veriprajna에서 만드는 모든 것에 대한 제 생각을 바꿔놓았습니다. 우리가 뭔가 잘못하고 있었기 때문이 아니라, 제가 고객들에게 설명하려고 애쓰던 무언가를 명확하게 결정화시켰기 때문입니다: 엔터프라이즈 AI의 문제는 모델이 환각을 일으킨다는 게 아닙니다. 문제는 업계가 모델이 환각을 일으키지 않는 척하는 것을 중심으로 전체 시장 진출 전략을 구축했다는 점입니다.

0.001% 환각률은 실제로 무엇을 의미하는가?

계산을 함께 따라가 보겠습니다. 바로 이 계산에서 마술 트릭이 무너지기 때문입니다.

대형 언어 모델은 확률적 시스템입니다. 데이터베이스가 무언가를 아는 방식으로 무언가를 "아는" 게 아닙니다. 이들은 학습 중에 습득한 패턴을 바탕으로 다음 단어 — 더 정확히는 다음 토큰 — 를 예측합니다. 생성된 모든 출력의 확률은 시퀀스 내 개별 토큰 각각의 확률을 곱한 값입니다. 각 토큰은 작은 베팅이고, 최종 출력은 곱해진 작은 베팅들의 긴 사슬입니다.

자, 0.001% 미만의 중대 환각률을 주장한다는 것은 출력 10만 건 중 1건 미만이 임상적 위해를 일으킬 만큼 심각한 오류를 포함한다는 의미입니다. 그 주장을 통계적 신뢰도를 갖춰 검증하려면, 엄청나게 크고 완벽하게 주석이 달린 골드 스탠더드 데이터셋이 필요합니다 — 수만 건의 임상 요약본, 그리고 무엇을 "중대"로 볼지 합의한 도메인 전문가들이 각각 검토한 데이터셋이죠. 그런 데이터셋은 존재하지 않습니다. Pieces Technologies에게도, 그 누구에게도 없습니다. 임상 노트는 너무 특이하고, 너무 진료과별로 다르며, 개별 의사의 스타일과 환자의 병력에 너무 의존적입니다.

인간 전문가조차 무엇이 "정답"처럼 보이는지 의견이 갈리는 작업에서 누군가가 99.999%의 정확도를 주장한다면, 그들은 문제를 해결한 게 아닙니다. 문제를 정의로 없애버린 것입니다.

텍사스 법무장관의 조사는 Pieces가 사용한 지표들이 "부정확할 가능성이 높으며" 그 도구를 배치하는 병원들 — Houston Methodist, Parkland Hospital, Children's Health System of Texas, Texas Health Resources를 포함한 병원들 — 을 오도할 소지가 있다고 결론지었습니다. 네 개의 주요 시스템. 실제 환자들. 정확도 주장이 규제 당국의 검증을 견뎌내지 못하는 시스템에 의해 요약되고 있던 실제 임상 노트들.

내가 벤치마크를 신뢰하지 않게 된 밤

이 문제에 대한 제 사고를 재편한 한 순간에 대해 말씀드리고 싶습니다.

우리는 임상 요약 파이프라인의 내부 평가를 진행하고 있었습니다 — 고객을 위한 게 아니라 순전히 우리 자체 R&D를 위해서였죠. 우리 팀은 탄탄하다고 생각했던 RAG 기반 시스템을 구축했습니다. 잘 모르는 분들을 위해 설명하자면, 검색 증강 생성(Retrieval-Augmented Generation)은 모델에게 기억으로 답하라고 요청하는 대신, 먼저 지식 베이스에서 관련 문서를 검색해 그것을 맥락으로 모델에 제공하는 기법입니다. 출력을 사실에 근거하게 만드는 것이 목적입니다.

우리 내부 지표는 훌륭해 보였습니다. 충실도(faithfulness) 점수는 95% 이상. 검색 정밀도는 90%대 후반. 우리는 기분이 좋았습니다. 그때 우리 엔지니어 중 한 명 — 아무도 듣고 싶어 하지 않는 것들에 대해 옳은 소리를 하는 짜증 나는 습관을 가진 Priya — 가 뭔가 다른 걸 해보자고 제안했습니다. 우리 자체 테스트셋으로 측정하는 대신, 그녀는 공개 데이터셋에서 실제 퇴원 요약본 50건을 뽑아 두 명의 의사가 AI 생성 버전을 독립적으로 검토하게 했습니다.

결과는 목요일 밤에 나왔습니다. 제가 저녁을 만들고 있을 때 Priya에게서 온 슬랙 메시지에 휴대폰이 울렸기 때문에 기억합니다. 메시지에는 그저 이렇게 적혀 있었습니다: "내일 전에 이거 봐야 해요."

의사들은 다음 건에서 문제를 플래그했습니다: 50건 중 23건의 요약본. 대부분의 경우 치명적인 오류는 아니었습니다 — 현재 입원이 아닌 이전 입원에서 가져온 약물 용량, 엉뚱한 친척에게 귀속된 가족력 세부사항, 방향성은 맞지만 수치상으로는 어긋난 검사값 같은 것들이었죠. 하지만 임상적 맥락에서 "방향성은 맞지만 수치상으로는 어긋남"은 안전한 퇴원과 재입원 사이의 차이를 의미할 수 있습니다.

우리의 자동화된 지표는 그 거의 전부를 놓쳤습니다. 시스템은 언어적으로 유창하고 원본 자료와 의미적으로 유사한 텍스트를 생성하고 있었습니다 — 지표가 측정하던 것이 바로 그것이었죠. 하지만 그것은 다음과 같은 텍스트를 생성하지는 못했습니다: 임상적으로 안전한, 그리고 실제로 중요한 것은 바로 그것이었습니다.

그날 밤이 제가 벤치마크를 품질의 대리 지표로 신뢰하기를 그만둔 밤이었습니다. 그리고 그것이 Pieces 사건이 터졌을 때 제게 그토록 크게 와닿았던 이유입니다. 저는 어떻게 한 기업이 자사의 숫자를 보고 진심으로 그것을 믿으면서도 여전히 위험할 만큼 틀릴 수 있는지 정확히 알고 있었습니다.

왜 텍사스는 AI 법이 아니라 소비자 보호법을 사용했는가?

이 부분이야말로 모든 AI 벤더를 밤잠 못 이루게 해야 할 대목입니다.

텍사스 법무장관은 의회가 AI 규제를 통과시키기를 기다리지 않았습니다. 어떤 새로운 법이론도 들먹이지 않았습니다. 그는 텍사스 기만적 거래관행-소비자 보호법 — 수십 년간 법전에 있던 법령 — 을 사용해, 자동차의 연비에 대해 거짓말한 기업에 적용하는 것과 똑같은 방식으로 AI 정확도 주장에 적용했습니다.

그 결과로 나온 자발적 준수 확약서(Assurance of Voluntary Compliance)는 Pieces Technologies를 다음 기간 동안 강화된 투명성 의무에 묶어놓습니다: 5년 동안. 이제 회사는 광고하는 모든 정확도 지표의 정의와 계산 방법을 공개해야 합니다. 자사 제품의 "알려진 또는 합리적으로 알 수 있는 유해하거나 잠재적으로 유해한 사용"을 고객에게 통지해야 합니다. 학습 데이터와 모델 유형에 대한 문서를 제공해야 합니다. 그리고 법무장관실의 정보 요청에 30일 이내에 응답해야 합니다.

이것은 가벼운 경고가 아닙니다. 이것은 하나의 템플릿입니다.

헬스케어 분야 최초의 주요 AI 집행 조치는 새로운 입법을 필요로 하지 않았습니다. 기존의 소비자 보호법으로 충분했습니다 — 그리고 모든 주에는 그런 법이 있습니다.

저는 "아직 AI 법이 없으니까" 안전하다고 여기던 엔터프라이즈 법무팀들과 이야기해 봤습니다. 그 가정은 틀렸습니다. AI 시스템의 성능에 대해 주장을 하고, 그 주장이 오해를 불러일으킨다면, 여러분은 이미 기존 법률 아래에서 노출되어 있습니다. Pieces 합의가 바로 그것을 입증했습니다.

저는 전체 규제적 함의 — 합의에 따른 구체적인 의무를 포함해 — 에 대해 다음 자료에 썼습니다: 우리 연구의 인터랙티브 버전. 조달, 법무, 컴플라이언스 분야에 계신다면 꼼꼼히 읽어볼 가치가 있습니다.

래퍼(Wrapper) 문제

제 생각에 실제로 무엇이 잘못되었는지 — 아키텍처적으로 — 그리고 그것이 Pieces Technologies를 훨씬 넘어 왜 중요한지 말씀드리겠습니다.

오늘날 출시되는 대부분의 엔터프라이즈 AI 제품은 업계에서 "래퍼(wrapper)"라고 부르는 것입니다. 래퍼는 사용자의 입력을 받아 파운데이션 모델 API — GPT-4, Claude, Gemini — 로 보내고, 약간의 서식과 어쩌면 몇 개의 가드레일(guardrails)을 덧붙여 응답을 표시합니다. 만들기 빠르고, 출시하기 빠르며, 팔기도 빠릅니다. 또한 근본적으로 취약합니다.

래퍼는 여러분의 데이터를 이해하지 못합니다. 환자의 종단적 기록 전반에 걸쳐 맥락을 유지하지 못합니다. 심장내과의 Ramirez 박사가 종양내과의 Chen 박사와 다르게 노트를 작성한다는 것을 알지 못합니다. 20년 경력의 간호사가 머릿속에 지니고 있는 조직의 암묵지에 접근하지 못합니다. 그저 토큰을 예측할 뿐입니다.

저는 이것에 대해 한 투자자와 논쟁을 벌인 적이 있습니다 — 격렬한 논쟁이었죠. 그는 래퍼 기반의 임상 문서화 도구 데모를 보고 그것이 "충분히 좋다"고 확신했습니다. 그의 정확한 말은 이랬습니다: "아슈토시, 그냥 GPT를 쓰세요. 조금만 파인튜닝하고. 출시하세요. 시장은 기다려주지 않아요."

저는 시장은 기다려주지 않겠지만, 규제 당국은 기다릴 거라고 말했습니다. 그리고 환자들도 기다릴 거라고. 그리고 소송들도 기다릴 거라고.

그는 투자하지 않았습니다. 저는 그 대화를 후회하지 않습니다.

대안은 — 우리가 Veriprajna에서 구축하는 것이자 업계가 나아가야 한다고 생각하는 것은 — 심층 통합입니다. 그것은 모델을 기업의 실제 데이터 패브릭에 내장하는 것을 의미합니다. 그것은 RAG를 체크박스 기능이 아니라 진정한 근거화 메커니즘으로, 특정 도메인에 맞춰 조정된 검색 파이프라인과 함께 사용하는 것을 의미합니다. 그것은 도메인 특화 코퍼스에 대해 파인튜닝하는 것을 의미합니다. 그것은 인간이 실제로 오류를 잡아낼 권한과 맥락을 가진 다층적 인간 감독을 의미합니다.

연구가 이를 뒷받침합니다. 여러 연구에 따르면 개발자의 65%가 복잡한 작업 중에 AI가 "관련 맥락을 잃는다"고 보고합니다 — 그리고 그것은 소프트웨어 엔지니어링에서의 이야기로, 위험은 망가진 빌드일 뿐 망가진 환자가 아닙니다. 헬스케어에서 맥락 손실은 버그가 아닙니다. 그것은 안전 사건입니다.

실제로 무엇이 효과가 있는가: 적대적 AI와 3.7시간 문제

Pieces Technologies에게 한 가지는 인정하겠습니다: 그들의 아키텍처에는 적대적 탐지 모듈(Adversarial Detection Module)이 포함되어 있었습니다. 그 발상은 타당합니다 — 두 번째 AI 모델을 사용해 첫 번째 모델을 감시하고, 생성된 요약본을 원본 임상 데이터와 대조해 불일치를 스캔하는 것이죠. 그들의 기술 논문은 그 적대적 모듈이 임상적으로 유의미한 환각을 잡아내는 데 무작위 샘플링보다 7.5배 더 효과적이라는 것을 보여주었습니다.

그것은 실제 성과입니다. 하지만 그것만으로는 충분하지 않습니다.

이유는 이렇습니다. 적대적 모듈이 오류를 플래그하면, 플래그된 요약본은 검토를 위해 전문의 자격을 갖춘(board-certified) 의사에게 라우팅되었습니다. 시정까지 걸린 시간의 중앙값은? 3.7시간. 교대 근무가 끝날 때 정리되는 경과 노트라면, 어쩌면 그건 받아들일 만합니다. 환자가 오늘 집에 가는지 아니면 하룻밤 더 머무는지를 결정하는 퇴원 요약본이라면, 3.7시간은 영겁입니다. 실시간 임상 의사결정 지원 도구 — 모두가 앞다투어 만들고 있는 종류 — 라면, 그것은 쓸모가 없습니다.

이것이 제가 개입 속도 문제라고 부르는 것이며, 업계가 아직 해결하지 못한 문제입니다. 세계 최고의 환각 탐지 시스템을 만들 수는 있지만, 교정 루프가 임상 워크플로우보다 느리다면, 정작 중요한 순간에 의사가 보는 것은 교정되지 않은 출력입니다.

적시의 교정 없는 탐지는 그저 실패의 문서화일 뿐입니다.

Veriprajna에서 우리는 이것을 계층으로 나누어 생각하기 시작했습니다. 모든 AI 활용 사례가 동일한 위험을 지니는 것은 아니며, 모든 활용 사례가 동일한 속도의 인간 개입을 필요로 하는 것도 아닙니다. 행정 일정 관리? 주 단위로 감사하세요. 임상 문서화? 차트에 반영되기 전에 검토하세요. 실시간 의사결정 지원? 인간이 다음 시점에 루프 안에 있어야 합니다: 이전에 출력이 생성되는 시점에, 이후가 아니라.

헬스케어에서 부상하는 AI 안전 수준(AI Safety Level) 프레임워크는 이를 잘 매핑합니다 — 레벨 1(저영향 행정 작업)부터 레벨 5(자율적 환자 상호작용)까지. 제가 이야기하는 대부분의 조직은 레벨 3, 4 도구를 레벨 1 감독으로 배치하고 있습니다. 그것이 규제 당국이 계속 좁혀갈 격차입니다.

왜 오직 5%의 기업만이 AI로부터 실질적 가치를 얻는가?

저를 사로잡는 엔터프라이즈 AI 연구의 통계가 하나 있습니다: 오직 5%의 기업만이 대규모로 AI에서 측정 가능한 비즈니스 가치를 달성하고 있습니다. 50%가 아닙니다. 25%도 아닙니다. 5%입니다.

그 5%에 속하는 기업들은 하나의 패턴을 공유합니다. 그들은 구현 노력의 70%를 조직 혁신에 씁니다 — 워크플로우 재설계, 역할 재정의, 의사결정 방식의 변경. 20%는 기술 스택에 갑니다. 10%는 알고리즘 자체에 갑니다.

나머지 모두는 그 비율을 뒤집습니다. 그들은 올바른 모델을 고르는 데 몇 달을, 파이프라인을 구축하는 데 몇 주를 쓰고, 다운스트림의 인간들이 실제로 AI의 출력을 신뢰하고, 이해하고, 효과적으로 감독할 수 있는지 생각하는 데는 거의 제로에 가까운 시간을 씁니다.

저는 이것을 직접 목격했습니다. 우리는 기술적으로 우아한 시스템을 구축한 한 팀과 함께 일했습니다 — 아름다운 아키텍처, 깔끔한 코드, 인상적인 벤치마크. 하지만 그것이 만들어진 대상인 임상의들은 그것을 사용하지 않았습니다. 나빠서가 아니라, 아무도 그들에게 무엇이 필요한지 묻지 않았기 때문입니다. 그 도구는 그들의 기존 워크플로우에 맞지 않는 형식으로 요약본을 생성했습니다. 그것은 그들이 이미 알고 있는 정보를 앞세우고 실제로 필요한 정보는 파묻었습니다. 그것은 현장에서 일하는 사람들이 아니라 엔지니어들이 정의한 문제에 대한 해결책이었습니다.

우리는 재설계를 위한 코드를 단 한 줄도 쓰기 전에, 임상 스태프와 함께 앉아 그들이 일하는 모습을 지켜보는 데만 3주를 썼습니다. 그것이 바로 중요한 70%입니다.

평가 프레임워크, 적대적 탐지 아키텍처, 그리고 5%를 95%로부터 갈라놓는 ROI 패턴에 대한 완전한 기술적 분석은 다음을 참조하세요: 우리의 상세 연구 논문.

기업은 실제로 AI 정확도 주장을 어떻게 평가해야 하는가?

사람들이 저에게 이것을 끊임없이 묻기에, 단도직입적으로 말씀드리겠습니다.

첫째, 정의를 요구하세요. 벤더가 자사의 환각률이 X%라고 말하면 이렇게 물으세요: 무엇을 환각으로 치는가? 누가 테스트셋에 주석을 달았는가? 그것은 얼마나 컸는가? 도메인 전문가가 평가했는가, 아니면 또 다른 AI 모델이 평가했는가? 이 질문들에 명확히 답하지 못한다면, 그 숫자는 무의미합니다.

둘째, 평가 프레임워크를 살펴보세요. 헬스케어에 대해 제가 본 최고의 프레임워크는 Med-HALT — 의료 도메인 환각 테스트(Medical Domain Hallucination Test)입니다. 그것은 단지 모델이 정답을 맞히는지만 측정하지 않습니다. 모델이 다음과 같은 답을 내놓는 것을 저항할 수 있는지 테스트합니다: 확신에 차서 틀린 답. 그 하위 테스트 중 하나인 거짓 확신 테스트(False Confidence Test)는 모델에게 질문과 함께 실제로는 틀린 "정답" 제안을 제시하고, 모델이 그것을 따라가는지 확인합니다. "보기 중 정답 없음(None of the Above)"이라 불리는 또 다른 테스트는 모델이 제공된 선택지 중 다음과 같은 경우를 인식할 수 있는지 확인합니다: 어느 것도 정답이 아닐 때 — 이는 중대한 능력입니다. 의학에서 "나는 모른다"가 흔히 가장 안전한 답이기 때문입니다.

셋째, FAIR-AI 프레임워크가 "AI 라벨(AI Label)"이라고 부르는 것을 요구하세요 — 최종 사용자에게 모델이 어떤 데이터로 학습되었는지, 알려진 실패 모드가 무엇인지, 현재 어떤 버전이 배치되어 있는지를 알려주는 표준화된 공개입니다. AI를 위한 영양 성분표처럼 생각하세요. 벤더가 그것을 주지 않으려 한다면, 그들이 무엇을 숨기고 있는지 스스로에게 물어보세요.

질문은 "당신의 AI는 얼마나 정확한가?"가 아닙니다. 질문은 "당신은 그것을 어떻게 아는가 — 그리고 규제 당국에게 그것을 입증할 수 있는가?"입니다.

그 합의는 모든 것을 바꿔놓았다. 대부분의 사람들은 아직 알아차리지 못했다.

앞으로 2년 동안 무슨 일이 일어날지에 대한 제 생각이며, 이 규칙들의 적용을 받게 될 시스템을 구축하는 사람으로서 말씀드립니다.

텍사스 합의는 복제될 것입니다. 다른 주 법무장관들이 지켜보고 있습니다. FTC가 지켜보고 있습니다. 패턴은 확립되었습니다: AI 주장을 규제하는 데 AI 법이 필요하지 않습니다. 필요한 것은 소비자 보호 법령과 과잉 약속한 벤더뿐입니다.

엔터프라이즈 조달이 바뀔 것입니다. 병원 시스템과 대형 구매자들은 계약 체결 전에 AI 정확도 주장에 대한 독립적인 제3자 감사를 요구하기 시작할 것입니다. 합의는 이를 자기공개의 대안으로 명시적으로 허용하며, 현명한 구매자들은 그것을 요구할 것입니다.

래퍼 모델은 죽을 것입니다 — 서서히, 그러다 한꺼번에. 래퍼가 저위험 애플리케이션에서 작동하지 않아서가 아니라(작동합니다), 고위험 환경에서 근거화되지 않은 시스템을 배치하는 규제 비용이 곧 감당할 수 없을 만큼 커지려 하기 때문입니다. 살아남을 기업은 심층 통합이 어려웠을 때 그것에 투자한 기업이지, 빠르게 출시하고 아무도 확인하지 않기를 바란 기업이 아닐 것입니다.

그리고 그 0.001% 주장은? 그것은 경고성 우화가 될 것입니다 — Theranos의 "피 한 방울"에 해당하는 엔터프라이즈 AI 버전이죠. 너무 완벽해서 오히려 경고였어야 할 숫자.

저는 가끔 그 병원 CIO를 생각합니다. 큰 숫자가 적힌 슬라이드를 제게 보여준 그 사람 말입니다. 그는 그 시스템을 사지 않았습니다. 나중에 그는 그 주장의 정밀함에 대해 뭔가가 그를 불편하게 했다고 말했습니다 — 그것은 다음과 같았습니다: 너무 깔끔했고, 근본적으로 확률적이라는 것을 그가 아는 기술치고는 너무 자신만만했습니다.

그가 불편해한 것은 옳았습니다. 엔터프라이즈 AI에서 가장 어려운 일은 작동하는 시스템을 만드는 것이 아닙니다. 작동하지 않을 때 정직하게 알려주는 시스템을 만드는 것입니다. 그것이 이제 기준입니다. 99.999%가 아닙니다. 슬라이드 위의 숫자가 아닙니다. 기준은 이렇습니다: 당신은 당신의 작업을 보여주고, 그것을 뒷받침하며, 틀렸을 때 그 결과를 받아들일 수 있는가?

그것이 우리가 지향하며 구축하는 것입니다. 완벽한 AI가 아닙니다. 정직한 AI입니다. 그리고 저는 그것이 그 누구의 환각률보다도 훨씬 더 중요해질 거라고 생각합니다.