죽어가는 환자의 치료를 거부한 알고리즘 — 그리고 사람을 죽이지 않는 AI를 만드는 법에 대해 내가 배운 것

2024년 말, 나는 어느 회의실에 앉아 있었다. 그때 한 동료가 노트북에서 통계 하나를 띄우더니 화면을 내 쪽으로 돌렸다. "이거 봤어요?"

그것은 UnitedHealth Group의 nH Predict 알고리즘의 이의 제기 번복률이었다 — 자회사 NaviHealth가 메디케어 환자를 언제 급성기 이후 치료에서 배제할지 결정하는 데 사용해 온 AI 시스템이다. 숙련 간호. 재활. 뇌졸중을 겪은 82세 노인이 텅 빈 아파트로 홀로 돌려보내지지 않도록 지켜주는 그런 종류의 치료 말이다.

그 숫자는 90%였다.

인간 심사자가 실제로 알고리즘의 보장 거부 결정을 검토했을 때, 열 번 중 아홉 번은 그 결정을 뒤집었다. AI는 열 번 중 아홉 번 틀렸던 것이다. 그리고 UnitedHealth는 그 사실을 알고 있었다. 그들이 알았던 이유는, 노령이고 장애가 있으며 인지 기능이 손상된 환자들 가운데 단 0.2%만이 이의 제기에 성공했기 때문이다. 이 시스템은 정확하도록 설계된 것이 아니었다. 그것은 이의를 제기할 수 없도록 설계되었다.

그날 밤 나는 노트북을 덮었지만 잠을 이룰 수 없었다. 기술이 나를 놀라게 해서가 아니었다 — 나는 수년간 AI 시스템을 구축해 왔고 상관관계 기반 모델이 어떻게 실패하는지 이해한다. 나를 잠 못 들게 한 것은 더 추악한 무언가였다: 이것은 버그가 아니었다. 이것은 비즈니스 모델이었다. 그리고 이것은 지난 5년간 우리 업계가 즐겁게 홍보해 온 기업 AI 철학 전체의 논리적 귀결이었다.

나는 Veriprajna를 이끌고 있다. 이 회사는 고위험 영역의 AI가 대화를 지배하는 챗봇이나 콘텐츠 생성기와는 근본적으로 달라야 한다는 전제 위에 세워졌다. UnitedHealth 사태는 그 전제를 입증했을 뿐 아니라, 그것을 더욱 급진적으로 밀어붙였다.

죽어가는 여성을 보지 못한 10억 달러짜리 알고리즘

캐럴 클레먼스(Carol Clemens)의 이야기를 들려주고자 한다. 그녀가 없다면 이 숫자들은 아무 의미가 없기 때문이다.

캐럴은 메트헤모글로빈혈증을 앓고 있었다 — 혈액이 산소를 제대로 운반하지 못하는, 생명을 위협하는 혈액 질환이다. 심각한 발작을 겪은 뒤, 그녀는 생존에 필요한 재활을 받기 위해 숙련 간호 시설에 있었다. 메디케어가 당연히 보장해야 하는 그런 종류의 치료였다.

그때 nH Predict가 '목표 퇴원일'을 산출했다. 600만 건의 환자 기록으로 학습된 이 알고리즘은 캐럴의 진단명을 과거 결과와 대조한 뒤 그녀의 치료가 끝났다고 판단했다. 그녀의 혈중 산소 수치가 여전히 생명을 위협할 만큼 낮다는 것은 아랑곳하지 않았다. 그녀의 임상의들이 시간이 더 필요하다고 말한 것도 아랑곳하지 않았다. 모델이 이미 말을 마쳤을 뿐이다.

그녀의 가족은 자비로 $16,768를 지불하며 그녀가 계속 치료받도록 했다. 그들은 운이 좋은 편이었다 — 여력이 있었으니까. 캐럴과 같은 처지의 환자 대부분은 그렇지 못했다.

이 사건에서 나를 괴롭히는 것은 바로 이것이다: nH Predict는 어떤 일탈적 실험이 아니었다. UnitedHealth의 Optum 사업부는 NaviHealth와 그 알고리즘을 인수하기 위해 10억 달러 이상을 지불했다. 이것은 2025년 3,400억 달러의 매출을 전망하는 회사의 대표 상품이었다. 의료 역사상 가장 비싼 AI 도입이었지만, 통계적 평균과 질식해 가는 한 여성을 구분하지 못했다.

왜 그 알고리즘은 90%의 확률로 틀렸는가?

이것은 모두가 던지는 질문이며, 그 답은 의외로 단순하다. nH Predict는 임상 도구인 척하는 상관관계 엔진이었다.

이 시스템은 환자 기록을 입력받아 패턴을 찾아냈다: 진단명 X를 가진 환자는 보통 Y일간 입원한다. 그게 전부다. 이 속임수의 전부가 그것이다. 이 시스템은 왜 환자마다 필요한 치료 기간이 다른지는 모델링하지 않았다. 누군가에게 집에 돌봐 줄 사람이 있는지, 외래 치료를 감당할 만큼 재정적으로 안정적인지, 통계적 평균과는 다른 특수한 합병증이 있는지는 고려하지 않았다.

'이런 환자는 보통 14일이면 퇴원한다'고 말해 주는 모델은, 왜 바로 이 환자가 21일이 필요한지를 이해하는 모델과 같지 않다. 전자는 단계만 몇 개 더 붙은 스프레드시트다. 후자는 지능이다.

나는 다른 창업자들과 이 논쟁을 셀 수 없이 많이 벌였다. "하지만 그 모델은 평균적으로 정확하잖아!"라고 그들은 말한다. 그렇지. 강은 평균 수심이 4피트지만, 8피트 구간에서 익사한 사람에게는 아무런 위안이 되지 않는다.

nH Predict에 없었던 것을 가리키는 전문 용어는 바로 인과 추론이다 — '보통 무슨 일이 일어나는가'에서 '이 변수를 바꾸면 무슨 일이 일어날까'로 나아가는 능력 말이다. 인과 모델이라면 이렇게 물었을 것이다: 14일째에 숙련 간호를 중단하면 캐럴 클레먼스의 회복 궤적은 어떻게 되는가? 재발하는가? 사망하는가? 상관관계 모델은 그렇게 묻지 않는다. 물을 수 없다. 그렇게 만들어지지 않았기 때문이다.

나는 이 구분을 우리 연구의 인터랙티브 버전에서 깊이 있게 다뤘다. 지금 기업 리더들이 AI에 관해 반드시 이해해야 할 단 하나의 가장 중요한 개념이 바로 이것이라고 생각하기 때문이다.

3%에서 1%로의 규칙 — 혹은, 어떻게 간호사를 고무도장으로 만드는가

알고리즘의 부정확성만으로도 충분히 나빴다. UnitedHealth가 그것으로 한 일은 더 나빴다.

내부 고발자의 증언에 따르면, NaviHealth 관리자들은 임상 인력에게 엄격한 준수 목표를 부과했다. 케이스 매니저들은 — 간호사, 의사, 수십 년에 걸쳐 환자의 필요를 평가하는 법을 익혀 온 사람들은 — 환자의 실제 입원 기간을 3% 편차 이내로 유지하라는 지시를 받았다 — nH Predict가 무엇을 예측했든 그 값을 기준으로 말이다.

그런 다음 그들은 이를 1%로 더 조였다.

그것이 실제로 무엇을 의미하는지 생각해 보라. 당신은 간호사다. 환자를 진찰했다. 수년의 경험과 눈앞의 임상적 증거로부터, 당신은 이 사람이 집에 갈 준비가 되지 않았다는 것을 안다. 하지만 알고리즘은 14일째라고 말하고, 당신의 관리자는 하루의 몇 분의 일 오차 범위 안에서 14일째를 맞춰야 하며 그러지 못하면 징계에 직면한다고 말한다. 어쩌면 해고까지.

당신이라면 어떻게 하겠는가?

대부분은 순응했다. 그들이 나쁜 임상의여서가 아니라, 순응만이 유일하게 살아남을 수 있는 선택지가 되도록 시스템이 설계되었기 때문이다. 케어 코디네이터들은 자신의 경과 검토 시점을 알고리즘이 예측한 퇴원일과 정확히 일치시키도록 지시받았다 — 환자가 아니라 모델에 맞춰 임상 일정을 설계한 것이다.

나는 이 이야기를 항공 안전 분야에서 일하는 한 친구에게 들려준 기억이 있는데, 그는 얼굴이 새하얗게 질렸다. "그건 조종사에게 기상 조건과 상관없이 비행 계획대로 착륙하라고 말하는 것과 같아,"라고 그가 말했다. "그러면 다시는 비행하지 못할 거야."

임상의가 결함 있는 알고리즘을 무효화했다는 이유로 징계를 받는다면, 당신에게는 '인간 개입(human-in-the-loop)'이 있는 것이 아니다. 인간 모양을 한 고무도장이 있을 뿐이다.

나는 이것을 알고리즘적 강압이라고 부른다. 그리고 이것이야말로 나를 가장 두렵게 하는 실패 양상이다 — AI가 자율적이어서가 아니라, 인간이 처벌받는 환경을 만들어내기 때문이다 — 그것도 AI에게 없는 판단력을 발휘했다는 바로 그 이유로 말이다.

2025년 2월 13일, 법정에서는 무슨 일이 있었나?

이 집단소송 — Estate of Gene B. Lokken v. UnitedHealth Group — 은 존 툰하임(John Tunheim) 미 연방지방법원 판사가 소송을 진행할 수 있다고 판결하면서 전환점을 맞았다. 이는 UnitedHealth뿐 아니라 훨씬 더 큰 의미를 지닌다.

법원은 UHC 자체의 정책 문서가 보장 결정을 '임상 서비스 인력'과 '의사'가 내릴 것이라고 약속했다는 사실을 확인했다. 그러한 인간을 사실상 결과를 좌우하는 알고리즘으로 대체함으로써, UnitedHealth는 모든 가입자와의 계약을 위반했을 가능성이 있다.

더욱 중요한 것은: 판사가 환자들이 행정적 이의 절차를 모두 거쳐야 한다는 요건을 면제했다는 점이다 — 소송을 제기하기 전에 말이다. 통상적으로 메디케어 수급자는 법원에 갈 수 있기 전에 여러 단계의 관료적 심사를 거쳐야 한다. 그러나 툰하임은 90%의 오류율을 보고, 0.2%의 이의 제기율을 보고, 본질적으로 이렇게 말한 셈이다: 우리는 죽어가는 사람들에게 그들에게 불리하게 조작된 시스템에 참여하라고 강요하지 않겠다.

그 판결은 규제 산업에 AI를 도입하는 모든 경영진의 필독서가 되어야 한다. 이제 법체계는 알고리즘의 기능 장애를 환자 스스로 해결해야 할 절차상의 문제로 취급하려 하지 않는다.

왜 "래퍼 AI"는 헬스케어에서 째깍거리는 시한폭탄인가

여기서 나는 내 업계에 대해 솔직해질 필요가 있다. UnitedHealth 이야기는 고립된 사건이 아니기 때문이다. 그것은 구조적 문제의 가장 눈에 띄는 증상이다.

지난 3년간, 기업용 AI 시장은 내가 래퍼 솔루션이라고 부르는 것들로 넘쳐났다 — 기존의 대규모 언어 모델을 가져다가 맞춤형 인터페이스로 감싸고, 어쩌면 특정 도메인 데이터로 미세 조정한 뒤, 이를 헬스케어 AI 제품이라며 파는 회사들 말이다. 혹은 보험 AI 제품. 혹은 컴플라이언스 AI 제품.

이 래퍼들은 nH Predict를 위험하게 만든 모든 취약점을 똑같이 공유한다:

이들은 블랙박스다. 개별 결정 뒤에 있는 추론을 감사할 수 없으며, 이는 곧 이미 수천 명에게 피해를 준 뒤에야 체계적 편향을 잡아낼 수 있다는 뜻이다.

이들은 편향을 물려받는다 — 자신이 딛고 선 기반 모델로부터 말이다. 학습 데이터가 역사적 차별 패턴을 반영한다면 — 그리고 헬스케어에서는 언제나 그렇다 — 래퍼는 그 패턴을 충실하게 재현한다.

이들에게는 인과적 이해가 없다. 통계적 상관관계에 기반해 예측하며, 이는 곧 '이 환자에게 무슨 일이 일어나야 하는가'가 아니라 '보통 무슨 일이 일어나는가'에 맞춰 최적화한다는 뜻이다.

그리고 결정적으로, 이들은 방어 불가능하다. 어떤 경쟁자든 동일한 기반 모델 위에 동일한 래퍼를 만들 수 있다. 독자적인 지능도, 고유한 통찰도 없다 — 그저 남의 엔진 위에 덧씌운 얇은 자동화 계층일 뿐이다.

헬스케어 AI의 래퍼 경제는 모래 위에 성을 쌓고 있다. 규제의 밀물이 밀려들 때 — 그리고 그것은 빠르게 다가오고 있다 — 깊고, 설명 가능하며, 인과에 기반한 시스템을 갖추지 못한 회사들은 휩쓸려 가고 말 것이다.

내가 이런 말을 하는 것은 Veriprajna가 래퍼 회사들과 경쟁하기 때문이 아니다(물론 경쟁하기는 한다). 이런 시스템이 실제 운영 환경에서 실패할 때 어떤 일이 벌어지는지 보아 왔기 때문이며, '데모 준비 완료'와 '임상적으로 안전함' 사이의 간극은 래퍼가 결코 건널 수 없는 심연이기 때문이다.

FDA는 AI가 신뢰할 만하다는 것을 어떻게 증명하기를 원하는가?

2025년 1월, FDA는 의료 및 규제 의사결정에 사용되는 AI 모델을 위한 7단계 신뢰성 평가 프레임워크를 확립하는 지침 초안을 발표했다. 나는 이 문서를 몇 주에 걸쳐 파고들었는데, 내가 본 AI 규제 중 가장 중대한 것이다.

이 프레임워크는 모든 AI 도입이 자신이 답하는 정확한 질문을 명확히 정의하고, 임상 워크플로에서의 역할을 명시하며, 틀렸을 때 무슨 일이 일어나는지를 평가하고, 그런 다음 — 엄격한 테스트를 통해 — 그 특정 목적에 적합하다는 것을 증명하도록 요구한다.

nH Predict는 모든 단계에서 탈락했을 것이다. 그것은 자신의 임상적 역할에 대한 명확한 정의가 없었다. 위험 평가는 치료 거부의 생명을 위협하는 결과를 무시했다. 그것의 '검증'은 환자 결과가 아니라 비용 억제에 맞춰 최적화되어 있었다.

한편, EU AI Act는 2025년 헬스케어 AI를 '고위험'으로 분류하여, 의무적인 투명성 공개와 인간의 감독을 요구했다. 위반 시 벌금은 전 세계 매출의 7%에 이른다. UnitedHealth 규모의 회사에게 그것은 벌금이 아니다 — 존립을 위협하는 위험이다.

세계보건기구(WHO)는 한 걸음 더 나아가, 이른바 자동화 편향을 콕 집어 지적했다 — 임상의가 자신의 임상적 판단과 상충하는데도 알고리즘을 따르는 경향을 말한다. 이것이 바로 NaviHealth에서 벌어진 일이다. WHO의 2024년 지침은 AI에 대한 과도한 의존이, 비판적 평가를 그만두는 의사들 사이에서 '역량의 퇴화'로 이어질 수 있다고 경고한다.

이러한 규제 프레임워크와 그것이 기업 AI 도입에 어떻게 적용되는지에 대한 완전한 기술적 분석은 우리의 연구 논문을 참고하라.

설명가능성이 선택이 아님을 깨달은 그날 밤

모든 창업자의 여정에는 추상적인 원칙이 생생한 실감으로 바뀌는 순간이 있다. 나에게 그것은, 우리 모델의 초기 버전 하나를 헬스케어 데이터셋으로 테스트하던 어느 늦은 저녁이었다.

그 모델은 한 사례를 거부 대상으로 표시했다. 나는 팀에게 SHAP — SHapley Additive exPlanations, 특정 예측을 이끈 특성이 무엇인지 보여주는 도구 — 를 돌려보라고 했다. 가장 큰 요인은 환자의 진단명도, 임상 궤적도 아니었다. 그것은 바로 그들의 우편번호였다.

수석 엔지니어와 나는 화면을 응시했다. 우리는 미국 헬스케어 데이터에서 우편번호가 무엇과 상관관계가 있는지 둘 다 알고 있었다. 우리가 보고 있던 것은 임상적 변수가 아니었다. 우리가 보고 있던 것은 다섯 자리 숫자로 치장된, 인종과 소득의 대리 변수였다.

우리는 그날 밤 그 특성을 폐기했다. 하지만 그 경험은 내가 지적으로는 이해했으나 가슴으로 절실히 느끼지는 못했던 무언가를 선명하게 만들었다: 당신의 AI가 왜 어떤 결정을 내렸는지 설명할 수 없다면, 당신은 변호할 수 없는 결정들을 잡아낼 수 없다.

그래서 우리는 설명가능성을 나중에 덧붙이는 것이 아니라 아키텍처로서 설계한다. SHAP 같은 도구는 무엇이 모델을 움직이는지에 대한 전역적 관점을 제공한다. LIME — Local Interpretable Model-Agnostic Explanations — 은 단 하나의 결정 뒤에 있는 추론을 보여준다. 캐럴 클레먼스 같은 환자의 경우, LIME은 그 알고리즘이 그녀의 위험할 만큼 낮은 혈중 산소를 무시하고 진단 코드에 대한 평균 회복 통계를 택하고 있었다는 사실을 가시적으로 드러냈을 것이다.

그리고 신뢰도 점수화가 있다 — 대부분의 래퍼 솔루션이 아예 건너뛰는 부분이다. 학습 데이터에 제대로 반영되지 않은 희귀 질환으로 환자가 내원하면, 시스템은 명시적으로 이렇게 말해야 한다: "나는 이 판단을 내릴 만큼 충분히 알지 못한다. 이 사례는 사람에게 넘겨라." 제안이 아니다. 강제 중단이다.

왜 이것이 더 이상 "IT 부서의 문제"일 수 없는가

내가 AI 거버넌스는 이사회의 몫이라고 말하면 사람들은 늘 반박한다. "그건 엔지니어링 팀이 할 일 아닌가요?" 아니다. 절대 아니다. 그리고 UnitedHealth 사례가 그 증거다.

NaviHealth의 엔지니어들이 1% 편차 지시를 정한 것이 아니다. 그것은 경영진의 결정이었다. 엔지니어들이 알고리즘을 무효화한 임상의를 징계하기로 결정한 것이 아니다. 그것은 정책적 결정이었다. 엔지니어들이 인과적 검증 없이 생사를 가르는 보장 결정에 상관관계 기반 모델을 도입하기로 선택한 것이 아니다. 그것은 전략적 결정이었다.

2025년까지, S&P 500 기업의 72%가 SEC 제출 서류에서 중대한 AI 리스크를 공시했다. 이제 평판 리스크가 가장 많이 언급되는 우려 사항이다. 단 한 번의 알고리즘 실패가 소송, 규제 조치, 대중의 공분을 동시에 촉발할 수 있으며 — "우리는 몰랐다"고 말하는 이사회는 무지가 변명이 되지 못한다는 것을 알게 될 것이다.

Veriprajna에서 우리는 모든 고객에게, 엔지니어와 제품 관리자만이 아니라 임상 리더, 법률 자문, 환자 안전 대표를 포함하는 교차 기능 AI 거버넌스 위원회를 설립하도록 강력히 권한다. 이러한 위원회는 조직의 스택에 있는 모든 AI 모델의 중앙 등록부를 유지하고, 성능이 저하될 때 롤백 옵션을 강제하며, 그리고 — 경영진을 불편하게 만드는 대목이 바로 이것인데 — 수익성 있는 모델이라도 해를 끼칠 때는 폐기할 권한을 가져야 한다.

AI 거버넌스는 비용 센터가 아니다. 그것은 AI를 책임 있게 도입하는 회사와, 상원 조사에서 다음번 반면교사가 되는 회사를 가르는 차이다.

내가 늘 하게 되는 논쟁

거의 모든 콘퍼런스에서 내가 나누게 되는 대화가 있는데, 그것은 이런 식이다:

"아슈토시, 당신은 이걸 지나치게 복잡하게 만들고 있어요. 우리는 임상 데이터로 GPT-4를 미세 조정해서 6주 안에 무언가를 출시할 수 있어요. 당신의 방식은 몇 달이 걸리잖아요."

나는 일정에 대해서는 이견이 없다. 나는 '완료'의 정의에 대해 이견이 있다.

당신은 분명 6주 만에 래퍼를 출시할 수 있다. 그것을 아름답게 시연할 수도 있다. 그것은 그럴듯하게 들리는 임상 요약을 생성하고 당신의 투자자들을 만족시킬 것이다. 그리고 6개월 뒤, 당신의 모델이 자신 있게 잘못된 처치를 권고하고 아무도 그 이유를 설명하지 못해 한 환자가 죽으면, 당신은 아꼈던 그 6주가 결국 모든 것을 앗아갔음을 깨닫게 될 것이다.

UnitedHealth 사태는 나쁜 엔지니어나 악의적 의도가 원인이 아니었다. 그것은 AI를 임상적 판단의 문제가 아니라 처리량 최적화의 문제로 — 사례당 검토 시간을 6분에서 10분 줄이는 문제로 — 취급한 조직이 원인이었다. 그들은 성공을 환자 결과가 아니라 처리 속도와 거부율로 측정했다.

예측형 래퍼에서 내가 딥 AI라고 부르는 것으로의 전환은 더 화려한 모델을 쓰는 문제가 아니다. 그것은 근본적으로 다른 질문을 던지는 문제다. '이 결정을 어떻게 자동화할 것인가?'가 아니라 '이 결정을 인간 혼자서 할 수 있는 것보다 어떻게 더 낫고, 더 투명하며, 더 책임 있게 만들 것인가?'라는 질문 말이다.

우리는 여기서 어디로 가야 하는가

이 글을 쓰기 시작한 이래 나를 계속 괴롭혀 온 것으로 마무리하고 싶다.

nH Predict 이야기는 충격적이지만, 놀라운 일이어서는 안 된다. 우리는 수년간 안전보다 속도를, 인과보다 상관관계를, 증강보다 자동화를 보상하는 AI 생태계를 구축해 왔다. 인센티브 구조 — 벤처 캐피털의 일정, 기업 조달 주기, 출시를 향한 끊임없는 압박 — 모두가 래퍼 방식으로 몰아간다. 빠르게 만들고, 빠르게 팔고, 거버넌스는 나중에 걱정하라는 식이다.

'나중'은 없다. 2025년 2월의 판결이 그것을 분명히 했다. FDA의 신뢰성 프레임워크가 그것을 분명히 했다. EU AI Act의 7% 벌금이 그것을 분명히 했다. 그리고 캐럴 클레먼스의 $16,768 진료비 청구서가, 가능한 한 가장 인간적인 언어로 그것을 분명히 했다.

앞으로 나아갈 길은 AI를 줄이는 것이 아니다. 우리가 부여하는 권한을 스스로 얻어내는 AI다 — 왜인지를 이해하는 인과적 검증을 통해, 자신의 작업을 보여주는 설명 가능한 아키텍처를 통해, 처벌에 대한 두려움 없이 인간이 기계를 무효화할 수 있도록 힘을 실어주는 거버넌스 구조를 통해, 그리고 모델이 판단을 내릴 만큼 충분히 알지 못할 때 이를 인정하는 기본적인 제도적 겸손을 통해서 말이다.

질문은 결코 'AI가 의료 결정을 내릴 수 있는가?'가 아니었다. 그것은 언제나 'AI가 설명할 수도, 정당화할 수도 없으며 90%의 확률로 틀리는 의료 결정을 내리도록 우리가 허용해야 하는가?'였다. 그 답은, 마침내, 아니오다.

우리는 그 답이 다가오고 있다고 믿었기에 Veriprajna를 세웠다. 다만 그 답을 증명하는 데 죽어가는 환자들이 필요하지 않았기를 바랄 뿐이다.