헬스케어 및 생명과학

임상 AI는 이미 전자의무기록(EHR), 코딩 체인, 사전 승인 대기열 및 신약 개발 파이프라인 전반에 도입되어 있습니다 — 하지만 모델과 환자 사이에 위치해야 할 안전성, 검증 및 규제 문서화 계층은 대부분의 배포 환경에서 존재하지 않습니다. Veriprajna의 접근 방식은 바로 이 누락된 계층을 엔지니어링하는 것입니다: 의료 시스템, 제약사 및 보험사를 위해 설계된 결정론적 임상 검증, 지속적인 기기 모니터링, 감사 가능한 거버넌스를 구축합니다.

귀하의 임상의들이 이미 사용하고 있는 AI에는 안전 계층이 없습니다

Epic 의료 제공자 기반의 3분의 2가 현재 GPT-4 기반 생성형 임상 콘텐츠를 이용하고 있습니다. 앰비언트 스크라이브(ambient scribe)가 진료 노트를 작성하고, 인바스켓(In Basket) 회신이 환자에게 전송되며, MyChart 메시지에 자동 생성된 답변이 제공됩니다. 실제 임상 배포를 다룬 동료 검토 연구에서, 2.9% 의 AI 생성 진료 요약본에 잘못된 투약 상태 및 잘못된 시술 날짜를 포함한 환각이나 사실 오류가 포함되어 있었습니다.

이 수치는 작아 보일 수 있지만, 22.7% 의 의료진이 전체 진료 노트를 완전히 건너뛰고 AI 요약본만 확인한다고 응답했다는 점을 고려하면 결코 작지 않습니다. 오늘날 대부분의 EHR 연동 환경에서 LLM과 환자 사이의 안전 계층은 존재하지 않습니다: Epic의 CDS Hooks 아키텍처는 환자의 활성 문제 목록, 약물 목록, 알레르기 목록과 LLM 생성 텍스트를 실시간으로 대조 검증하도록 설계되지 않았습니다. 이것이 바로 당사의 프로젝트가 해결하고자 하는 격차입니다 — 다음을 참조하십시오: 임상 AI 안전 계층의 실제 작동 데모.

이는 이론적인 문제가 아닙니다. 연구진이 단 하나의 조작된 가짜 검사 수치가 포함된 임상 비네트(vignette)로 주요 6개 LLM을 테스트했을 때, 모델들은 최대 83% 의 사례에서 해당 허위 정보를 반복하거나 구체화하여 기술했습니다. 단순한 완화 프롬프트로 발생률을 절반으로 줄였으나 이를 완전히 제거하지는 못했습니다. AI 생성 진료 기록이 코딩, 처방 주문 및 청구로 직접 연결되는 워크플로에서는, 환각된 검사 수치나 조작된 투약 이력이 사람이 개입하기 전에 진료 체인 전체로 확산될 수 있습니다.

아무도 대비하지 못했던 $2.3 billion 규모의 코딩 문제

Blue Cross Blue Shield의 2026년 3월 상용 청구 데이터 분석에 따르면, AI 기반 코딩 관행은 의료 지출에서 $2.3 billion 의 증가와 연관되어 있는 것으로 나타났습니다 — 구체적으로는 $663 million 의 입원 지출 및 $1.67 billion 의 외래 지출입니다. 이것이 업코딩(upcoding)인지 아니면 문서화 정확도 향상인지에 대한 논쟁은 본질을 벗어난 것입니다. 앰비언트 스크라이브가 더 많은 임상 세부 정보를 포착하더라도 그 정보가 정확한지 검증하는 주체가 없다면, 동일한 임상적 현실로부터 더 높은 중증도의 청구를 생성하는 값비싼 기계를 만든 것에 불과합니다.

의료 제공자와 보험사 모두 앰비언트 스크라이브가 비용을 증가시키고 있다는 점에는 동의하지만, 어느 쪽도 해결책을 갖고 있지 못합니다. 문제는 스크라이브와 코더 사이, 즉 아직 존재하지 않는 검증 계층에 있기 때문입니다. 당사의 접근 방식은 바로 이 검증 계층을 구축하는 것입니다 — 앰비언트 문서화 툴을 대체하거나 코딩 엔진과 경쟁하는 대신, AI가 생성한 진료 노트와 이를 실행하는 다운스트림 시스템 사이에 결정론적 임상 검증을 삽입합니다. 이러한 검사는 확률론적이 아니라 구조적이도록 설계되었습니다:

• 문서화된 이 소견이 환자의 의무기록에 실제로 존재하는가?
• 이 평가가 문서화된 근거와 일치하는가?
• 이러한 복잡도 수준이 진료 데이터에 의해 뒷받침되는가?

이는 확률론적 판단이 아니라, 이미 확인된 임상적 사실에 기반한 규칙 기반 검증입니다.

1,451개의 FDA 승인 AI 의료기기와 리콜 문제

FDA는 2025년에만 295 개의 AI 기반 의료기기를 승인하여(역대 최다 기록) 누적 총계를 1,451개로 늘렸습니다. 그러나 60개의 FDA 승인 AI 기기를 검토한 결과, 182건의 리콜이 확인되었으며, 그중 거의 절반이 승인 후 1년 이내에 발생했습니다. TruDI 내비게이션 시스템(TruDI Navigation System) 은 AI 도입 전 7건에 불과했던 오작동 및 이상반응이 도입 후 100건 이상 기록되었습니다. 승인된 AI 의료기기 중 단 5.2% 만이 이상반응 데이터를 일체 보고했을 뿐이며, 이는 나머지 95%의 시판 후 안전성에 대해 우리가 깜깜이 상태로 방치되어 있음을 의미합니다.

FDA의 2024년 12월 PCCP 최종 지침은 적응형 AI 기기가 허가 후 새로운 제출 없이도 지속적으로 발전할 수 있는 길을 열어주었지만, 대부분의 제조사는 PCCP가 요구하는 모니터링, 검증 및 문서화 인프라를 구축할 역량을 갖추지 못했습니다. 당사의 접근 방식은 바로 이러한 인프라, 즉 지속적인 모니터링 시스템, 성능 검증 파이프라인, 규제 문서화 프레임워크를 구축하여 PCCP를 단순한 서류 제출 전략에서 실질적인 운영 현실로 전환하는 것입니다.

거버넌스 격차: 23%만이 프레임워크 보유, 78%는 배포 추진 중

단 23% 의 의료 시스템만이 공식적인 AI 거버넌스 체계를 구축한 반면, 78% 는 향후 24개월 이내에 임상 AI를 배포할 계획입니다. 규제 적용 범위는 대부분의 의료 시스템이 거버넌스 위원회 인력을 확충하는 속도보다 빠르게 확장되고 있습니다:

• 미국 의사협회인 AMA 는 AI 거버넌스 툴킷(AI Governance Toolkit)을 2025년 8월에 발표했습니다.
• 의료 AI 연합인 Coalition for Health AI (CHAI) 는 청사진(Blueprint)을 Joint Commission(미국 의료기관 합동평가위원회) 과 2025년 9월 공동 브랜드로 발표하여 22,000개 이상의 인증 기관에 거버넌스 기대치를 명확히 전달했습니다.
• ONC의 HTI-1 규정 은 예측 의사결정 지원 중재(DSI)에 대해 31가지 소스 속성을 요구하며, 중재 위험 관리 관행의 공개를 의무화합니다.
• 제1557조(Section 1557)의 차별 금지 규정은 AI 기반 임상 결정 도구까지 확대 적용되며, 준수 마감일은 2025년 5월 까지입니다.
• OCR(미국 보건복지부 민권국)의 AI 집행 조치는 2025년에 340% 급증했습니다.

당사는 ONC, OCR, CMS 및 Joint Commission 요구 사항을 동시에 충족하도록 AI 거버넌스 프로그램을 설계하며, 이러한 접근 방식은 다음에 자세히 설명되어 있습니다: 알고리즘 무결성 거버넌스 프런티어에 관한 당사 연구. Epic의 앰비언트 스크라이브, 예측 패혈증 모델, 환자 대면 챗봇을 도입한 의료 시스템은 환자 데이터를 공유하는 세 가지 AI 리스크 프로파일을 갖게 됩니다. 벤더별, 부서별 또는 규제 요건별로 사일로화된 거버넌스를 운영하면, 결국 정책 중복, 상충되는 위험 평가가 발생하고 거버넌스 위원회가 발견하기도 전에 규제 당국이 허점을 먼저 찾아내게 됩니다.

제약 AI: 173개 임상 프로그램, 승인 건수 0건, 실질적 검증 격차

현재 173 개 이상의 AI 발견 신약 프로그램이 임상 개발 단계에 있습니다(폐쇄 루프 AI 신약 개발에 관한 당사 연구참조). Insilico Medicine 은 AI로 발굴한 신약에 대한 업계 최초의 임상 개념 증명(PoC) 결과를 Nature Medicine 에 2025년 6월 게재했습니다. Recursion 은 장기 데이터에서 초기 효능 경향을 확인하지 못하자 2025년 5월 주력 후보물질인 REC-994 의 개발을 중단했습니다. 주요 제약사들은 AI 파트너십에 수십억 달러를 투자해 왔습니다 — Novo Nordisk–Valo Health ($2.76B), Eli Lilly–Isomorphic Labs ($1.75B), 및 Bayer–Recursion ($1.5B) — 그럼에도 2026년 초 현재 FDA 승인을 받은 AI 발굴 신약은 단 하나도 없습니다.

제약 AI에서 발생하는 검증 격차는 모델 성능의 문제가 아니라 규제 문서화의 문제입니다. AI가 GxP 규제 프로세스를 다룰 때 모든 알고리즘적 의사결정에는 21 CFR Part 11 을 준수하는 감사 추적(audit trail)이 필수적입니다. FDA의 2025년 1월 초안 지침은 위험 기반 신뢰성 평가 프레임워크를 도입했으며, 2026년 1월 FDA-EMA 공동 원칙은 사용 목적 적합성(fitness for purpose)과 강력한 데이터 거버넌스를 강조합니다. 당사의 접근 방식은 AI 모델 출력을 규제 당국이 실제로 검토하는 문서화 프레임워크와 연결하는 검증 인프라를 구축하는 것입니다: 신뢰성 평가 계획, 사용 맥락(context-of-use) 정의, 그리고 학습 데이터부터 임상적 종점(clinical endpoint)에 이르기까지 모든 알고리즘적 결정을 추적하는 감사 추적을 제공합니다.

보험사(Payer) AI의 심판대

CMS는 WISeR 파일럿 을 2026년 1월에 시작하여 6개 주의 메디케어(Medicare) 수혜자를 대상으로 AI 기반 사전 승인을 시험했습니다. 불과 몇 달 만에 의사들은 거부율 증가, 동료 의사 간 검토(peer-to-peer review) 대기 시간 연장, 환자의 진료 접근 지연을 보고했습니다. 이 프로그램의 재정 구조는 "절감액"의 일부를 벤더에게 지급하므로 거부를 조장하는 직접적인 유인을 생성합니다. 이에 EFF 는 벤더 재정적 인센티브의 투명성을 요구하며 소송을 제기했고, 민주당 의원들은 파일럿 폐지 법안을 발의했습니다. 한편, 주 의회들도 독자적으로 움직이고 있습니다:

• 텍사스주 는 사람의 감독 없는 자동화된 부정적 결정(거부 처분)을 금지합니다.
• 캘리포니아주 SB 243 은 AI 컴패니언 챗봇을 규제합니다.
• 일리노이주 및 네바다주 는 행동 건강(정신건강) 분야에서의 AI 사용을 전면 금지했습니다.

의료 이용 관리(utilization management)에 AI를 도입하는 보험사에게 질문은 더 이상 규제가 도입될 것인가가 아니라, 계류 중인 모든 규제가 요구하는 감사 추적, 임상적 근거 문서화, 사람의 감독 통합을 귀하의 시스템이 입증할 수 있는가입니다. 당사는 개별 청구 건 수준에서 결정 근거를 문서화하고, 필수적인 인간 검토 트리거를 통합하며, CMS, 주 검찰총장(AG), 원고 측 변호인이 향후 요구할 투명성 보고서를 생성하도록 보험사 AI를 위한 알고리즘 규정 준수 프레임워크를 설계합니다.

왜 대형 컨설팅 펌이 아닌가?

Deloitte, Accenture, McKinsey는 모두 헬스케어 AI 전담 프랙티스를 보유하고 있습니다. 거버넌스 프레임워크, 성숙도 평가, 전략 로드맵을 작성하며, 조직 변화 관리 및 임원진 정렬에 능숙합니다. 하지만 그들은 임상 안전 시스템을 직접 구축하지는 않습니다.

Epic 연동 환경에서 CDS Hooks 내 환자의 알레르기 목록과 AI 생성 약물 권장 사항을 대조하는 실시간 검증 계층이 필요한 경우, 이는 임상 정보학 전문성과 시스템 통합 역량이 모두 요구되는 엔지니어링 문제입니다. 대형 펌들은 이러한 작업을 하도급 주지만, 당사는 이를 외부에 넘기지 않고 프로젝트의 핵심 엔지니어링으로 직접 다룹니다. 제약팀이 GxP 프로세스의 AI 모델을 위해 21 CFR Part 11 준수 감사 추적을 필요로 할 때, 당사의 프로젝트는 파이프라인이 어떤 모습이어야 하는지 설명하는 파워포인트 문서가 아니라 실제로 작동하는 파이프라인을 구축하도록 범위를 설정합니다.