우리는 완벽한 스쿼트를 세는 AI를 만들었다. 그런데 62세 남성의 무릎은 내내 무너지고 있었다.

우리 코드베이스 어딘가의 노트북 화면에 멈춰 있는, 내가 계속 떠올리는 한 프레임이 있다. 거실에서 맨몸 스쿼트를 하는 한 남성 위에 33개 점으로 이루어진 골격이 겹쳐 그려져 있다. 약 90프레임 중 58번째 프레임. 그 남성의 엉덩이, 무릎, 발목 위의 점들과 그것들을 잇는 초록색 선들 — 이건 우리 소프트웨어가 그린 그림이다. 휴대폰 카메라가 초당 30프레임으로 그 장면을 포착했고, 우리 시스템은 이미 그 반복 동작을 채점해 놓은 상태였다.

시스템은 그것을 '좋음'으로 채점했다.

그 남성은 62세였고, ACL(전방십자인대) 재건 수술을 받은 지 8주가 된 상태로, 물리치료사가 처방한 바로 그 운동을 하고 있었다. 그리고 그 프레임에서 그의 왼쪽 무릎은 안쪽으로 무너지고 있었다 — 엉덩이와 발목이 이루어야 할 일직선에서 벗어나, 몸의 정중선을 향해 약 4센티미터 정도 밀려 들어가고 있었다. 건강한 30세라면 이건 그저 엉성한 반복 동작이다. 하지만 ACL 수술 후의 무릎에서는, 그 안쪽 무너짐이야말로 방금 외과의에게 비용을 지불하고 이식받은 그 이식건을 다시 찢는 특정한 역학적 패턴 중 하나다.

우리 AI는 그것을 성공으로 셌다. 그날 아침이야말로, 내가 어느 정도 확신을 가지고 피트니스 AI의 진짜 어려운 문제가 무엇인지 — 그리고 왜 정작 중요한 부분을 해결하는 사람이 거의 없는지 — 말할 수 있게 된 이유다.

자세 추정(pose estimation)은 센서다. 그것은 두뇌가 아니다.

코드 한 줄 쓰기 전에 누군가 나에게 말해줬으면 했던 것은 이것이다. 모두가 어렵다고 생각하는 부분은 사실 공짜라는 것.

카메라로 인체를 추적하는 것 — 관절을 찾아내고, 골격을 그리고, 33개의 키포인트를 프레임마다 따라가는 것 — 은 이미 해결된 문제다. 구글의 BlazePose와 MoveNet, MediaPipe 프레임워크, 이 모든 것이 오픈소스이며 주머니 속 휴대폰에서 실행된다. 지구상의 모든 피트니스 AI 회사가 똑같은 몇 안 되는 자세 추정 라이브러리를 돌리고 있다. 거기엔 진입 장벽(moat)이 없다. 나는 이 사실을 처음엔 정반대로 믿었다가 비싼 대가를 치르며 배웠다.

자세 추정은 무릎이 어디에 있는지는 알려준다. 하지만 그 무릎이 위험에 처했는지는 알려주지 않는다.

진짜 어려운 문제는 그 한 층 위에 있다. 바로 해석이다. 4센티미터의 안쪽 이동이 무릎 외반(knee valgus)을 의미한다는 것, 그 무릎 외반이 재부상 위험이라는 것을 아는 것 —이러한 특정 병력을 가진 이 특정 환자에게— 그리고 그것이 '잘했어요' 애니메이션이 아니라 임상의 경보를 유발해야 한다는 것을 아는 것이다. 센서는 범용재화가 되었다. 두뇌는 그렇지 않다. 그 간극 — 움직임을 감지하는 것과 그것을 이해하는 것 사이의 간극 — 이야말로 게임의 전부이며, 그것이 바로 우리가 결국 만들어낸 것이다. 운동 검증 엔진을 만든 이유가 바로 이것이었다.

우리 제품이 그 간극에 그대로 빠지기 전까지 나는 그 간극을 이해하지 못했다.

거짓말을 한 '좋은 반복' 카운터

시작했을 때 우리는 당연하고 빠르게 느껴지는 일을 했다. 자세 모델에서 나오는 키포인트를 받아, 관절 각도를 측정하는 기하 계산 코드를 짜고, 임계값을 설정하고 — 무릎이 이 각도를 넘어 굽혀지면 반복 동작 하나로 센다 — 반복 횟수를 세고 자세 팁을 번쩍 띄우는 깔끔하고 작은 엔진을 출시했다. 데모는 아름다웠다. 반복 횟수가 올라갔다. 초록색 체크 표시. 회의실에서는 완성된 제품처럼 보였다.

그 스쿼트 영상이 그 환상을 깨뜨렸다. 우리는 프레임별 데이터를 CSV로 바로 눈앞에 두고 있었다 — 나는 하강 구간의 45번부터 72번 프레임까지 환자의 왼쪽 무릎 수평 위치가 안쪽으로 미끄러지는 것을 볼 수 있었다. 처방된 목표치가 90도였는데 그의 무릎이 굴곡 78도밖에 도달하지 못한 것도 볼 수 있었다. 하강에는 약 1초가 걸렸고 다시 올라오는 데는 그 두 배가 넘게 걸린 것도 볼 수 있었다 — 그가 반동으로 스쿼트에 떨어졌다가 다시 일어서느라 힘겹게 갈아냈음을 절규하는 2대 1 비율이다.

세 가지 독립적인 위험 신호. 불충분한 깊이, 안쪽 무너짐, 그리고 보상성 템포. 어떤 물리치료사라도 그 영상을 흘긋 보기만 했다면 세션을 중단시켰을 것이다. 우리 소프트웨어는 바로 그 똑같은 숫자들을 보고 이렇게 반환했다. 반복 완료, 좋은 자세.

그것이 바로 내가 개인적으로 밀어붙였던 실패였다. '일단 반복 횟수를 세는 뭔가를 만들어놓고 반복 개선하자'라고 말한 사람이 바로 나였다 — 린(lean)한 것, 출시 가능한 것. 그런데 그 린한 것은 능동적으로 위험했다. 회복 중인 환자에게 자신 있는 긍정적 피드백을 주면서, 그가 외과의가 되돌리려 애쓰던 바로 그 움직임을 강화하도록 만들었기 때문이다.

안전한 스쿼트와 위험한 스쿼트를 구별하지 못하는 반복 카운터는 제품의 축소판이 아니다. 그것은 올바른 제품의 옷을 입은 잘못된 제품이다.

그 프레임 밑에 깔린 교훈: 원시 자세 데이터는 필요하지만 결코 충분하지 않다. 78도는 추상적으로는 '나쁜' 것이 아니다— 2주 전에 60도였던 8주 차 ACL 수술 후 환자에게는 그것이 정확히 딱 맞는 진전의 양일 수도 있다. 똑같은 숫자가 누가 움직이고 있는지, 그리고 회복 과정에서 어디에 있는지에 따라 전적으로 성공일 수도 경고일 수도 있다. 고정된 임계값은 그것을 담아낼 수 없다. 지능이 담아내야 한다.

왜 정확도 간극이 이 문제를 더 쉽게가 아니라 더 어렵게 만드는가

데모에서는 절대 보여주지 않는 부분을 덧붙이겠다. 우리가 이것을 존중하게 되기까지 시간이 좀 걸렸기 때문이다. 단일 휴대폰 카메라는 모션 캡처 실험실이 아니다.

연구자들이 단안(monocular) 자세 추정을 Qualisys — 임상에서 실제 생체역학에 쓰는, 골드 스탠더드급 다중 카메라 마커 시스템 — 와 정면 대결시켰을 때, MediaPipe는 하지에서 약 0.80, 상지에서 0.91의 상관관계를 보인다. 존중할 만하다. 하지만 무릎 굴곡 각도 같은 것에서의 오차는 2D에서 9도에서 22도까지 벌어지며, Nature Scientific Reports에 실린 2025년 논문은 단일 카메라 시스템이 '정확한 깊이 추정을 제공하지 못한다'고 노골적으로 밝혔다. 거울, 어두운 거실 조명, 무늬 있는 레깅스, 몸의 절반을 가리는 소파 — 이 하나하나가 신호를 더 저하시킨다.

그러니 당신은 잡음 많은 센서 위에 임상적 판단을 쌓아 올리고 있는 셈이다. 그건 포기해야 할 이유처럼 들린다. 하지만 실제로는 해석 계층이 문자 그대로가 아니라 똑똑해야 하는 이유다. 당신의 시스템이 원시 78도 판독값을 복음처럼 취급하면, 카메라 잡음만으로도 반복마다 '통과'와 '실패' 사이를 오락가락하게 된다. 지능 계층의 임무에는 어떤 판독값을 믿을지 가중치를 매기는 것이 포함된다 — 프레임 전반에 걸쳐 평활화하고, 잡음을 견뎌내는 패턴(일관된 안쪽 이동)에 그렇지 못한 패턴(한 프레임짜리 떨림)보다 더 큰 가중치를 주고, 신뢰도에 대해 정직해지는 것이다. 우리는 이를 위해 시간적(temporal) 모델에 의존한다. 시간적 합성곱 신경망(temporal convolutional network)이라 불리는 부류의 네트워크는 중급 휴대폰에서 2밀리초도 훨씬 안 되는 시간에 움직임 인식 정확도 98.7%를 달성할 수 있으며, 기기에서 전적으로 실행될 만큼 작다. 하지만 아키텍처는 원칙보다 덜 중요하다. 확실성은 센서가 완벽한 척한다고 만들어지는 것이 아니다. 센서가 완벽하지 않다는 사실을 전제로 설계함으로써 만들어진다.

Hinge Health가 이미 이걸 해결하지 않았나?

이 무렵 나는 '이거 이미 해결된 거 아니야?'라는 질문을 받기 시작했다. 대개는 투자자들에게서, 가끔은 새벽 2시의 나 자신에게서. 근골격계(MSK) 의료 대기업들은 실재하고 규모가 크다. 그러니 그들이 무엇을 하는지, 그리고 문이 아직 어디에 열려 있는지 정확히 짚어보겠다.

Hinge Health는 2026년 매출을 7억 3,200만 달러로 전망하고 있다. 그들은 관절 분석을 위한 TrueMotion 컴퓨터 비전과 Robin이라는 트리아지 어시스턴트를 만들었고, 이를 뒷받침할 임상 결과도 갖고 있다 — 그들의 환자들 사이에서는 전통적 치료보다 척추 유합술과 무릎 치환술이 극적으로 적었다. Sword Health는 2026년 1월 Kaia Health를 2억 8,500만 달러에 인수해 Kaia의 'Motion Coach' 컴퓨터 비전을 Sword의 웨어러블 센서 플랫폼에 통합했으며, 또 5억 달러를 추가로 조달하고 있는 것으로 알려졌다. 이들은 만만찮은 회사들이다.

이들은 또한 닫힌 상자이기도 하다. 그들의 검증 기술은 자기네 치료 모델에 용접되어 있고, 기업 고용주에게 판매되며, 하나의 종착지로서 가격이 매겨지고 패키징된다 — 당신이 이미 만들고 있는 물리치료(PT) 플랫폼이나 웰니스 앱 안에 넣을 수 있는 무언가가 아니다. 당신이 물리치료 소프트웨어 회사를 운영하면서 당신의제품 안에 검증된 운동 데이터를 원한다면, Hinge와 Sword는 그것을 팔지 않는다. 그들은 당신과 경쟁하는 그것을 판다.

나머지 시장은 깔끔하게 갈린다. Peloton IQ는 2025년 10월 자세 추적 카메라를 출시했다 — 하지만 그것은 소비자용 피트니스이고, Peloton 하드웨어에 묶여 있으며, 임상적 역량이 없다. Kemtai는 44개 랜드마크를 추적하는 브라우저 기반 B2B 비전 플랫폼을 제공하는데, 이는 진정으로 유용하지만 일반 피트니스용이며 그 자세 규칙은 환자별·운동별로 구성할 수 없는 획일적인 방식이다. 청구 쪽에서는 Limber Health와 MedBridge가 원격 모니터링 워크플로를 잘 처리한다 — Limber의 환자들은 가정 운동 세션을 세 배 넘게 완료한다 — 하지만 그들은 모니터링의 서류 작업을 관리할 뿐, 운동이 올바르게 수행되었는지를 독립적으로 검증하지는 않는다.

시장에는 움직임을 검증하지만 그 위에 당신이 무언가를 만들도록 허락하지 않는 회사들과, 청구는 처리하지만 움직임을 검증할 수 없는 회사들이 있다. 그 간극은 검증을 수행하면서 당신의 제품 안에 사는 엔진이다.

그 간극은 연구 문제가 아니다. 그것은 통합-엔지니어링 문제이며, 그 구분이야말로 집중된 팀이 여기서 승리할 수 있는 이유의 전부다.

왜 반복 카운트는 RTM 감사를 통과하지 못하는가?

우리가 함께 일하는 물리치료 플랫폼들에게, 이것은 상환(reimbursement) 계산이 바뀌는 순간 더 이상 탁상공론이 아니게 되었다.

가정 운동 프로그램을 완전히 지키는 환자는 약 35%에 불과하다 — 나머지 대부분은 첫 달 안에 포기한다 — 그리고 환자들은 물어보면 유명하게도 과대 보고를 한다. 임상의들은 자가 보고 데이터가 허구임을 안다. 그들이 원하는 것은 원격 치료 모니터링(Remote Therapeutic Monitoring)이다. 방문 사이에 환자의 근골격계 회복을 모니터링하는 데 대해 비용을 지불하는 일련의 CMS 청구 코드(98975부터 98981까지)다. 진짜 반복적 수익.

문제는 RTM 문서화가 요구하는 것이다. 그것을 청구하고 감사를 통과하려면, 기기가 수집한 데이터 — 타임스탬프가 찍히고, 치료 계획을 바꾼 실제 임상적 결정과 연결된 — 가 필요하다. 반복 카운트는 그 기준을 통과하지 못한다. '환자가 스쿼트 30회를 했다'는 '환자의 움직임 품질이 저하되어 이 날짜에 프로토콜 조정을 촉발했다'와 같지 않다. 이것이야말로 우리의 반복 카운터가 클리닉을 노출된 상태로 남겨놓았을 바로 그 지점이다. 한 물리치료사가 정중하게, 우리 데이터로는 청구할 수 없다고 말하던 것이 기억난다. 우리 데이터는 그녀에게 그가운동을 했다는 것만 알려줬지 어떻게했는지는 알려주지 않았기 때문이다 — 그리고 '어떻게'가 임상적·법적 핵심 전부였다.

그러다 기준은 낮아지고 위험은 높아지는 일이 동시에 일어났다. CMS 2026년 최종 규칙(Final Rule)은 두 개의 새 코드 — 98979와 98985 — 를 추가했고, 모니터링 임계값을 16일에서 2일까지로 낮췄으며, 관리 시간 최소치를 20분에서 10분으로 내렸다. 갑자기 훨씬 더 많은 환자가 청구 대상이 되었다. 하지만 문서화 기준은 완화되지 않았다. 여전히 치료 결정과 연결된 기기 데이터를 요구한다. 더 많은 클리닉이 RTM으로 몰려든다는 것은, 버텨내지 못할 바로 그 얄팍한 카운트-온리 데이터를 생성하는 클리닉이 더 많아진다는 뜻이다. 상환 기회와 문서화 위험이 같은 숨결 속에서 함께 커졌다.

이와 나란히 흐르며 당신이 어떻게 구축하는지를 좌우하는 규제상의 미묘한 경계가 있다. FDA의 2026년 1월 지침은 순전히 '웰니스'로 포지셔닝된 도구가 의료기기 분류를 우회할 수 있게 해준다 — 걸음 수 측정기에는 괜찮다. 하지만 임상적 주장을 하는 순간 — RTM 검증은 본질적으로 그렇게 한다 — 당신은 잠재적으로 의료기기로서의 소프트웨어(software-as-a-medical-device) 영역에 들어가게 되며, 그것이 함의하는 검증과 감독이 따라온다. 그래서 똑같은 엔진이 고객이 무엇을 주장하느냐에 따라 그 경계선의 어느 쪽에서도 살아갈 수 있도록 아키텍처가 설계되어야 하는데, 이는 뒤늦게 발견하고 싶은 결정이 아니다.

그러니 검증된 운동 엔진은 이 플랫폼들에게 있으면 좋은 기능이 아니다. 그것은 감사를 통과하는 RTM 수익과 환수(clawback)가 되어버리는 RTM 수익 사이의 차이다.

방 안의 또 다른 구매자: 감시 없는 웰니스

나는 이 두 번째 구매자를 하마터면 소홀히 대할 뻔했고, 그러지 않아서 다행이다 — 인간적 소재가 똑같이 날카롭기 때문이다.

기업 웰니스 담당자들은 똑같은 문제의 다른 버전을 마주하고 있다. 근골격계 문제는 직접 지출로 직원 1인당 연간 약 486달러의 비용이 들고, 여기에 생산성 손실로 추정 3,105달러가 더해져 — 1인당 3,591달러다. 근골격계 수술의 최대 36%가 불필요하며, 이는 노동 인구에 대략 900억 달러의 부담이다. 시장의 반응은 어마어마하다. 기업 웰니스 지출은 2026년 1,000억 달러에 이르고 있으며, 2025년 대기업의 83%가 가상 근골격계 치료를 제공했던 데 반해, 그 거의 전부 — 96% — 가 2027년까지 제공할 계획이다.

그런데도 실제로 자신에게 제공된 프로그램을 이용하는 직원은 약 4분의 1에 불과하다. 절반 이상은 애초에 고용주와 건강 데이터를 공유하기를 꺼린다고 말한다. 수년간의 핏빗 흔들기, 걸음 수 조작 게임 스캔들을 겪은 뒤, 직원들은 '웰니스 검증'이 종종 '내 상사가 지켜보고 있다'를 뜻한다는 것을 배웠다. 우리 초기 파일럿 중 하나에 참여한 한 CHRO가 나에게, 농담 반 진담 반으로, 우리가 만든 것이 '감시처럼 느껴지지' 않느냐고 물었다. 그것은 누구도 우리에게 던진 적 없는 가장 유용한 질문이었다. 왜냐하면 정직한 첫 번째 대답은 이랬기 때문이다: 그럴 수 있다.

그 반론이 우리 아키텍처를 다시 짜게 만들었다. 운동 검증을 가능하게 하는 바로 그 골격 키포인트는, 법적으로는 지뢰밭이다 — 신체 움직임 패턴은 지문처럼 사람을 재식별할 수 있으며, 이는 자세 데이터를 일리노이의 BIPA와 유럽의 GDPR 같은 생체정보 프라이버시 법에 관한 논의의 정중앙에 놓는다. 2025년 한 해에만 일리노이에서 107건의 새로운 BIPA 집단소송이 제기되었다. 아직 아무도 자세 추정을 두고 피트니스 앱을 고소하지는 않았지만, 그 법적 논리는 완전히 조립되어 대기하고 있다.

'이게 감시처럼 느껴지나요'에 대한 해법은 결국 프라이버시 정책이 아니었다. 그것은 설계 제약이었다: 원시 영상과 골격은 절대 휴대폰을 떠나지 않는다.

우리는 움직임을 기기 내에서 처리하고 집계된 준수 신호만을 전송한다 — 처방된 운동이, 이 품질로, 이 날짜에 수행되었다— 영상은 절대, 키포인트도 절대 보내지 않는다. 고용주는 검증된 참여를 얻는다. 직원의 신체 데이터는 직원의 기기에 남는다. 그것이 내가 나 자신에게 실제로 사용되기를 원할 유일한 버전의 기업 운동 검증이다.

'하지만 휴대폰 카메라가 결코 충분히 정확할 수 없지 않나요?'

사람들은 정확도 한계를 이것이 작동할 수 없는 이유로 제기하고, 나는 그것을 진지하게 받아들인다 — 다만 나는 그것이 정반대의 결론을 뒷받침한다고 생각한다. 그렇다, 단안 카메라는 10만 달러짜리 마커 실험실을 결코 따라잡지 못할 것이다. 하지만 임상적 유용성은 실험실급 각도를 요구하지 않는다. 그것은 중요한 패턴들을 신뢰할 수 있게 포착하기를 요구한다: 일관된 무릎 안쪽 이동, 주마다 퇴행하는 깊이, 보상을 신호하는 템포. 이것들은 카메라 잡음을 뚫고도 견고한 신호들이다 — 단,해석 계층이 그것들을 찾아내고 떨림은 무시하도록 만들어져 있다면. 목표는 결코 90.0도를 측정하는 것이 아니었다. 그것은 오늘, 이 사람에게, 이 반복 동작이 잘못된 방향으로 움직이고 있다는 것을 아는 것이었다.

내가 받는 또 다른 질문은, 모두가 콘퍼런스에서 듣고 있는 '에이전트형 AI(agentic AI)'의 새 물결이 맞춤형 생체역학 작업을 쓸모없게 만드느냐는 것이다. 정반대다. 환자의 운동 계획을 조정하는 자율 건강 에이전트는 그 밑에 깔린 데이터만큼만 신뢰할 수 있다. 에이전트를 반복 카운트에 겨누면, 그것은 자신 있게 환자를 더 깊은 부상 속으로 최적화해 넣을 것이다. 운동-지능 계층이야말로 에이전트형 모니터링을 무모함이 아니라 안전하게 만드는 것이다. 위에 얹힌 에이전트가 똑똑할수록, 그 아래의 검증이 실제로 움직임을 이해한다는 것이 더욱 중요해진다.

그 멈춰버린 프레임이 나에게 가르쳐 준 것

우리는 단 하나의 아이디어를 중심으로 엔진을 다시 만들었다: 임계값은 숫자가 아니라 임상적 결정이며, 그것은 임상의의 몫이라는 것. 'ACL 수술 후 8주 차'에 맞춰진 스쿼트 깊이 목표치는 '무릎 치환 후의 70세'나 '30세 기업 운동선수'와 같은 목표치가 아니다. 그래서 우리는 임계값을 구성 가능하게 만들었고 — 임상의가, 환자별로, 운동별로 설정하도록 — 그 출력물이 RTM 청구와 불안해하는 웰니스 구매자 양쪽이 모두 실제로 필요로 하는 것이 되도록 만들었다: 구조화되고, 타임스탬프가 찍히고, 프로토콜에 매핑되고, 프라이버시를 존중하는 준수 데이터. 카메라 입력, 임상적으로 의미 있는 결정 출력. 그 파이프라인이 어떻게 맞물려 돌아가는지에 대한 전체 그림을 원한다면, 그것은 우리 솔루션 페이지에서확인할 수 있다.

나는 여전히 자신의 무릎이 접히고 있다는 걸 전혀 몰랐던 초록색 체크 표시를 믿으며 스쿼트를 하던 그 62세 남성을 생각한다. 그는 모든 것을 제대로 했다. 그는 나타났고, 운동을 했고, 지시를 따랐다. 소프트웨어는 조용히, 오직 훈련된 눈만이 포착했을 방식으로 그를 실망시켰다 — 그리고 그의 거실에 AI를 들여놓는 것의 약속 전부는 그 훈련된 눈이 언제나 거기 있으리라는 것이었다.

반복 카운터는 몸이 움직이는 것을 지켜본다. 운동 검증 엔진은 그 움직임이 무엇을 의미하는지 안다. 그 두 문장 사이에는 회복 중인 무릎 하나, 청구 가능한 임상적 결정 하나, 그리고 자신을 지켜보는 그것을 신뢰할지 결정하는 직원 한 명이 있다. 그것은 기술의 간극이 아니다. 그것은 일 그 자체다.