당신의 AI 헬스 코치는 척추를 지키기엔 3초나 느리다

나는 어떤 사람이 하마터면 허리를 크게 다칠 뻔한 장면을 목격했다. 앱이 잘못된 순간에 잘못된 말을 해줬기 때문이다.

그는 방갈로르의 한 상업 헬스장에 있었고, 덤벨에 휴대폰을 기대어 세워둔 채 "실시간으로 당신의 자세를 봐준다"고 약속하는 그런 AI 코칭 앱 중 하나를 실행하고 있었다. 그는 스쿼트를 하고 있었는데 — 무겁지는 않았고, 아마 80킬로그램 정도 — 네 번째 반복 어디쯤에서 그의 요추가 둥글게 말리기 시작했다. 전형적인 벗 윙크였다. L4-L5 척추뼈에 전단력이 치솟고, 디스크 압박이 안전한 수준에서 위험한 수준으로 옮겨가고 있었다.

앱이 진동하며 말했다, "가슴을 세우세요."

그런데 그 말이 나온 건 그의 다섯 번째 반복에서였다. 자세가 사실 멀쩡했던 바로 그 반복 말이다. 그 교정은 네 번째 반복을 위한 것이었는데 — 3초 전, 생체역학에서는 영겁의 시간이다 — 이제는 교정이 필요 없는 반복을 과잉 교정하도록 그를 혼란에 빠뜨리고 있었다. 그는 동작 도중에 자세를 바꿨고, 복압 브레이싱을 잃었으며, 나는 그의 허리가 이전보다 더 심하게 말리는 것을 지켜봤다.

그 순간은 내가 몇 달 동안 VeriPrajna에서 의심해오던 무언가를 명확하게 만들었다: 대부분의 피트니스 AI 기업들이 구축하고 있는 아키텍처 전체가 단지 느린 것이 아니라 — 생체역학적으로 위험하다는 것이다. 클라우드 기반 AI가 문제를 "보는" 순간과 그 피드백이 사용자에게 도달하는 순간 사이의 지연 격차는 사소한 UX 불편이 아니다. 그것은 책임 문제다. 그리고 하중이 실린 척추 움직임의 맥락에서, 그것은 교정과 부상 사이의 차이다.

아무도 이야기하지 않는 200밀리초의 예산

모든 피트니스 테크 창업자의 이마에 새겨져야 할 숫자가 있다: 200밀리초.

그것은 인간이 시각 자극을 인지하고 운동 교정을 시작하는 데 걸리는 대략적인 총 시간이다. 엘리트 운동선수의 경우 150ms에 가깝다. 평균적인 헬스장 이용자의 경우 아마 250ms일 것이다. 청각 및 촉각 신호는 더 빠르다 — 25에서 100밀리초.

이것은 내 의견이 아니다. 생리학이다. 그리고 이것은 실시간으로 인간의 움직임을 코칭하려는 모든 시스템에 대해 내가 "지연 예산"이라 부르는 것을 만들어낸다. 카메라가 프레임을 포착하는 것부터 사용자가 촉각 진동을 느끼는 것까지, 전체 시스템 지연이 200ms를 초과하면 피드백은 현재 움직임 단계에 영향을 주기에는 너무 늦게 도착한다. 그것은 장식이 된다. 아니면 더 나쁘게는, 방해가 된다.

이제 백 스쿼트의 운동학을 생각해보자. 하강은 1.5초에서 2초가 걸린다. 바닥에서의 전환 — 척추가 가장 취약한 "바운스" — 은 종종 200밀리초 미만이다. 하강의 중간 지점에서 요추가 굴곡되기 시작하면 전단력이 즉시 치솟는다. 코칭 신호는 당신이 최대 깊이와 하중에 도달하기 전에 도착해야 한다.

당신의 척추가 말린 지 3초 후에 도착하는 경고는 코칭이 아니다. 그것은 부검이다.

AI 피트니스 제품을 만드는 대부분의 사람들은 이것을 생각하지 않는다. 그들은 모델을 생각한다. 그들은 프롬프트를 생각한다. 그들은 UI를 생각한다. 그들은 피드백 타이밍의 물리학과, 연속된 반복 세트에서 교정과 오류를 비동기화할 때 무슨 일이 벌어지는지에 대해서는 생각하지 않는다.

왜 클라우드 AI는 실시간 피트니스에 실패하는가?

여기서 나는 구체적이어야 한다. "클라우드는 느리다"는 말은 모호한 불평이기 때문이다. 피트니스 앱이 자세 분석을 위해 비디오 프레임을 GPT-4o Vision이나 AWS Rekognition으로 보낼 때 실제로 무슨 일이 일어나는지 하나씩 짚어보겠다.

프레임 캡처 및 인코딩: 50에서 100밀리초. 당신의 휴대폰이 1080p 프레임을 잡아 JPEG로 압축하고, 종종 API 전송을 위해 Base64로 인코딩한다. 발목 내번 같은 미묘한 키포인트를 감지하려면 해상도가 필요하기 때문에 공격적으로 다운샘플링할 수 없다.

네트워크 전송(업링크): 100에서 1,000밀리초. 여기서 상황이 험악해진다. 헬스장은 RF 악몽이다 — 지하실, 패러데이 새장처럼 작동하는 금속 골조 건물, 혼잡한 공용 Wi-Fi. 변동하는 LTE 연결에서 2MB 이미지를 업로드하는 데는 200ms에서 1초 이상까지 걸릴 수 있다.

서버 대기열 및 추론: 500에서 4,000밀리초. 요청이 OpenAI나 Google의 서버에 도달하여 대기열에 들어간다. GPT-4o의 오디오 지연은 320ms 정도로 벤치마크되지만, 비전 분석은 훨씬 더 느리다 — 서버 부하에 따라 종종 2초에서 4초다.

응답 전송 및 렌더링: 토큰 생성, 다운링크, JSON 파싱, 텍스트 음성 변환에 또 250에서 600밀리초.

모두 더해보자. 광섬유 Wi-Fi 최선의 경우: 약 1.5초. 전형적인 헬스장 시나리오: 3초에서 5초.

나는 우리 팀과 내가 앉아서 이것을 종단 간으로 실제 측정했던 밤을 기억한다. 우리는 마케팅 자료가 "실시간"이라고 했기 때문에 클라우드 경로가 "충분히 빠르다"고 가정하고 있었다. 우리는 테스트 장비를 설치했다 — 삼각대 위의 휴대폰, 통제된 스쿼트를 하는 팀원, 파이프라인 각 단계의 타임스탬프. 숫자가 돌아온 것을 봤을 때, 긴 침묵이 흘렀다. 누군가 말했다, "그러니까 우리는 기본적으로 스포터가 아니라 블랙박스를 만들고 있는 거네." 그것이 우리가 6주간의 작업을 폐기하고 처음부터 다시 시작한 순간이었다.

부정적 전이 문제

지연 격차는 단지 피드백을 늦게 만드는 것에 그치지 않는다. 그것은 피드백을 해롭게 만든다.

운동 학습 연구에는 부정적 전이라 불리는 잘 연구된 현상이 있다. 그것은 피드백이 그것이 가리키는 동작과 비동기화되어 도착할 때 발생한다. 연속된 운동 세트에서 3초의 지연은 반복 1에 대한 교정이 당신이 반복 2를 수행하는 동안 도착한다는 것을 의미한다.

당신의 뇌는 피드백이 오래된 것임을 알지 못한다. 뇌는 그 신호를 당신이 지금 하고 있는 무엇이든 것과 연관 짓는다. AI가 당신의 가슴이 이미 세워진 반복 도중에 "가슴을 세우세요"라고 말하면, 당신은 무의식적으로 그 교정을 당신의 현재(올바른) 행동과 연결한다. 당신은 반복 3에서 과잉 교정한다. 당신의 자세가 무너진다. AI는, 여전히 보고 있다면, 이제 새로운 오류를 본다 — 자신이 유발한 오류를.

나는 이 피드백 루프 문제에 대해 우리 연구의 인터랙티브 버전에서 깊이 있게 썼다. 운동 학습 문헌은 명확하다: 완벽하게 타이밍이 맞지 않는 동시 피드백은 단지 도움이 되지 못하는 것에 그치지 않고 — 뇌의 내재적 오류 감지 메커니즘을 적극적으로 방해한다.

그리고 인지 부하 차원도 있다. 무거운 리프팅을 하는 동안 운동선수는 균형, 복강 내 압력, 지렛대, 호흡을 관리하고 있다. 늦은 피드백은 신경인지적 방해 요소로 작용한다. "11+" 부상 예방 프로그램에 대한 연구는 감각 처리를 지연시키는 어떤 것이든 운동 협응 교정에 사용할 수 있는 시간을 줄인다는 것을 보여준다. AI는 사실상 운동선수의 뇌에서 처리 능력을 훔치고 있으며, 부상 위험을 줄이기는커녕 오히려 증가시킨다.

지연되는 AI 스포터는 사용자를 보호하지 않는다. 그것은 최악의 순간에 사용자와 주의를 놓고 경쟁한다.

지능을 휴대폰으로 옮기면 무슨 일이 일어나는가?

여기서 이야기가 바뀐다.

현대 스마트폰에는 전용 신경 처리 장치가 탑재되어 있다 — 애플 뉴럴 엔진, 퀄컴의 헥사곤 DSP. 이 칩들은 신경망을 구동하는 행렬 곱셈 연산을 위해 특별히 설계되었다. 그것들은 지금 이 순간 당신의 주머니 안에 대부분 유휴 상태로 자리 잡고 있으며, 배터리를 거의 건드리지 않으면서 정교한 컴퓨터 비전 모델을 초당 30프레임 이상으로 실행할 수 있다.

우리는 세 가지 오픈소스 자세 추정 모델을 평가했다: BlazePose (Google의 MediaPipe), MoveNet (TensorFlow Lite), 그리고 YOLOv11-Pose. 각각 절충점이 있지만, 다중 인물 추적보다 정확도가 더 중요한 전용 개인 트레이너 앱에서는 BlazePose가 결정적으로 승리했다.

왜일까? 두 가지 이유다. 첫째, 그것은 33개의 키포인트를 감지한다 — 표준 17포인트 토폴로지보다 상당히 많다. 여기에는 상세한 손과 발 랜드마크가 포함되는데, 이는 벤치 프레스에서 그립 너비나 스쿼트에서 발 안정성을 분석하는 데 엄청나게 중요하다. 둘째, 그것은 3D 좌표를 추론한다. 그 Z축 추정은 런지 도중 무릎이 안쪽으로 무너지는 것 같은 회전 움직임을 감지할 수 있다는 것을 의미하며, 이는 2D 모델이라면 완전히 놓칠 것이다.

온디바이스에서의 지연 계산은 클라우드와는 전혀 다르게 보인다:

카메라 캡처: 30ms. NPU에서의 추론: 15ms. 각도 계산 로직: 1ms 미만. 피드백 트리거: 1ms 미만.

총합: 대략 46밀리초. 인간 반응 시간의 200ms 임계값을 충분히 밑돈다. AI는 사용자 자신의 신경계가 오류를 인식하는 것보다 더 빠르게 자세 붕괴를 감지하고 반응할 수 있다.

한 순간이 있었다 — 화요일 저녁이었던 것 같고, 사무실은 거의 비어 있었다 — 우리가 온디바이스 파이프라인을 처음으로 종단 간 작동시켰던 때. 내 엔지니어 중 한 명이 노트북 카메라 앞에서 맨몸 스쿼트를 하고 있었고, 스켈레톤 오버레이가 섬뜩할 정도의 정밀함으로 그를 추적하고 있었다. 지연도 없었다. 떨림도 없었다. 촉각 진동이 그의 무릎이 안쪽으로 밀리기 시작하는 바로 그 순간 그의 휴대폰에 울렸다. 그는 멈추고, 나를 보며 말했다, "마치 움직임 안에 있는 것 같아요." 그때 나는 우리가 무언가를 손에 쥐었다는 것을 알았다.

스켈레톤이 진동하는 것을 어떻게 멈추는가?

원시 신경망 출력은 노이즈가 많다. 픽셀 양자화와 변동하는 모델 신뢰도 때문에 키포인트는 프레임마다 떨린다. 원시 데이터로 무릎 각도를 계산하면 사용자가 가만히 서 있을 때조차 숫자가 튄다 — 90°, 85°, 92°. 이것은 경험을 고장 난 것처럼 느껴지게 만든다.

명백한 해결책은 스무딩이다. 마지막 10개 프레임을 평균 내면 떨림이 사라진다. 하지만 당신은 방금 30 FPS에서 333밀리초의 지연을 도입했다. 당신은 몇 달을 들여 없앤 지연을 다시 도입한 것이다.

우리는 1€ 필터를 사용한다 — 적응형 차단 주파수를 가진 1차 저역 통과 필터다. 그것은 실시간 인간-컴퓨터 상호작용의 업계 표준으로, VR 게임과 정밀 커서 추적에 사용된다. 그 우아함은 적응성에 있다: 사용자가 플랭크를 유지할 때(낮은 속도), 필터는 공격적으로 스무딩하여 스켈레톤을 바위처럼 견고하게 보이게 만든다. 사용자가 스쿼트로 내려갈 때(높은 속도), 필터는 물러서서 부드러움보다 반응성을 우선시한다.

사람들은 가끔 우리가 왜 칼만 필터를 사용하지 않는지 묻는다. 칼만 필터는 탄도 궤적 — 미사일, 위성 — 을 예측하는 데 아름답다. 하지만 인간의 움직임은 불규칙하고 비선형적이다. 수천 가지 체형과 움직임 패턴에 걸쳐 일반 피트니스용으로 칼만 필터를 튜닝하는 것은 악몽이다. 1€ 필터는 가볍고, 단 두 개의 매개변수로 튜닝하기 쉬우며, 인간 움직임의 예측 불가능성을 우아하게 처리한다. 우리 신호 처리 접근법의 전체 기술적 설명은 우리 연구 논문을 참조하라.

시간당 36달러짜리 헬스장 짝꿍

물리학을 넘어, 대부분의 창업자가 너무 늦게 발견하는 클라우드 기반 피트니스 AI에 대한 잔혹한 경제적 논거가 있다.

GPT-4o Vision 입력 비용은 이미지당 대략 $0.001이다. 안전 등급의 자세 분석을 위해서는 초당 최소 10프레임이 필요하다. 그것은 분당 600프레임이다. 분당 $0.60. 시간당 $36.

어떤 소비자도 자동화된 헬스장 짝꿍에 시간당 $36를 지불하지 않을 것이다. 그래서 개발자들은 할 수 있는 유일한 일을 한다: 프레임 속도를 5초 또는 10초에 한 번으로 조절한다. 이는 제품이 이제 스쿼트 세트 도중에 자세를 두 번 확인한다는 뜻이다. 그것은 스포터가 아니다. 그것은 건의함이다.

우리는 투자자 미팅을 가졌다 — 초창기였다 — 누군가 우리의 엣지 우선 아키텍처를 보고 말했다, "그냥 GPT-4o를 쓰지 그래요? 이제 비디오도 볼 수 있는데." 나는 냅킨에 비용 계산을 펼쳤다. 월간 활성 사용자 5만 명, 각각 월 10회 세션, 연속 분석. API 요금만으로 월 25만 달러 이상. 방 안이 조용해졌다.

엣지 AI로는 100만 개의 스쿼트를 분석하는 비용이 하나를 분석하는 비용과 같다: 0이다. 사용자의 휴대폰이 서버다.

엣지 모델은 경제를 완전히 뒤집는다. 앱이 일단 다운로드되면, 연산은 사용자의 1,000달러짜리 아이폰에서 일어난다. API 호출도, 대역폭 비용도, 서버 확장도 없다. 앱이 하룻밤 사이에 입소문을 타고 10만 명의 사용자를 얻어도 인프라 청구서는 바뀌지 않는다. 확장할 것이 없기 때문에 이 아키텍처는 무한히 확장 가능하다.

배터리 소모는 어떤가?

이것은 모든 엔지니어가 제기하는 첫 번째 반론이고, 그것은 정당하다. 초당 30번 신경망을 실행하는 것은 20분 만에 방전되고 계란을 부칠 만큼 뜨거워지는 휴대폰의 레시피처럼 들린다.

하지만 데이터는 직관에 반하는 이야기를 들려준다. 스마트폰 에너지 소모는 두 가지가 지배한다: 화면과 셀룰러 무선통신. 클라우드로의 연속 비디오 스트리밍은 무선통신을 고전력 상태로 유지하는데, 이는 엄청난 배터리 킬러다. 반면 로컬 NPU 추론은 저전력 작동을 위해 특별히 설계되었다 — 범용 CPU보다 연산당 몇 자릿수 더 효율적이다.

우리는 그 위에 세 가지 완화 전략을 겹쳐 놓는다: 적응형 프레임 속도 (휴식 기간 동안 1 FPS로 조절), int8 양자화 (모델의 가중치를 32비트에서 8비트로 축소하여 무시할 만한 정확도 손실로 크기를 4배 줄임), 그리고 히스테리시스 냉각 (기기의 열 상태를 모니터링하여 OS가 강제로 하드 스로틀링을 걸기 전에 선제적으로 더 가벼운 모델로 전환). 우리 테스트에서 한 시간짜리 세션은 과열이나 상당한 배터리 영향 없이 편안하게 실행된다.

아무도 충분히 크게 말하지 않는 프라이버시 논거

이것에는 성능과 비용을 넘어서는 차원이 있고, 그것은 나를 밤에 잠 못 이루게 하는 것이다.

클라우드 기반 피트니스 AI는 당신 몸의 비디오를 원격 서버로 스트리밍하는 것을 의미한다. 생체인식 데이터 — 신체 기하학, 보행 패턴, 움직임 서명 — 는 일리노이의 BIPA, 유럽의 GDPR, 캘리포니아의 CCPA 하에서 엄격하게 규제된다. 빈틈없는 동의 및 보존 정책 없이 이 데이터를 수집하는 기업의 법적 노출은 엄청나다. BIPA만으로도 막대한 집단 소송 합의금이 발생했다.

엣지 처리로는 비디오 프레임이 기기의 RAM에 존재하다가 즉시 폐기된다. 그것들은 절대 디스크에 기록되지 않는다. 절대 전송되지 않는다. 사용자는 항상 자신의 데이터에 대한 소유권을 유지한다.

비행기 모드에서 작동하는 앱은 어떤 서비스 약관 페이지도 필적할 수 없는 프라이버시에 대한 약속을 하는 것이다.

나는 우리가 사용자에게 "당신의 비디오는 절대 당신의 휴대폰을 떠나지 않는다"고 말할 때 신뢰의 변화가 뚜렷하다는 것을 발견했다. 그들에게 그것은 법적 논거가 아니다. 그것은 직감이다. 그들은 긴장을 푼다. 그들은 실제로 침실이나 차고에서 앱을 사용한다 — 클라우드 서버에 연결된 카메라를 결코 향하게 하지 않을 장소들에서.

그렇다면 클라우드는 어디에 속하는가?

나는 클라우드 반대론자가 아니다. 나는 잘못된 일에 클라우드를 쓰는 것에 반대하는 것이다.

우리는 내가 두 개의 루프를 가진 하이브리드 아키텍처라고 생각하는 것을 구축한다. 핫 루프는 온디바이스에서 실행된다: NPU 상의 BlazePose, 50ms 미만의 지연, 안전, 스포팅, 반복 카운팅을 처리한다. 그것은 고주파 비디오를 처리하고 사용 후 폐기한다. 피드백은 즉각적이다 — 촉각 진동, "무릎 밖으로" 같은 짧은 오디오 신호.

콜드 루프는 클라우드에서 실행되지만, 절대 비디오를 건드리지 않는다. 그것은 가벼운 JSON 메타데이터를 받는다 — "세트 1: 평균 깊이 90°, 척추 각도 170°, 반복 4에서 자세 붕괴." LLM이 이것을 수 분 또는 수 시간에 걸쳐 처리하여 개인화된 인사이트를 생성한다: "당신의 자세는 세트 4에서 지속적으로 무너진다. 다음 주에는 볼륨을 줄이고 지구력을 키우자."

이것은 엣지 스포터의 속도를 희생하지 않으면서 GPT의 대화형 지능을 제공한다 — "내 운동 어땠어?" 클라우드로 이동하는 데이터는 기가바이트의 비디오가 아니라 몇 킬로바이트의 숫자다. 프라이버시 노출 면적은 거의 아무것도 아닌 수준으로 줄어든다.

사람들은 이 하이브리드 접근법이 모델이 더 빨라지면 결국 완전한 클라우드로 이동하는 필연을 단지 미루는 것을 의미하는지 나에게 묻는다. 나는 그렇게 생각하지 않는다. 네트워크 전송의 물리학은 바뀌지 않는다. 광섬유를 통과하는 빛에는 속도 한계가 있다. 셀 타워에는 혼잡이 있다. 헬스장은 언제나 RF에 적대적인 환경일 것이다. 그리고 근본적인 통찰 — 사용자의 휴대폰이 이미 이 일을 할 연산 능력을 가지고 있다는 것 — 은 모든 하드웨어 세대마다 오직 더 참이 된다. 내년 휴대폰의 NPU는 올해 것보다 두 배 빠를 것이다. 격차는 우리에게 유리하게 벌어진다.

아키텍처가 곧 제품이다

나는 지난 1년을 AI 피트니스 분야의 일부 사람들이 불편해하는 입장을 주장하며 보냈다: 당신의 아키텍처 선택은 기술적 구현 세부사항이 아니다. 그것이 곧 제품이다.

당신의 아키텍처가 3초의 지연을 도입한다면, 당신은 스포터를 만든 것이 아니다. 당신은 해설자를 만든 것이다. 당신의 아키텍처가 비디오를 서버로 스트리밍해야 한다면, 당신은 프라이버시를 존중하는 제품을 만든 것이 아니다. 당신은 피트니스 껍데기를 씌운 감시 도구를 만든 것이다. 당신의 아키텍처가 사용자당 시간당 $36의 비용이 든다면, 당신은 사업을 만든 것이 아니다. 당신은 데모를 만든 것이다.

업계는 대형 멀티모달 모델의 역량에 매혹되었다 — 그리고 그 역량은 올바른 사용 사례에서는 진정으로 인상적이다. 장편 비디오 분석, 대화형 코칭, 개인화된 프로그래밍. 하지만 3초짜리 추론 파이프라인의 올바른 사용 사례는 하중이 실린 척추 움직임 중의 실시간 부상 예방이 결코 아니다.

800밀리초는 생체역학에서 영겁이다. 당신의 AI가 인간 신경계보다 빠르게 반응할 수 없다면, 그것은 코치가 아니다 — 그것은 관객이다.

당신 주머니 속 휴대폰에는 생각의 속도로 신경망을 실행하도록 설계된 칩이 있다. 카메라는 이미 사용자를 향해 있다. 촉각 모터도 이미 거기에 있다. 운동선수를 진정으로 보는 시스템을 — 그들의 지연된 비디오를 지켜보는 것이 아니라 — 만드는 데 필요한 모든 것이 사용자의 손안에 놓여 있다.

모든 피트니스 테크 기업이 정직하게 답해야 할 질문: 당신의 앱은 비디오를 지켜보고 있는가, 아니면 사용자를 스포팅하고 있는가? 왜냐하면 운동선수의 척추는 당신의 마케팅 문구에 관심이 없기 때문이다. 그것은 오직 밀리초에만 관심이 있다.