당신의 컴플라이언스 교육은 모두가 통과했다고 말한다. 나는 그렇지 않다는 걸 아는 모델을 만들었다.

한 은행의 컴플라이언스 담당자가 언젠가 자신의 연례 자금세탁방지 재인증 과정을 내게 자세히 설명해 준 적이 있다. 컴플라이언스 부서 500명, 4시간짜리 모듈 하나, 모두에게 동일한 콘텐츠가 배정되었다. 고객확인의무, 의심거래보고, 분할거래 탐지, 무역기반 자금세탁, 제재 대상 스크리닝. 과정이 끝나자 그녀의 학습 시스템은 500개의 초록색 체크 표시를 만들어냈다. 그녀는 마치 누군가에게 영수증을 보여주듯 그것들을 내게 보여주었다.

그러고 나서 그녀는 그 이후로 내가 도무지 잊을 수 없는 말을 했다. 그 500명 중 실제로 누가 의심거래보고서를 작성할 줄 아는지 자신은 전혀 모른다는 것이었다.

그 간극 — 완료와 안다 사이의 간극 — 이 바로 내가 지금 기업 교육을 위한 적응형 학습 AI를 구축하는 데 시간을 쏟는 이유 전부다. 당신의 다음 강좌를 추천해 주는 추천 엔진 방식이 아니다. 지식 추적이라 불리는 기법 위에 세워진, 각 개별 직원이 실제로 무엇을 아는지 개념 하나하나 단위로 모델링하고 그들이 질문에 답할 때마다 그 추정치를 갱신하는 진단 방식이다. 그녀의 LMS는 완료를 추적했다. 그녀에게 필요했던 것은 역량을 추적하는 시스템이었다. 우리는 그 역량 계층을 구축하며, 그것이 바로 내 팀이 매일 몰두하는 솔루션이다.

초록색 체크 표시는 감사인에게 영상이 끝까지 재생되었다는 것만 알려준다. 누군가가 실제로 그 일을 할 줄 알게 되었는지에 대해서는 아무것도 말해 주지 않는다.

"완료"와 "안다" 사이의 1,028억 달러짜리 간극

미국 기업들은 2025년 교육에 1,028억 달러를 지출했는데, 이는 그 전해의 980억 달러에서 늘어난 수치다. 이는 Training Magazine의 통계로, 학습자 1인당 약 874달러에 해당한다. 그 돈의 대부분은 완료 데이터를 사는 데 쓰인다. 여전히 대다수 기업 강좌가 담겨 배포되는 파일 형식인 SCORM은 통과, 실패, 완료를 기록하는 1.2 사양을 중심으로 설계되었다. 그게 전부다. 그것은 제작 수준만 더 나은 출석부일 뿐이다.

가만히 곱씹어 보면 나는 이것이 정말 이상하다고 느낀다. 우리는 지난 20년간 교육의 전달을 최적화하는 데 — 더 매끄러운 영상, 모바일, 마이크로러닝 — 시간을 쏟았지만, 그 노력 중 어느 것도 교육이 누군가가 할 수 있는 일을 실제로 바꿨는지를 측정하는 데는 거의 들어가지 않았다. Josh Bersin Company는 2026년 2월에 AI가 4,000억 달러 규모의 기업 학습을 곧 변혁할 것이라고 주장하는 글을 냈는데, 내게 각인된 통계는 이것이었다. AI 네이티브 학습 기술을 실제로 도입한 기업은 5% 미만이라는 것. 모두가 LMS를 갖고 있다. 그런데 그 안에 지능을 가진 곳은 거의 없다.

그리고 그 간극의 비용은 더 이상 추상적이지 않다. Bersin의 데이터는 AI 네이티브 학습을 사용하는 기업이 재무 목표를 초과 달성할 가능성이 6배 높다는 것을 보여준다. 반대편에서는 기업의 74%가 새로운 기술에 대한 수요를 따라잡을 수 없다고 말하고, 전문 기술의 반감기는 2000년의 대략 10년에서 오늘날 5년 미만으로 떨어졌다. 나는 L&D 팀들이 그 붕괴에 대해 자신들의 도구가 허용하는 유일한 방식으로 대응하는 것을 지켜봤다 — 더 많은 콘텐츠를 더 빠르게 내보내는 것이다. 나는 그 본능을 이해한다. 20년간 더 많은 콘텐츠는 시스템이 우리에게 준 유일한 지렛대였기 때문이다. 문제는 결코 그 지렛대가 아니었다. 그중 무엇이라도 효과가 있었는지 측정하는 데 우리가 쓰는 계측기가 문제다.

내가 만든 첫 번째 버전은 틀렸고, 그런데도 근사해 보였다

여기 내가 자랑스러워하지 않는 부분이 있다. 이것을 처음 구축하기 시작했을 때, 나는 뻔한 모델에 손을 뻗었다. 지식 추적 문헌에는 심층 지식 추적 — DKT — 이라 불리는 잘 알려진 접근법이 있는데, 이는 순환 신경망의 일종인 LSTM을 사용해 학습자가 다음 질문을 맞힐지를 예측한다. 그것은 정석적인 출발점이다. 우리는 그것을 연결하고 상호작용 데이터를 먹였고, 대시보드는 아름다웠다. 올라가는 숙달 곡선, 그럴듯해 보이는 예측 정확도.

나는 그것을 자랑할 준비가 되어 있었다. 그러다 나는 그 AML 사용 사례로 돌아가 컴플라이언스 담당자의 진짜 질문에 답하려 했다 — 이 특정 분석가가 모르는 개념이 무엇인가? — 그런데 모델은 내게 알려줄 수 없었다. 누군가가 전반적으로 "잘하고 있는지"는 알려줄 수 있었다. 하지만 "그녀는 고객확인의무에는 탄탄하지만 무역기반 자금세탁에는 위태롭다"고 깔끔하게 말할 수는 없었다.

그 이유를 이해하는 데 필요 이상으로 오래 걸렸다. 교육 데이터 마이닝 커뮤니티의 2025년 논문 하나가 조용하지만 잔혹한 지적을 한다. 순정 DKT는 기술별 지식이 아니라 능력을 학습한다는 것이다. 그것은 개념 수준의 숙달이 아니라 "이 사람은 시험을 잘 본다"는 일반적인 신호를 모델링한다. 더 나쁜 것은, 연구자들이 학습되지 않은 RNN — 무작위 가중치를 가진 신경망 — 이 일부 벤치마크에서 학습된 DKT 모델과 대등할 수 있음을 보였다는 점이다. 내 아름다운 대시보드는 실질적인 의미에서 분위기를 측정하고 있었다.

나는 자신감 있고, 정확해 보이며, 프로젝트 전체가 존재하는 이유였던 단 하나의 질문에 답할 수 없는 모델을 만들었던 것이다.

그달은 막다른 길처럼 느껴졌다. 나는 역량의 증거를 약속했는데, 자신이 무엇에 대해 자신하는지도 모르는 자신감 측정기를 만들어 버렸다.

우리가 기억이 아니라 어텐션 위에 다시 구축한 이유

탈출구는 지식 추적 모델의 최신 세대 — 자기 어텐션 방식의 모델들 — 에서 나왔다. 우리는 SAKT, 즉 Self-Attentive Knowledge Tracing으로 옮겨갔고, 그다음 맥락 인식 어텐션 변형인 AKT로 넘어갔다. 학습자의 전체 이력을 하나의 순환 기억에 욱여넣는 대신, 이 모델들은 어텐션을 사용해 각 새 질문마다 이렇게 묻는다. 당신의 과거 답변 중 어떤 것이 지금 이 기술과 실제로 관련이 있는가? AKT는 한 걸음 더 나아가 교육 측정 이론의 아이디어를 접목해, 진행하면서 난이도를 조정한다.

실질적인 이득은 내가 신경 쓰던 것들이었다. SAKT는 이를 약 70만 개의 파라미터와 0.80에 가까운 AUC로 해낸다 — 효율적으로 실행할 만큼 작고, 신뢰할 만큼 정확하며, 결정적으로 하나의 흐릿한 역량 점수가 아니라 개념별 숙달 확률을 산출한다. AKT는 시나리오가 진정으로 개별화된 교습을 필요로 할 때 더 잘 맞는 것으로 드러났는데, 컴플라이언스 재인증이 바로 그렇다. 기업 데이터에는 이 모델들이 구축된 학술 벤치마크에 비해 조용한 이점이 있다. 컴플라이언스 시퀀스는 짧고 판돈이 크며, 문헌에서 장기 시퀀스 예측을 어려운 미해결 문제로 만드는 수천 회 상호작용의 튜터링 로그가 아니다. 논문들이 가장 씨름하는 문제는 대체로 우리의 문제가 아니다.

바로 그때 AML 예시가 마침내 마땅한 방식대로 그려졌다. 히트맵을 상상해 보라. 행은 직원, 열은 다섯 개의 AML 개념, 각 셀은 이 사람이 그 개념을 숙달했을 확률이다. 그 역할에서 8년 경력을 가진 선임 BSA 분석가는 고객확인의무, 의심거래보고, 제재 전반에 초록색으로 빛나지만 — 무역기반 자금세탁에서는 호박색으로 나타난다. 그 역할을 맡은 지 6개월 된 지점장은 어디에도 초록색이 없고 SAR 작성과 TBML에서 짙은 빨간색이다. 같은 모듈, 근본적으로 다른 필요.

선임 분석가는 자신이 명백히 아는 것을 다시 증명하려고 4시간 동안 앉아 있어서는 안 된다. 그녀는 숙달한 개념을 빠르게 검증하고 그 하나의 약점에 시간을 써야 한다. 신임 관리자는 그의 확률이 가장 낮은 바로 그 지점에서 발판을 대주는 더 느린 경로가 필요하다. 우리는 감사인에게 방어할 수 있는 임계값을 설정했다. 대략 0.75 이상이면 그 개념을 숙달한 것으로 취급하고 간단히 검증한다. 중간 구간은 실제로 학습이 일어나는 생산적 분투 구간이다. 0.35 미만이면 멈추고 지원과 함께 보완한다. 모델은 응답 하나하나마다 모든 셀을 갱신한다.

500명의 직원 전체로 보면, 그것은 동일한 2,000시간의 착석 시간과 그 절반 남짓 사이의 차이다 — 게다가 끝에 가서는 더 약한 게 아니라 더 강한 증거를 얻는다. 학습자 1인당 874달러 기준으로, 단일한 500명 규모 컴플라이언스 부서 하나에서 회복되는 생산성은 연간 수십만 달러 초반대에 이른다. 이것은 내가 지어낸 추정치가 아니다. Fulcrum Labs와 Allegiant Airlines는 교육 시간이 51일에서 23일로 — 55% 감축 — 떨어졌고 사고와 장비 손상은 60% 감소했음을 기록했다. 그리고 이것은 은행과 항공사에만 국한된 것이 아니다. 같은 적응형 접근법을 운영하는 한 글로벌 의료기술 기업은 11만 3,000명의 학습자 전반에 걸쳐 1만 6,000시간 이상의 교육 시간을 절감했고, 한 의료 기관은 온보딩 시간을 22% 줄였다. 주제는 바뀐다 — 환자 데이터 취급, 기기 프로토콜, AML 유형 — 하지만 진단 문제는 바뀌지 않는다. 미국 상위 10위권 은행 하나는 7만 명이 넘는 직원 전반에 적응형 컴플라이언스를 운영해 필수 강좌로의 트래픽이 75% 증가하는 것을 보았다. 착석 시간 감축은 실재하며, 그것은 나 아닌 사람들에 의해 입증되었다.

"Cornerstone이 이미 이걸 하지 않나요?"

이것은 매번 내가 받는 첫 질문이고, 타당한 질문이다. 2026년 3월 Cornerstone은 자사 Galaxy AI 시스템 안에 Adaptive Learning Agent라 부르는 것을 출시했다. Docebo는 기술 평가 기능을 덧붙이려고 365 Talents를 인수했다. 업계 전체가 상자에 "AI 기반 적응형 학습"이라는 도장을 찍고 있다. 그렇다면 왜 무언가를 맞춤 제작하는가?

왜냐하면 적응형이라며 팔리는 것 대부분은 지식 추적이 아니라 협업 필터링이기 때문이다 — 그리고 그 차이가 승부의 전부다. 협업 필터링은 넷플릭스식 수법이다. 강좌 A를 완료한 사람들은 다음에 강좌 B를 듣는 경향이 있었으니, 여기 강좌 B가 있다. 그것은 당신의 동료들이 무엇을 했는지에 기반해 추천한다. 지식 추적은 범주적으로 다른 일을 한다. 그것은 특정하게 당신이 무엇을 숙달했고 숙달하지 못했는지를 모델링하고, 그 간극을 겨냥한다. 하나는 추천 엔진이다. 다른 하나는 진단 엔진이다. Cornerstone의 에이전트는 다음에 무엇을 배울지 추천한다. 개념 수준의 숙달을 측정하지는 않는다. Docebo의 기술 추적은 대체로 선언 기반이거나 완료 기반이다 — 직원이 안다고 말하거나, 강좌를 끝냈다는 것 — 자료와 실제로 어떻게 상호작용했는지에서 측정한 것이 아니다.

지식 추적을 진정으로 잘하는 벤더들도 있다. Fulcrum Labs는 독자 엔진과 그것을 뒷받침하는 사례 연구를 갖고 있다. 에듀테크 업체들 — 2억 5,600만 달러를 조달한 Riiid 같은 회사들 — 은 진짜 지식 추적 모델을 갖고 있다. 하지만 Fulcrum은 당신이 콘텐츠를 자사 플랫폼으로 이전할 것을 요구하고, 에듀테크 모델들은 AML 워크플로우와 감사 증거가 아니라 표준화 시험과 K-12를 위해 구축되었다. 그리고 빅4는? Deloitte와 PwC는 50만 달러에서 500만 달러짜리 인력 전환 프로젝트를 운영해 주고 Cornerstone이나 SAP를 근사하게 설치해 줄 것이다. 그들은 벤더의 플랫폼을 구성한다. 적응형 지능은 여전히 당신이 아니라 벤더에게 속한다.

대부분의 기업은 LMS를 뜯어낼 필요가 없다. 그들에게 필요한 것은 이미 가진 시스템에 꽂히는 지능 계층이다.

그것이 우리가 파고드는 간극이다. 당신의 기존 학습 시스템 위에 얹혀 개방형 표준을 통해 그것과 대화하는 지식 추적 엔진 — 세밀한 상호작용 데이터를 포착하는 xAPI, 학습자를 주고받는 LTI. 당신은 LMS를 그대로 유지한다. 우리는 두뇌를 더한다.

진짜 위험은 모델이 아니다 — 태깅이다

데모가 결코 언급하지 않는 것을 말해 주겠다. 그것이 이런 프로젝트 중 하나가 성공할지를 실제로 결정하는 것이기 때문이다. 적응형 학습 구축에서 가장 어려운 부분은 신경망이 아니다. 콘텐츠 태깅이다.

지식 추적 모델은 자신이 볼 수 있는 지식만 추적할 수 있다. 당신의 컴플라이언스 모듈에 있는 모든 질문은 하나의 개념에 매핑되어야 한다 — 이 문항은 무역기반 자금세탁을, 저 문항은 제재 스크리닝을 시험한다 — 그렇지 않으면 모델은 갱신할 것이 없다. 대부분의 기업 콘텐츠는 단일 완료 플래그만 내보내고 개념 구조가 전혀 없는 SCORM 1.2 패키지 더미로 도착한다. xAPI로 옮긴다는 것은 Learning Record Store를 구축하고, 데이터 거버넌스와 네트워크 아키텍처를 다시 생각하며, 흔히 콘텐츠를 문항 단위로 다시 태깅한다는 뜻이다. 그것은 화려하지 않고, 진짜 노동이 깃든 곳이며, 적응형 학습이 스위치 하나 누르면 되는 것이라고 말하는 사람을 내가 경계하는 이유다.

나는 지킬 수 없는 약속으로 프로젝트를 따내기보다 그 점을 처음부터 솔직하게 밝히고 싶다. 모델은 내가 몇 주 안에 당신에게 건네줄 수 있는 부분이다. 태깅은 우리가 함께하는 부분이며, 감사 등급의 숙달 증거를 산출하는 시스템과 더 예쁜 체크 표시를 산출하는 시스템 사이의 차이를 만드는 부분이다.

EU AI법이 완료 추적을 무의미하게 만들까?

오랫동안 "완료 대 역량"은 품질 논쟁이었다 — 있으면 좋지만 예산 확보는 어려운. 그것이 EU AI법 때문에 바뀌고 있다. AI 리터러시 의무인 제4조는 2025년 2월 2일부터 시행되어 왔고, 국가 시장감시당국에 의한 감독은 2026년 8월 2일에 시작된다. 그것은 직원이 자신의 역할에 적절한 방식으로 AI 리터러시에 대해 교육받을 것을 요구하며 — EU 자체 지침은 일률적인 형식이란 없다고 명시한다. 역할 기반이거나, 아니면 인정되지 않는다.

그것이 초록색 체크 표시 모델에 어떤 영향을 미치는지 생각해 보라. "모두가 같은 AI 윤리 영상을 봤다"는 것이야말로 제4조가 배격하려고 만들어진 바로 그것이며, 고위험 조항에 대한 벌칙은 3,500만 유로 또는 글로벌 매출의 7%까지 이른다. 규제 당국은 인접 영역에서의 교육 실패에 대해 막대한 청구서를 쓸 것임을 보여주었다 — TD Bank는 미흡한 AML 컴플라이언스 프로그램과 연계된 31억 달러의 벌금을 물었다. 교육을 연극처럼 취급하는 것의 비용은 더 이상 가설이 아니다.

내가 시작할 때는 예상하지 못했던 두 번째 압력이 있는데, 거의 우습다. 직원들은 AI 어시스턴트에 기대어 컴플라이언스 모듈을 후딱 통과할 수 있다는 것을 알아챘다 — 퀴즈에 답하고, 완료를 클릭하고, 아무것도 배우지 않는 것이다. HR Morning은 2026년에 이를 보도했고, Gartner는 비판적 사고 위축 때문에 2026년까지 조직의 절반이 "AI 없는" 기술 평가를 요구할 것이라고 예측하기까지 했다. 당신의 인력이 완료를 대규모로 위조할 수 있게 되면, 완료는 아무 의미도 없게 된다. 유일하게 지속 가능한 답은 누군가가 실제로 무엇을 아는지 측정하는 것이며 — 그것이 바로 지식 추적이 하도록 만들어진 것이다.

지금이라면 그 컴플라이언스 담당자에게 무엇을 말해 줄까

사람들은 하필이면 교육 같은 것에 이 모든 것이 그럴 가치가 있느냐고 내게 묻는다 — 아무도 즐기지 않는 기업의 의무를 이건 과도하게 설계하는 것 아니냐고. 내 답은 우리가 20년간 그것을 과소 설계해 왔고, 청구서가 두 방향에서 동시에 도래하고 있다는 것이다. 5년 아래로 붕괴한 기술 반감기, 그리고 우리가 대체로 갖고 있지 못한 증거를 곧 요구할 규제 당국. 오늘날 교육 ROI를 측정할 수 있다고 느끼는 리더는 26%에 불과하다. 우리가 측정하지 않기로 선택한 그것이 바로 도래한 청구서다.

나는 500개의 초록색 체크 표시가 담긴 그 바인더를 떠올린다. 그것의 비극은 교육이 나빴다는 데 있지 않았다. 조직이 진짜 돈과 진짜 시간을 쓰고서 결국 자신이 생각한 것보다 덜 알게 되었다는 데 있었다 — 확신에 차서, 문서로, 감사 추적과 함께. 선임 분석가는 지루했고 신임 관리자는 길을 잃었으며, 시스템은 둘 다 성공으로 보고했다.

만약 내가 되돌아가 그녀에게 한 가지를 건넬 수 있다면, 그것은 더 나은 영상이 아닐 것이다. 그것은 히트맵일 것이다 — 500개의 행, 다섯 개의 개념, 각 셀은 그녀가 실제로 방어할 수 있는 숫자. "모두가 통과했다"가 아니다. 더 진실하고 훨씬 더 유용한 것. 이 사람들 각자가 정확히 무엇을 아는지 여기 있고, 나머지에 대해 우리가 무엇을 할지 여기 있다. 그것이 바로 우리가 구축하는 시스템이며, 이 일을 오래 할수록 나는 "완료"가 애초에 누군가가 실제로 품었던 질문에 대한 답이었던 적이 결코 없다고 더욱 확신하게 된다.