누군가 취소 버튼을 누르기도 전에, 당신의 알고리즘은 14억 달러어치를 팔았습니다. 그 이유를 설명할 수 있습니까?

대부분의 규제 심사를 본격적으로 시작하기도 전에 끝내버리는 단 하나의 질문이 있습니다. 그것은 "통제 장치가 있습니까?"가 아닙니다. 통제 장치는 누구나 가지고 있습니다. 그보다 더 조용하고, 더 고약한 질문입니다:

"8월 5일 오전 9시 47분에 이 알고리즘이 정확히 무엇을 했는지 하나하나 짚어 설명해 보세요."

저는 똑똑하고 자금이 넉넉한 기업들이 그 질문 앞에서 얼어붙는 것을 지켜봤습니다. 그들은 주문 로그를 꺼낼 수 있습니다. 거래 내역도 보여줄 수 있습니다. 하지만 그들이 재구성하지 못하는 것은 바로 의사결정 체인입니다 — 왜 모델이 그런 방식으로 포지션 규모를 정했는지, 왜 리스크 임계값이 그 지점에 있었는지, 왜 3주 전의 코드 변경이 누구의 레이더에도 걸리지 않았는지 말입니다. 그리고 2026년에는 바로 그 간극이 승부의 전부입니다. 알고리즘 트레이딩 컴플라이언스는 조용히, 가드레일이 있음을 증명하는 일에서 기계가 취한 모든 움직임을 사후에 설명할 수 있음을 증명하는 일로 옮겨갔습니다.

제가 어떻게 그렇게 믿게 되었는지 말씀드리고 싶습니다. 저는 처음에 이것을 틀렸고 — 값비싼 대가를 치르며 틀렸고 — 제가 틀린 방식은 업계 대부분이 지금도 여전히 틀리고 있는 방식과 똑같기 때문입니다.

빠져나간 1,890억 달러

제가 아는 가장 명확한 교훈이기에 Citigroup에서 시작하겠습니다.

2022년 5월, 한 Citi 트레이더가 5,800만 달러어치의 주식 바스켓을 매도하려 했습니다. 수작업 실수로 인해 그는 4,440억 달러 규모의 바스켓을 대신 만들어냈습니다. Citi의 사전 거래 통제 장치는 — 대체로 — 제 역할을 했습니다. 2,550억 달러를 차단했으니까요. 하지만 1,890억 달러가 통제를 빠져나가 한 트레이딩 알고리즘에 도달했고, 알고리즘은 이를 충실히 매도 주문으로 잘게 쪼개 누군가 취소 버튼을 누르기 전에 약 14억 달러를 유럽 시장에 밀어 넣었습니다. 이는 유럽 거래소 전반에 플래시 크래시를 촉발했습니다.

컴플라이언스 담당자를 밤잠 못 이루게 만들어야 할 대목은 바로 여기입니다. BaFin과 영국 규제 당국이 조사에 들어왔을 때, 치명적인 질문은 "무슨 일이 있었나"가 아니었습니다. 그건 Citi도 답할 수 있었습니다. 문제의 질문은 바로 왜였습니다 — 왜 통제 장치가 1,890억 달러를 통과시켰는지, 그리고 왜 임계값이 그 수준으로 조정되어 있었는지 말입니다. Citi는 주문 내역은 보여줄 수 있었습니다. 하지만 알고리즘의 추론 과정을 충분히 재구성하거나 그것을 지배한 파라미터를 방어하지는 못했습니다.

그 간극은 대가를 치르게 했습니다. BaFin은 Citi에 1,297만 5천 유로의 과징금을 부과했고, 이틀 앞서 영국 규제 당국은 같은 사건에 대해 6,160만 파운드를 더했습니다. 대략 세 개 관할권에 걸쳐, 단 한 건의 알고리즘 실패에 9,200만 달러였습니다.

실패는 통제 장치가 아니었습니다. 그 통제 장치를 설명하지 못한 것이 실패였습니다.

저는 이 점을 계속 되짚게 됩니다. 이것이 대부분의 기업이 예산을 짜는 방식을 뒤집기 때문입니다. 그들은 통제 장치를 더 많이 구축하는 데는 돈을 쓰면서, 선서하에 그것을 서술할 수 있는 능력에는 거의 쓰지 않습니다.

심사관은 실제로 무엇을 묻는가?

제가 중견 은행과 자산운용사 — 최상위 대형 투자은행 아래 등급의 기업들 — 의 컴플라이언스 책임자들과 이야기를 나누기 시작했을 때, 저는 그들에게 저와 함께 심사 상황을 역할극으로 해보자고 청하곤 했습니다. 그것은 늘 똑같은 세 단계로 풀려나갔습니다.

"당신의 알고리즘 인벤토리를 보여주세요." 이것이 첫 질문이자, 조용한 살인자입니다. 영국의 Financial Conduct Authority(FCA)는 2025년 8월에 열 곳의 프린시펄 트레이딩 기업을 대상으로 다중 기업 검토를 실시했고, 대부분이 불완전하거나 시대에 뒤떨어진 문서를 갖고 있음을 발견했습니다 — 각 알고리즘을 누가 소유하는지, 어느 시장에서 거래하는지, 어떤 리스크 파라미터가 이를 지배하는지에 대한 깔끔한 인벤토리가 없었던 것입니다. 일부 기업은 자체 평가에서 RTS 6 요소 전체를 누락하기도 했습니다. (RTS 6은 알고리즘 트레이딩 기업을 위한 MiFID II 규정집으로, 거버넌스, 테스트, 리스크 통제를 다룹니다.) 각 전략을 책임지는 등록된 담당자를 명시한 최신의 완전한 인벤토리를 제시하지 못하면, 심사는 사실상 거기서 멈춥니다. FINRA 규정에 따르면 트레이딩 알고리즘을 설계하거나 중대하게 수정하는 사람은 Securities Trader로 등록되어야 합니다 — 그러니 "이 알고리즘은 누가 소유하는가"는 사소한 퀴즈가 아니라, 이름이 걸린 규제상의 질문입니다.

"이 알고리즘이 그날 아침에 무엇을 했는지 하나하나 짚어 설명해 보세요." 이것이 바로 Citigroup 질문입니다. 대부분의 기업은 주문 내역은 보여줄 수 있습니다. 하지만 그 결정을 재구성할 수 있는 곳은 거의 없습니다. 그리고 당신이 브로커-딜러가 아니라 자산운용사라면, 이 질문은 트레이딩 데스크에 떨어지지 않습니다 — 그것은 당신의 퀀트 리서치 팀에 떨어지고, 그곳에서는 모델 깊숙이 묻힌 단 하나의 조작된 파라미터가 몇 달 동안 발각되지 않은 채 돌아갈 수 있습니다. (Two Sigma는 이를 호되게 겪었습니다. 이에 대해서는 뒤에서 더 다루겠습니다.)

"당신의 컴플라이언스 직원들은 이 알고리즘들을 기술적으로 어떻게 검토합니까?" FCA는 여기서 발견한 것을 두고 절묘하게 외교적인 표현을 썼습니다: "컴플라이언스 부문의 편차 있는 기술 지식." 풀어 쓰면, 컴플라이언스 팀이 경보 보고서는 읽을 수 있어도 모델의 로직을 파고들거나, 리스크 파라미터에 이의를 제기하거나, 지난 스프린트의 코드 변경이 조용히 새로운 규제 구멍을 열지 않았는지 검증하지는 못한다는 뜻입니다. 업계의 답은 퀀트에 정통한 컴플라이언스 인력을 채용하는 것이었습니다 — 다만 CFTC 시장 접근 규칙과 그래프 신경망 아키텍처를 둘 다 진정으로 이해하는 사람은 극히 드물고, 그런 사람들은 그들을 마찬가지로 원하는 헤지펀드처럼 높은 보수를 받습니다.

이 세 가지 질문 뒤에 놓인 규제의 방향은 미묘하지 않습니다. SEC와 CFTC는 함께 사상 최대 규모인 253억 달러 규모의 집행 조치를 2024년에 취했습니다. EU AI Act는 고위험 금융 AI 시스템이 기술 문서, 리스크 관리, 인간 감독 역량을 2026년 8월 2일까지 갖추도록 요구합니다. DORA — EU의 운영 복원력 체제 — 는 2025년 1월부터 시행되어 왔습니다. 그리고 인도에서는 이제 SEBI가 고유한 Algo-ID와 거래소 승인을 모든 전략에 대해 출시 전에 요구합니다. 이제 문제는 당신의 알고리즘이 심사를 받느냐가 아닙니다. 그것들이 심사에서 살아남느냐입니다.

아무도 원하지 않은, 내가 만든 것

그래서 저는 나가서 더 나은 탐지기를 만들었습니다.

이것이 저의 실수였고, 그것이 얼마나 매혹적이었는지 솔직하게 말씀드리고 싶습니다. 모두가 가장 큰 목소리로 불평하는 구매자의 고충은 경보 피로입니다 — 은행과 브로커-딜러를 대상으로 한 어느 설문에서는 70%가 25%가 넘는 오탐률을 보고했습니다 — 그것도 자사의 거래 감시에서 말입니다. 컴플라이언스 팀은 소음에 빠져 허우적대며 유령 같은 스푸핑 경보를 쫓고 있었습니다. 그래서 우리는 오탐을 줄이는 데 진정으로 뛰어난 것을 만들었습니다: 행동 맥락, 시장 국면 인식, 적응형 임계값. 테스트에서 그것은 깔끔하고 빨랐습니다. 저는 그것이 자랑스러웠습니다.

그런 다음 우리는 실제 중견 기업의 컴플라이언스 담당자 앞에서 그것을 실행했습니다. 그녀는 대시보드를 지켜보며 고개를 끄덕이다가, 3개월의 작업을 폭파시킨 질문을 던졌습니다:

"괜찮네요. 그런데 심사관이 왜 모델이 작동했는지 — 혹은 왜 작동하지 않았는지 — 물었을 때, 저는 무엇을 보여줘야 하죠?"

제품 안에는 답이 없었습니다. 우리는 경보를 생성하는 더 빠른 방법을 만들었습니다. 하지만 그것을 설명할 방법은 만들지 못했습니다. 그리고 그 자리에 앉아, 제가 규제 당국이 벌하고 있던 바로 그것을 재현했음을 깨달았습니다: 재구성 가능한 추론 체인 없이 결과물을 내놓는 블랙박스 말입니다. 더 나은 블랙박스도 여전히 블랙박스입니다.

그것이 전환점이었습니다. 탐지는 결코 충족되지 않은 니즈가 아니었습니다. 충족되지 않은 니즈는 감사 대비 태세였습니다 — 알고리즘의 결정을, 퀀트가 아닌 컴플라이언스 담당자가 검토하고, 이의를 제기하고, 심사장까지 들고 갈 수 있는 설명으로 바꾸는 일이었습니다. 우리는 그 틀을 버리고 처음부터 다시 시작했습니다.

경보가 아니라 심사관을 위해 만들기

우리가 결국 구축한 시스템 — 바로 알고리즘 트레이딩 컴플라이언스 인텔리전스 계층, 지금 우리가 배포하고 있는 이것 — 은 다른 제1원칙에서 출발합니다: 프로덕션 알고리즘이 내리는 모든 결정은 감사에 바로 대응할 수 있는, 시간이 기록된 설명을 남겨야 한다는 것입니다. 즉 왜 그랬는지에 대한 것이지, 단지 무엇을 했는지가 아닙니다.

직접 해보기 전까지는 당연하게 들립니다. 첫 번째 설계 문제는, 그 설명을 필요로 하는 사람들이 정작 모델을 읽지 못한다는 점이었습니다. 그래서 설명은 알고리즘의 로직 — 그 입력값, 알고리즘이 가중치를 준 시장 신호, 그것이 대조한 임계값, 인간의 재정의 — 을 컴플라이언스 담당자가 소스 코드를 읽지 않고도 파고들 수 있는 무언가로 번역해야 했습니다. 신뢰도 점수가 아니라, 추론에 대한 서술 말입니다.

두 번째 문제는 인벤토리 그 자체였습니다. 우리는 알고리즘 인벤토리를 엔지니어링 팀이 코드를 다루는 방식으로 다룹니다: 프로덕션에 있는 모든 전략은 승인된 시장, 포지션 한도, 등록된 소유자, 그리고 전체 변경 이력을 지니고 있어서, "인벤토리를 보여달라"는 질문이 소방 훈련이 아니라 하나의 쿼리가 됩니다. 같은 기반 구조가 각 통제를 여러 규제 프레임워크 — SEC Rule 15c3-5, MiFID II의 RTS 6, EU AI Act, DORA, SEBI의 Algo-ID 체제 — 에 동시에 매핑합니다. 중견 기업들은 국경을 넘나들며 거래하지만, 이 모든 것을 한 곳에서 매핑해 주는 기존 벤더는 없기 때문입니다. 오늘날 대부분의 다중 관할권 기업은 규제 기관별로 별도의 컴플라이언스 프로세스를 짜맞춥니다. 그런 중복이야말로 소프트웨어가 집어삼켜야 할 종류의 일입니다.

세 번째 문제는 킬 스위치였습니다. Citi의 통제 장치는 없었던 게 아닙니다 — 그것은 2,550억 달러를 잡아냈습니다. 다만 그것은 단계적이지 않았을 뿐입니다. 대부분의 서킷 브레이커는 이진적입니다: 켜짐 아니면 꺼짐. 그래서 우리는 지능적인 다단계 서킷 브레이커를 만들었습니다 — 단일 비상 버튼이 아니라 비례적인 대응을 촉발하는 행동 이상 탐지, 즉 2,550억 달러를 잡아내는 것과 빠져나간 1,890억 달러까지 잡아내는 것의 차이입니다.

왜 모두가 그냥 플랫폼을 사지 않는가?

이것이 제가 가장 많이 듣는 반론이며, 제대로 된 답을 받을 자격이 있습니다.

거래 감시 시장은 2025년 약 13억~30억 달러에서 2033년까지 42억~93억 달러로 향하고 있으며, 상위 다섯 개 벤더가 그중 55~59%를 차지합니다. NICE Actimize, Nasdaq의 Surveillance AI, Eventus의 Validus — 이들은 진정으로 유능한 플랫폼입니다. 저는 이들이 작동하지 않는다고 말하려는 것이 아닙니다.

저는 이들이 얼마의 비용이 드는지, 그리고 어디서 멈추는지를 말하려는 것입니다. NICE Actimize의 완전한 구축은 연간 100만~500만 달러 이상이며, Tier-1 기관을 겨냥해 가격이 책정되고 설계되어 있습니다. 이들은 교차 자산 탐지에는 탁월하지만, 정작 이제 심사관이 요구하는 바로 그것 — 알고리즘 결정의 설명가능성과 통합된 다중 규제 매핑 — 에는 약합니다. Nasdaq의 플랫폼은 거래소 중심이며 셀 사이드를 위해 만들어졌습니다. Eventus는 탐지가 우선입니다. 이들 중 어느 것도 컴플라이언스 담당자의 심사 당일 문제를 중심으로 설계되지 않았습니다.

그래서 Tier-2 은행이나 중형 자산운용사는 예산은 일부에 불과하고 사내 퀀트 인력도 전혀 없이, JPMorgan과 똑같은 규제 기준에 직면합니다. 그들의 선택지는 이러했습니다: 맞지도 않는 엔터프라이즈 플랫폼에 과다 지출하거나, 200만~1,000만 달러에 더해 연간 100만 달러의 유지보수 비용을 들여 직접 구축하면서 인재를 두고 헤지펀드 수준의 보상과 경쟁하거나, 아니면 Big Four 회사를 고용하는 것이었습니다 — 제 경험상 그들은 무엇을 구축할지 조언하고, 목표 운영 모델을 담은 파워포인트 덱을 건네준 뒤, 결국 어차피 추천했을 바로 그 Tier-1 벤더에게 손을 뻗습니다.

이 시장 한가운데에는 공백이 있습니다: 대형 투자은행 수준의 의무를 지면서도 중견 기업 수준의 예산을 가진, 아무도 응대해 주지 않는 기업들입니다.

그 공백이 바로 우리가 만들어 주는 대상입니다. 엔터프라이즈 몸값이 아닌 가격대에, 벤더 종속 없이 제공하는 맞춤형 컴플라이언스 인텔리전스입니다.

다가오는 더 어려운 문제: 자율 에이전트

설명가능성이 오늘의 문제라면, agentic AI는 내년의 문제이며, 이에 대비된 이는 거의 없습니다.

대략 재무 팀의 44%가 2026년에 agentic AI를 사용할 것으로 예상되며 — 600%가 넘는 증가입니다 — 그리고 한 기업은 이미 프로덕션에 60개의 자율 에이전트를 두고 있으며 200개를 더 추가할 계획이라고 밝혔습니다. 이 시스템들은 수작업 컴플라이언스 업무의 최대 70%를 자동화할 수 있습니다. 또한 스스로 거래를 발동하고, 리스크 모델을 조정하고, 거래를 승인할 수도 있습니다.

심사를 겪어본 사람이라면 누구나 두려워하는 것은 그다음에 오는 것입니다. 업계 전체가 기대고 있는 거버넌스 프레임워크 — Fed와 OCC의 SR 11-7 모델 리스크 지침 — 는 안정적이고 결정론적인 행동을 보이는 모델을 위해 2011년에 작성되었습니다. GARP의 리스크 분석가들이 2026년 초에 표현했듯, SR 11-7은 "모델 거버넌스를 위한 몇 안 되는 안정적 준거점 중 하나로 남아 있"지만 — agentic AI는 그 핵심 가정을 깨뜨리며, 불투명성, 무작위성, 자율성을 끌어들이고, 종종 예고 없이 바뀔 수 있는 서드파티 인프라 위에서 작동합니다. 매번 다르게 결정하고 당신이 통제하지 못하는 벤더의 모델에 의존하는 시스템의 결정은 재구성할 수 없습니다.

우리가 실제로 어디에 있는지 분명히 해두자면: FMSB의 실무자 검토는 시장을 대면하는 AI가 아직 자율적으로 작동하지는 않는다고 언급합니다 — 그것은 인간의 감독 아래 트레이딩 인프라에 내장되어 있습니다. 다행입니다. 바로 그것이 기회의 창입니다. 자율 트레이딩 에이전트를 위한 거버넌스를 구축할 적기는 미리 그것들이 자율적으로 거래하기 전이지, 사후 부검에서가 아닙니다. 우리는 규제 당국이 요구하기 전에 감사 추적이 존재하도록, 그 설명가능성과 감독 계층을 지금 설계해 넣습니다.

여기에는 실질적인 기술적 지렛대도 존재합니다. 그래프 기반 모델 — 거래상대방 익스포저의 망을 지도화하는 그래프 신경망 — 은 연구 환경에서 리스크 전이를 탐지하는 데 약 0.891의 AUC-ROC 점수를 기록하며 기존 방법을 크게 앞섰고, 조기 경보 선행 시간을 거의 12일까지 늘렸습니다. 그래프 기반 전이 분석을 표준 기능으로 제공하는 감시 벤더는 거의 없습니다. 서로 얽힌 거래상대방 리스크를 가진 기업에게 그것은, 연쇄 붕괴가 다가오는 것을 미리 보는 것과 집행 명령서에서 그것을 읽게 되는 것 사이의 차이입니다.

"이건 그냥 또 하나의 컴플라이언스 소프트웨어 아닌가요?"

사람들은 이런 질문을 제게 던지는데, 공정한 답은 이렇습니다: 제대로 만들어졌다면 아닙니다.

컴플라이언스가 순전한 비용처럼 느껴지는 이유는 — 대형 은행들은 여기에 연간 2억 달러 이상을 쓰고, 직원들이 여기에 쓰는 시간은 10년 사이 61% 늘었습니다 — 그 대부분이, 시스템이 자동으로 기록했어야 할 것들을 수작업으로 재구성하는 일이기 때문입니다. 설명이 알고리즘이 실행되는 바로 그 순간에 생성되면, 심사는 더 이상 고고학 발굴이 아니게 됩니다. 인벤토리는 하나의 쿼리입니다. 의사결정 체인은 이미 기록되어 있습니다. 관할권 간 매핑은 다섯 개가 아니라 하나의 모델입니다.

사람들이 묻는 또 다른 것은 설명가능성이 알고리즘의 속도를 늦추지 않느냐 — 서류 작업을 위해 마이크로초를 맞바꾸는 것 아니냐는 것입니다. 그렇지 않습니다. 추론 기록은 실행과 나란히 자리합니다. 그것은 브레이크가 아니라 기록입니다. 이를 해결한 기업들은 컴플라이언스를 속도에 매기는 세금으로 취급하기를 멈추고, 감사 직전에 볼트로 덧붙이는 것이 아니라 코드의 첫 줄부터 존재하는 시스템의 속성으로 취급하기 시작했습니다.

저는 여기서 Two Sigma 사례를 떠올립니다. 한 선임 연구원이 거의 2년에 걸쳐 열네 개의 투자 모델을 조용히 변경했고 — 단 하나의 파라미터를 슬쩍 건드리며 — 누군가 알아채기 전까지 1억 6,500만 달러의 고객 손실을 냈습니다. 회사는 합의금으로 9,000만 달러를 지불했습니다. 그 모델들이 명목상 감독되지 않았던 것은 아닙니다. 실질적으로 설명 불가능했던 것입니다. 아무도 그 추론이 변조되었다는 것을 실시간으로 볼 수 없었습니다. 그것은 탐지 실패가 아닙니다. 그것은 탐지 실패의 옷을 입은 설명가능성 실패입니다.

Citi 트레이더의 4,440억 달러짜리 실수는 저지르는 데는 몇 초, 소송하는 데는 몇 년이 걸렸습니다. 창피한 실수를 9,200만 달러짜리 실수로 바꿔 놓은 것은 바스켓의 크기가 아니었습니다. 그것은, 규제 당국이 바짝 다가와 왜냐고 물었을 때, 그 답이 그저 어깨를 으쓱하는 것이었다는 점입니다.

알고리즘을 돌리는 모든 기업은 그 질문으로부터 나쁜 아침 하루 거리에 있습니다. 무사할 기업은 가장 많은 통제 장치나 가장 비싼 플랫폼을 가진 곳이 아닙니다. 그들은 심사관이 오전 9시 47분을 가리켰을 때, 그 결정을 불러내 한 줄 한 줄 짚어 설명할 수 있는 기업 — 그리고 그 역량을 컴플라이언스 계층에, 필요해지기 훨씬 전에 구축해 둔 기업입니다. 기계가 아직 거래하고 있는 동안 설명을 만들어 두세요. 누군가 물어올 무렵이면, 그것을 기록하기 시작하기에는 이미 너무 늦습니다.