평가, 벤치마킹 및 레드팀

공개 벤치마크 점수는 AI 시스템이 여러분의 실제 배포 환경에서 어떻게 작동할지에 대해 거의 아무것도 알려주지 않습니다. 우리는 평가 하니스, 도메인 특화 벤치마크, 그리고 체계적인 레드팀 프로그램을 설계하여, AI 시스템이 여러분의 데이터, 엣지 케이스, 그리고 비용 및 안전 제약 조건에 맞서 실제로 여러분의 활용 사례에서 작동하는지를 측정합니다.

공개 벤치마크가 여러분의 배포 환경을 놓치는 이유

프런티어 모델들은 MMLU에서 88% 이상에 몰려 있습니다. GPT-5.3 Codex는 99%를 기록합니다. Vellum의 2025 LLM 리더보드는 MMLU가 더 이상 의미 있는 방식으로 모델을 변별하지 못하기 때문에 이를 완전히 제외했습니다. 이를 개선하기 위해 설계된 MMLU-Pro도 이미 프런티어 모델에 대해 90%에 근접하고 있습니다. 업계에서 가장 많이 인용되는 벤치마크들이 허영 지표가 되어버린 것입니다.

더 근본적인 문제는 관련성입니다. 벤치마크 점수가 프로덕션 성능을 예측하는 것은 오직 세 가지 조건 하에서만 가능합니다:

• 여러분의 작업과 유사한 작업을 테스트한다.
• 테스트 세트에 데이터 오염이 없다 — 일부 벤치마크는 누출 비율이 100%에 달하는 것으로 나타납니다.
• 점수 차이가 통계적으로 유의미하다.

대부분의 엔터프라이즈 배포에서는 이러한 조건 중 어느 것도 성립하지 않습니다. 여러분의 자체 데이터로 테스트하는 순간 순위는 완전히 뒤집힐 수 있습니다 — 공개 리더보드 3위 모델이 실제 추출 작업에서 1위 모델을 40% 능가할 수 있습니다. 이것이 바로 맞춤형 평가 하니스가 드러내도록 만들어진 종류의 격차이며, 그래서 다음 질문에 답하려면 "내 데이터, 내 엣지 케이스, 내 비용 제약 조건에서 어떤 모델이 가장 좋은 성능을 내는가?" 여러분의 배포 환경을 위해 설계된 평가 인프라가 필요합니다.

엄정한 평가 프로그램의 세 가지 계층

우리는 평가를 세 가지 계층을 중심으로 구조화하며, 각 계층은 여러분의 AI 시스템에 대한 서로 다른 질문에 답합니다.

역량 평가 — 우리가 필요로 하는 일을 하는가?

우리는 편의 표본이 아니라 여러분의 프로덕션 데이터와 현실적인 엣지 케이스를 바탕으로 작업별 테스트 스위트를 구축합니다. 언더라이팅 모델의 경우, 이는 실제 거절된 신청서, 경계 사례, 그리고 여러분의 파이프라인이 마주치는 특정 문서 형식을 대상으로 테스트하는 것을 의미합니다.

모든 테스트 케이스는 수집 방법론과 주석 품질 지표와 함께 문서화됩니다. 우리는 통계적 엄정성을 갖추어 측정합니다 — 서로 다른 시드를 사용한 다중 실행, 부트스트랩 신뢰 구간, 그리고 쌍체 유의성 검정. 신뢰 구간 내에 들어오는 2% 개선은 개선이 아닙니다.

안전성 평가 — 어디에서, 얼마나 심각하게 실패하는가?

우리는 구조화된 프로브를 사용해 행동 경계를 테스트합니다: 최소 기능 테스트, 불변성 테스트(변하지 말아야 할 때 출력이 변하는가?), 그리고 방향성 기대 테스트. 분해된 평가는 운영상 관련된 모든 데이터 슬라이스에 걸쳐 성능을 보고하는데, 이는 평균적으로는 작동하지만 중요한 하위 집단에서 실패하는 모델은 배포하기에 안전하지 않기 때문입니다. 다음에서 자세히 다룹니다. 드물지만 치명적인 실패율을 무시할 수 없는 이유에 관한 우리의 연구.

적대적 평가 — 오작동하도록 만들 수 있는가?

이 계층은 누군가가 시스템으로 하여금 해서는 안 될 일을 하도록 만들 수 있는지를 묻습니다. 레드팀이 존재하는 지점이 바로 여기입니다.

구조화된 역량 평가로서의 레드팀

레드팀은 이름만 다른 침투 테스트가 아닙니다. 보안 평가는 "공격자가 이 시스템을 침해할 수 있는가?"를 묻습니다. 평가 맥락에서의 레드팀은 "이 시스템의 행동 경계는 무엇이며, 그 경계는 어디에서 무너지는가?"를 묻습니다. 방법론은 겹치지만, 질문, 보고, 그리고 대상 독자는 서로 다릅니다.

우리는 다음을 기반으로 구축된 구조화된 방법론 하에 운영합니다. NIST AI 100-2 E2025 분류 체계로, 이는 2025년 3월에 자율 AI 에이전트 취약점과 GenAI 특화 공격 범주를 포괄하도록 크게 확장되었습니다. 우리 레드팀 프로그램은 정의된 순서를 따릅니다:

1. 여러분의 배포 맥락에 맞춰 범위가 지정된 위협 모델 정의.
2. OWASP LLM Top 10 v2 범주를 포괄하는 공격 분류 체계 열거 — 프롬프트 인젝션, 탈옥, 데이터 오염, 검색된 콘텐츠를 통한 간접 인젝션, 멀티모달 공격, 그리고 인코딩 기반 회피.
3. 문서화된 절차를 갖춘 체계적 공격 실행.
4. 재현 단계가 포함된 심각도 등급 지정 결과.

인간 레드팀과 자동화 레드팀

우리는 인간 레드팀을 자동화된 적대적 파이프라인으로 보완합니다. Haize Labs의 Cascade는 프런티어 모델에서 44%의 공격 성공률을 달성하는데, 이는 단일 턴 기준선보다 4배 높은 수치입니다. Promptfoo는 30만 개 이상의 개발자 설치 환경에 걸쳐 CI/CD에서 50가지 이상의 취약점 유형을 실행합니다. 자동화 도구는 알려진 패턴을 대규모로 잡아내며, 인간 레드팀원은 자동화 시스템이 한 번도 본 적 없는 새로운 취약점을 찾아냅니다 — 이는 놓친 실패 양상의 결과가 심각한 경우에 가장 중요합니다.

모든 참여 과제가 제공하는 것

모든 레드팀 참여 과제는 세 가지 산출물을 생산하도록 범위가 지정됩니다:

• 심각도 등급과 재현 절차가 포함된 결과 보고서.
• 여러분의 아키텍처에 매핑된 개선 권고 사항.
• 발견된 취약점에서 도출되어 여러분의 배포 파이프라인에 통합되는 자동화 회귀 테스트 스위트로, 발견된 약점이 계속 수정된 상태로 유지되도록 합니다.

자동화 평가가 작동하는 경우 — 그리고 작동하지 않는 경우

LLM-as-judge 평가 — 프런티어 모델을 사용해 다른 모델의 출력을 채점하는 것 — 는 인간 평가를 대규모로 감당할 수 없는 팀들의 기본 선택지가 되었습니다. 이는 유용합니다. 그러나 특정하고 문서화된 방식으로 신뢰할 수 없기도 합니다. 연구는 LLM 심판에서 12가지 이상의 서로 다른 편향 유형을 식별했습니다:

• 자기 선호 편향 — GPT-4는 자신이 생성했는지 여부와 무관하게 퍼플렉서티가 낮은 출력을 더 높게 평가합니다.
• 장황함 편향 — 심판은 간결하고 정확한 응답보다 장황하고 격식 있는 응답을 일관되게 선호합니다.
• 위치 편향 — 심판은 먼저 나타나는 응답을 선호합니다.

이러한 편향들은 무작위화된 위치 지정과 다중 심판 패널 같은 편향 제거 기법을 사용하면 일반적인 품질 비교에서는 관리 가능합니다. 그러나 도메인 특화 정확성이 중요한 경우에는 그것들이 자격을 상실시킵니다. LLM 심판은 임상 시스템이 약물 상호작용을 올바르게 식별하는지, 또는 법률 리서치가 판례법을 정확하게 인용하는지를 신뢰할 수 있게 평가할 수 없습니다. 우리는 편향이 관리 가능한 곳에서는 자동화된 채점을, 정확성에 도메인 지식이 요구되는 곳에서는 인간 전문가 검토를 사용합니다.

에이전틱 AI 시스템 평가

계획을 세우고, 도구를 사용하며, 다단계 워크플로를 실행하는 에이전트에게는 정적 모델 벤치마킹이 통하지 않습니다. 단일 정확도 수치는 에이전트가 올바른 도구를 선택했는지, 올바른 매개변수로 그것을 호출했는지, 한 단계가 실패했을 때 우아하게 복구했는지, 또는 15개의 연쇄된 작업에 걸쳐 일관된 결과를 산출했는지를 포착할 수 없습니다. 에이전트는 모든 개별 단계를 올바르게 실행하고도 그 단계들을 연결하는 추론이 결함이 있었기 때문에 여전히 잘못된 결과를 산출할 수 있습니다.

우리는 CLEAR 프레임워크에서 도출한 다섯 가지 차원에 걸쳐 에이전틱 시스템을 평가합니다:

• 비용(Cost) — 도구 및 토큰 사용의 효율성.
• 지연 시간(Latency) — 전체 작업 완료에 걸친.
• 효능(Efficacy) — 엔드투엔드 작업 성공의.
• 보증(Assurance) — 실행 전반에 걸쳐 안전 제약 조건이 유지되었다는.
• 신뢰성(Reliability) — 반복 실행에 걸친.

도구를 사용하는 에이전트의 경우, 우리는 도구 선택 정확도, 매개변수 정확성(에이전트는 의미 있는 비율로 매개변수 이름을 조작합니다), 범위 준수, 그리고 오류 복구도 테스트합니다. 다중 에이전트 시스템의 경우, 우리는 에이전트 간 통신 충실도, 연쇄 장애 전파, 그리고 하위 에이전트가 이탈할 때 감독자 통제가 실제로 개입하는지를 테스트합니다.

벤치마크는 따라잡고 있습니다 — SWE-bench는 실제 소프트웨어 엔지니어링 작업을 테스트하고, Terminal-Bench는 명령줄 에이전트 워크플로를 평가하며, UpBench는 지속적으로 갱신되는 실제 Upwork 구인 공고를 사용합니다. 그러나 기성 에이전틱 벤치마크는 여러분의 특정 에이전트 아키텍처, 도구 세트, 도메인과 좀처럼 맞지 않기에, 우리는 맞춤형 에이전틱 평가 하니스를 구축합니다 — 여러분 에이전트의 실패 양상은 그 설계에 고유하기 때문입니다.

EU AI Act 및 규제 준수를 위한 평가

그 EU AI Act의 고위험 조항은 완전히 발효됩니다. 2026년 8월 2일. 제9조는 문서화된 평가 방법론을 갖춘 위험 관리 시스템, 의도된 사용 및 합리적으로 예견 가능한 오용 조건 하의 테스트, 그리고 지속적인 사후 시장 모니터링을 요구합니다. 고위험 시스템을 EU 시장에 출시하기 전에 적합성 평가가 완료되어야 합니다. 위반 시 전 세계 연간 매출의 최대 7% 또는 3,500만 유로의 벌금이 부과됩니다.

NIST AI 100-2 E2025는 권위 있는 적대적 평가 분류 체계를 제공하며, 이제 2023년판에는 없던 자율 에이전트 취약점을 포괄합니다. 이러한 프레임워크들은 조달 요건과 이사회 수준의 위험 검토에 등장하고 있습니다.

실무적 과제: 아직 어떤 조화된 표준도 EU AI Act 준수를 위한 "적절한 평가"를 정의하지 않습니다. CEN/CENELEC JTC 21은 2025년 8월 마감 기한을 놓쳤으며 2026년 4분기를 목표로 하고 있습니다. 우리는 지금 방어 가능한 증거를 산출하는 동시에 아직 확정 중인 표준에도 적응할 수 있는 평가 프로그램을 설계합니다 — 다음에서 제시한 접근법입니다. 엔터프라이즈 생성형 AI에서의 아키텍처 무결성과 규제 책임성에 관한 우리의 백서.

프로덕션에서의 지속적 평가

배포 전 평가는 시스템이 특정 날짜에 특정 테스트 세트에 대해 작동했음을 알려줍니다. 다음 달에 대해서는 아무것도 알려주지 않습니다. 프로덕션 모델은 드리프트하고, 입력 분포가 이동하며, 검색된 콘텐츠가 변하고, 도구 API가 업데이트됩니다. 2025 LLMOps 보고서는 6개월간 변경 없이 방치된 모델이 새로운 데이터에서 오류율이 35% 증가했음을 발견했습니다. Gartner는 2025년 기준으로 소프트웨어 엔지니어링 팀의 18%만이 AI 평가 및 관측 가능성 플랫폼을 도입했다고 추정하지만, 2028년까지 60% 도입을 전망합니다.

우리는 지속적으로 실행되는 평가 파이프라인을 구축합니다:

• 프로덕션 모니터링은 개발 단계와 동일한 평가자를 사용해 실시간 트래픽을 채점합니다.
• 실패한 평가는 CI/CD 회귀 테스트가 됩니다.
• 드리프트 탐지는 입력 분포가 기준선에서 벗어날 때 경고합니다.
• 적대적 스위트는 프로덕션 엔드포인트에 대해 야간에 실행됩니다.

이것은 여러분의 시스템이 진화함에 따라 평가를 최신 상태로 유지하는 운영 인프라입니다.

평가 도구 지형

시장은 파편화되어 있으며, 각 도구에는 사각지대가 있습니다. 우리는 각 도구를 적합한 곳에 사용하고, 그 어느 것도 미치지 못하는 곳에서는 맞춤형 하니스를 구축합니다.