評估、基準測試與紅隊測試

公開基準測試分數幾乎無法告訴您 AI 系統在您的實際部署中會有何表現。我們設計評估框架、領域特定基準測試，以及結構化紅隊測試計畫，衡量 AI 系統是否真正適用於您的使用情境——針對您的資料、您的邊緣案例，以及您的成本與安全限制。

為何公開基準測試無法反映您的部署

前沿模型聚集於 MMLU 88% 以上。GPT-5.3 Codex 得分達 99%。Vellum 的 2025 年 LLM 排行榜已完全捨棄 MMLU，因為它已無法以任何有意義的方式區分各模型。旨在解決此問題的 MMLU-Pro，前沿模型也已逼近 90%。業界最常被引用的基準測試已淪為虛榮指標。

更深層的問題在於相關性。基準測試分數唯有在三項條件下才能預測生產環境的表現：

• 它測試的是與您類似的任務。
• 測試集不受資料汙染——某些基準測試的洩漏比率高達 100%。
• 分數差異具有統計顯著性。

對於多數企業部署而言，這些條件無一成立。一旦您以自己的資料進行測試，排名可能完全反轉——在公開排行榜上排名第 3 的模型，在真實的抽取任務上可能以 40% 的差距勝過排名第 1 的模型。這正是自訂評估框架旨在揭示的那種落差，也正因如此，要回答 「哪個模型在我的資料、我的邊緣案例、我的成本限制下表現最佳？」 就需要為您的部署量身設計的評估基礎架構。

嚴謹評估計畫的三個層次

我們將評估圍繞三個層次來架構，每一層各自回答關於您 AI 系統的不同問題。

能力評估——它能做到我們所需的事嗎？

我們從您的生產資料與真實的邊緣案例建立任務專屬的測試套件，而非便利抽樣。以核保模型為例，這意味著要在實際遭拒的申請、邊界案例，以及您流程所遇到的特定文件格式上進行測試。

每個測試案例都記錄了蒐集方法與標註品質指標。我們以統計嚴謹性進行衡量——以不同隨機種子多次執行、自助法信賴區間，以及配對顯著性檢定。落在信賴區間內的 2% 改善，並不算是改善。

安全評估——它在哪裡失敗，失敗有多嚴重？

我們使用結構化探測來測試行為邊界：最低功能測試、不變性測試（輸出是否在不應改變時改變？），以及方向性預期測試。分解式評估會報告在每一個具營運相關性的資料切片上的表現，因為一個平均表現良好、卻在關鍵子群體上失敗的模型，並不適合部署，詳見 我們關於為何罕見但災難性的失敗率不容忽視的研究。

對抗評估——它能被誘使做出不當行為嗎？

這一層探問的是，是否有人能讓系統做出它不應做的事。紅隊測試正屬於此領域。

作為結構化能力評估的紅隊測試

紅隊測試並非換個名稱的滲透測試。安全評估探問的是「攻擊者能否入侵此系統？」，而評估情境中的紅隊測試探問的是「此系統行為的邊界在哪裡，而這些邊界又會在何處崩潰？」兩者的方法有所重疊，但問題、報告方式與受眾各不相同。

我們在結構化方法論下運作，該方法論建立於 NIST AI 100-2 E2025 分類法之上，該分類法於 2025 年 3 月大幅擴充，涵蓋自主 AI 代理漏洞與 GenAI 特有的攻擊類別。我們的紅隊計畫遵循既定流程：

1. 界定範圍至您部署情境的威脅模型定義。
2. 涵蓋 OWASP LLM Top 10 v2 各類別的攻擊分類法枚舉——提示注入、越獄、資料汙染、透過檢索內容的間接注入、多模態攻擊，以及基於編碼的規避。
3. 以記錄完善的程序執行系統性攻擊。
4. 附重現步驟的嚴重性分級發現。

人工與自動化紅隊測試

我們以自動化對抗流程來補強人工紅隊測試。Haize Labs 的 Cascade 在前沿模型上達到 44% 的攻擊成功率，是單輪基準的 4 倍。Promptfoo 在超過 30 萬次開發者安裝的環境中，於 CI/CD 內執行 50 多種漏洞類型。自動化工具能大規模捕捉已知模式；人工紅隊成員則能找出自動化系統從未見過的新型漏洞——這在漏判失敗模式後果嚴重之處最為關鍵。

每次委託都會交付什麼

每次紅隊委託的範圍都設定為產出三項交付成果：

• 附嚴重性分級與重現程序的發現報告。
• 對應到您架構的補救建議。
• 從已發現漏洞衍生、並整合進您部署流程的自動化回歸測試套件，使已發現的弱點維持修復狀態。

自動化評估何時有效——以及何時無效

LLM 作為裁判的評估——使用前沿模型為另一模型的輸出評分——已成為無力大規模進行人工評估的團隊之預設做法。它很有用，但在特定且有據可查的方面也並不可靠。研究已辨識出 LLM 裁判中 12 種以上不同的偏差類型：

• 自我偏好偏差 ——GPT-4 會給予困惑度較低的輸出較高評分，無論這些輸出是否由它自己產生。
• 冗長偏差 ——裁判一貫偏好冗長、正式的回應，而非簡潔正確的回應。
• 位置偏差 ——裁判偏好最先出現的回應。

對於一般品質比較而言，這些偏差可透過去偏技術（例如隨機化位置與多裁判小組）加以管理。但當領域特定的正確性至關重要時，這些偏差便構成致命缺陷。LLM 裁判無法可靠地評估臨床系統是否正確辨識藥物交互作用，或法律研究是否準確引用判例法。我們在偏差可管理之處使用自動化評分，並在正確性需要領域知識之處採用人工專家審查。

評估代理型 AI 系統

靜態模型基準測試對於會規劃、使用工具並執行多步驟工作流程的代理而言並不適用。單一準確率數字無法反映代理是否選擇了正確的工具、是否以正確的參數呼叫該工具、在某步驟失敗時是否優雅地復原，或是否在 15 個串接操作中產生一致的結果。代理可能每個個別步驟都正確執行，卻仍因串連這些步驟的推理有瑕疵而產生錯誤結果。

我們依據 CLEAR 框架，從五個維度評估代理型系統：

• 成本 ——工具與 token 使用的效率。
• 延遲 ——貫穿完整任務的完成過程。
• 效能 ——端到端任務的成功率。
• 保證 ——確保安全限制在整個執行過程中始終維持。
• 可靠性 ——在重複執行之間。

對於使用工具的代理，我們也會測試工具選擇準確性、參數正確性（代理以顯著比率捏造參數名稱）、範圍遵守，以及錯誤復原。對於多代理系統，我們會測試代理間通訊的保真度、串聯式失敗傳播，以及當下屬代理偏離時監督控制是否真正介入。

基準測試正在迎頭趕上——SWE-bench 測試真實的軟體工程任務、Terminal-Bench 評估命令列代理工作流程，而 UpBench 使用持續更新的真實 Upwork 職缺公告。但現成的代理型基準測試很少能契合您特定的代理架構、工具集與領域，因此我們建置自訂的代理型評估框架——因為您代理的失敗模式是其設計所特有的。

針對《EU AI Act》與法規合規的評估

​ 《EU AI Act》的 高風險條款將全面生效，生效日為 2026 年 8 月 2 日。第 9 條要求建立風險管理系統，並須具備記錄完善的評估方法、在預期用途及合理可預見的誤用情況下進行測試，且持續進行上市後監測。在將高風險系統投放歐盟市場之前，必須完成合規性評估。不合規將面臨最高達全球年營業額 7% 或 3,500 萬歐元的罰款。

NIST AI 100-2 E2025 提供了權威的對抗評估分類法，如今涵蓋 2023 年版所缺少的自主代理漏洞。這些框架正出現在採購需求與董事會層級的風險審查中。

實務上的挑戰：目前尚無協調一致的標準為《EU AI Act》合規定義何謂「充分的評估」。CEN/CENELEC JTC 21 已錯過其 2025 年 8 月的期限，目標改為 2026 年第 4 季。我們設計的評估計畫，能在當下產出站得住腳的證據，同時保持對仍在制定中之標準的適應性——這正是我們在 關於企業生成式 AI 中架構完整性與法規問責的白皮書中所闡述的做法。

生產環境中的持續評估

部署前評估告訴您的是，系統在特定日期、針對特定測試集運作正常。它完全無法說明下個月的情況。生產環境中的模型會漂移、輸入分布會改變、檢索內容會變化，工具 API 也會更新。一份 2025 年的 LLMOps 報告發現，維持六個月不變更的模型，其在新資料上的錯誤率上升了 35%。Gartner 估計，截至 2025 年僅有 18% 的軟體工程團隊採用了 AI 評估與可觀測性平台，但預測到 2028 年採用率將達 60%。

我們建置持續運行的評估流程：

• 生產環境監測使用與開發階段相同的評估器為即時流量評分。
• 失敗的評估會成為 CI/CD 回歸測試。
• 當輸入分布偏離基準時，漂移偵測會發出警示。
• 對抗測試套件每晚針對生產端點執行。

這是一套隨您系統演進而使評估保持最新的營運基礎架構。

評估工具的全貌

市場相當零散，而每種工具都有其盲點。我們在各工具適用之處分別採用它們，並在無一觸及之處建置自訂框架。