#1
2025 年模型組，威脅情報推理
Meta 與 CrowdStrike 論文（2025年9月）中各模型的分數區間；各模型分數僅見於其圖表
43% 至 53%
CyberSecEval 4 排行榜與基準指南
CyberSecEval 4 是 Meta 的資安基準套件，包含用於惡意程式分析與威脅情報的 CyberSOCEval。本文說明它測試什麼，以及截至2026年10月的分數透露了什麼。
SecurityUpdated 2026-10-30
What It Measures
CyberSecEval 4 是 Meta 用來評估語言模型資安風險與能力的開放基準套件，發布於其 PurpleLlama 儲存庫。它以 CyberSecEval 3 為基礎，涵蓋兩個面向。風險面向測試模型建議不安全程式碼的頻率、如何因應提示注入、是否協助對應到 MITRE ATT&CK 的網路攻擊請求，以及在攻擊類任務上的表現。防禦面向則是第 4 版新增的。
防禦類基準是大多數資安團隊關注此套件的原因。CyberSOCEval 與 CrowdStrike 合作打造，測試 SOC 實際負責的兩項工作：一是惡意程式分析，模型閱讀沙箱引爆報告，回答有關樣本行為的問題；二是威脅情報推 理，模型閱讀威脅報告（包括其中的圖片）並得出資安結論。第三個新基準 AutoPatchBench 則測試代理能否修補原生程式碼中的漏洞。
How It Works
CyberSOCEval 以多選題計分，每道題有多個正確答案，只有選出完全正確的答案組合才算答對。這讓隨機猜測的基準線維持在很低的水準：根據論文（Meta 與 CrowdStrike，arXiv 2509.20166），惡意程式分析約為 0.63%，威脅情報推理約為 1.7%。
這些題目先由 Llama 模型產生，再經過篩選。作者指出這可能帶來有利於 Llama 的偏差，因為第三方 API 的條款不允許使用其他模型來產生題目。惡意程式報告篇幅很長，經常接近或超過 128,000 token 的上下文視窗，因此此基準除了考驗資安知識，也考驗長文件閱讀能力。
Current Leaders
#2
2025 年模型組，惡意程式分析
同一篇論文與模型組；隨機猜測的分數約為 0.63%
23% 至 34%
How to Interpret Scores
論文測試了來自 OpenAI、Google、Anthropic、Meta 與 DeepSeek 的 2025 年模型，涵蓋開放與封閉模型。所有模型在惡意程式分析上的分數都介於約 23% 到 34% 之間，在威脅情報推理上介於約 43% 到 53% 之間，開放與封閉模型的成績聚集在一起，各模型的具體數字只出現在論文的圖表中。作者發現，更大、更新的模型表現更好；推理模型在此的進步幅度小於它們在程式設計與數學上的進步；目前的模型距離讓此套件飽和還很遠。
截至2026年10月30日，我們尚未找到任何前沿模型或開放模型在 CyberSOCEval 上發表的 2026 年結果，因此下方的領先者為論文中的分數區間。這使它成為防禦性 AI 領域最明確的待解問題之一：一個頂端仍有空間、以真實 SOC 工作建構、卻沒有當前分數的基準。隨著 2026 年結果出爐，下方各列將會更新。