#1
2025 年模型组，威胁情报推理
Meta 与 CrowdStrike 论文（2025年9月）中各模型的得分区间；各模型分数仅见于其图表
43% 至 53%
CyberSecEval 4 排行榜与基准指南
CyberSecEval 4 是 Meta 的安全基准套件，包含用于恶意软件分析和威胁情报的 CyberSOCEval。本文介绍它测试什么，以及截至2026年10月的分数说明了什么。
SecurityUpdated 2026-10-30
What It Measures
CyberSecEval 4 是 Meta 用于评估语言模型网络安全风险与能力的开放基准套件，发布在其 PurpleLlama 仓库中。它在 CyberSecEval 3 的基础上构建，涵盖两个方面。风险方面测试模型建议不安全代码的频率、如何应对提示注入、是否会协助映射到 MITRE ATT&CK 的网络攻击请求，以及在攻击类任务上的表现。防御方面是第 4 版新增的。
防御类基准是大多数安全团队关注这个套件的原因。CyberSOCEval 与 CrowdStrike 合作构建，测试 SOC 实际承担的两项工作：一是恶意软件分析，模型阅读沙箱引爆报告并回答有关样本行为的问题；二是威胁情报推理，模型阅读威 胁报告（包括其中的图片）并得出安全结论。第三个新基准 AutoPatchBench 测试智能体能否修补原生代码中的漏洞。
How It Works
CyberSOCEval 采用多选题评分，每道题有多个正确答案，只有选出完全正确的答案组合才算答对。这让随机猜测的基线保持在很低的水平：根据论文（Meta 与 CrowdStrike，arXiv 2509.20166），恶意软件分析约为 0.63%，威胁情报推理约为 1.7%。
这些题目先由 Llama 模型生成，再经过筛选。作者指出这可能带来有利于 Llama 的偏差，因为第三方 API 的条款不允许使用其他模型来生成题目。恶意软件报告篇幅很长，常常接近或超过 128,000 token 的上下文窗口，因此该基准既考察安全知识，也考察长文档阅读能力。
Current Leaders
#2
2025 年模型组，恶意软件分析
同一论文和模型组；随机猜测得分约为 0.63%
23% 至 34%
How to Interpret Scores
论文测试了来自 OpenAI、Google、Anthropic、Meta 和 DeepSeek 的 2025 年模型，涵盖开放模型和闭源模型。所有模型在恶意软件分析上的得分都在约 23% 到 34% 之间，在威胁情报推理上约在 43% 到 53% 之间，开放与闭源模型的成绩聚集在一起，各模型的具体数字只出现在论文的图表中。作者发现，更大、更新的模型表现更好；推理模型在这里的提升小于它们在编程和数学上的提升；当前模型距离让该套件饱和还很远。
截至2026年10月30日，我们尚未找到任何前沿模型或开放模型在 CyberSOCEval 上发布的 2026 年结果，因此下方的领先者为论文中的分数区间。这使它成为防御性 AI 领域最明确的待解问题之一：一个顶部仍有空间、基于真实 SOC 工作构建、却没有当前分数的基准。随着 2026 年结果的出现，下方各行将会更新。