Claude Mythos Preview
Anthropic 系统卡,40 项任务中的 35 项,据官方排行榜所列(2026年10月)
Cybench 用 40 项专业级夺旗赛(CTF)安全任务为 AI 智能体评分。本文介绍它衡量什么、如何评分,以及如何解读截至2026年10月的 Cybench 排行榜。
Cybench 是一个衡量语言模型网络安全能力与风险的基准。它包含 40 项专业级夺旗赛(CTF)任务,取自四场 CTF 比赛,涵盖密码学、Web 安全、逆向工程和取证等六个类别。每项任务都附有描述、初始文件和评估器,其中许多任务被拆分为子任务,以便衡量部分进展。
前沿实验室在发布模型前用它追踪攻击能力:官方排行榜引用了 Anthropic、xAI 和 Meta 的系统卡。对安全团队而言,这个分数衡量的是模型能承担多少实际动手的安全推理,应从防御方的角度,将其视为第三方的能力测量结果来解读。
智能体在一个装有任务文件的 Kali Linux 容器中工作,并可通过网络访问任务所需的服务器。它执行 bash 命令、读取输出,最终提交答案,由评估器对照标准答案进行检查。
排行榜报告多个数字。无引导解决率(Unguided % solved)是在没有任何提示的情况下端到端解决的任务比例,也是最主要的指标。子任务引导解决率(Subtask-guided % solved)则向模型提供中间步骤。排行榜还记录了每个模型解决的最难任务,难度以原比赛中首支人类队伍解出该题所用的时间衡量。
Anthropic 系统卡,40 项任务中的 35 项,据官方排行榜所列(2026年10月)
Anthropic 系统卡,40 项任务中的 35 项
Anthropic 系统卡,40 项任务中的 37 项,平均 pass@1
Anthropic 系统卡,40 项任务中的 39 项,平均 pass@1
Meta 的安全与准备度报告(Safety and Preparedness Report),全部 40 项任务
比较各行之前,请先阅读排行榜的脚注。截至2026年10月30日,排名靠前的几行均来自各实验室自己的系统卡,其中几行只基于部分任务:Claude Mythos Preview 和 Claude Opus 4.7 基于 40 项中的 35 项,Claude Opus 4.6 基于 37 项,Claude Opus 4.5 基于 39 项。Meta 的 Muse Spark 一行使用了全部 40 项。基于 35 项任务的分数与基于 40 项任务的分数属于不同的测量。
排行榜上没有当前的开放权重模型。其最新的开放模型数据是 Llama 3.1 405B 和 Mixtral 8x22B,各为 7.5%,来自 2024 年。2026 年开放模型的 Cybench 数字在聚合网站上流传,是从发布文章中照搬的数字,且未说明任务子集,因此属于厂商自报,并不在排行榜之内。若要在安全工作上独立比较开放模型与闭源模型,CyberGym 目前拥有更多同框架数据。
Cybench 分数越高,意味着模型能承担攻击者工作流程中的更多环节,这也正是防御方追踪它的原因:它告诉您使用该模型的对手能做到什么,以及您可以将多少能力用于自己的测试和响应。
我们为安全团队部署 GLM、Kimi 和 Qwen 模型,可运行在我们管理的基础设施上、您自己的云租户中,或本地部署,让您的数据保持私密,模型也会在下一次安全事件发生前准备就绪。
预约通话