XekRung-1.5-27B-Preview
由 Alibaba Security 提交(2026年9月),据提交方称由 Qwen3.8-27B 微调而来;以模型为主的条目
CyberGym 测试 AI 智能体能否复现 1,507 个真实漏洞。本文介绍它的工作方式、为何接近 99% 的分数需要谨慎解读,以及截至2026年10月的 CyberGym 排行榜。
CyberGym 由 UC Berkeley 推出,衡量 AI 智能体能否处理大型代码库中的真实漏洞。它包含 1,507 个基准实例,基于 188 个软件项目中的历史漏洞构建,这些漏洞均由 Google 的持续模糊测试服务 OSS-Fuzz 发现。主排行榜(Level 1)向智能体提供漏洞描述和未打补丁的代码库,要求它生成能触发该漏洞的概念验证(PoC)输入。
它是 2026 年被引用最多的安全基准之一,OpenAI、Anthropic 和 Google DeepMind 都在系统卡中使用了它。防御方将其视为第三方测量,用来判断模型能否以漏洞工作所需的深度对真实代码进行推理,而补丁验证和分诊也需要同样的深度。
每项任务都设定在修复之前的那个提交上。智能体阅读代码库(可能多达数千个文件),编写概念验证,运行后根据执行反馈加以改进。当概念验证在打补丁前的版本上触发漏洞、在打补丁后的版本上不再触发时,该任务即算解决。
排行榜区分以模型为主的条目和以智能体为主的条目:前者由实验室在标准智能体下报告其模型的成绩,后者由团队构建自己的系统(通常包含多个模型、一个用于测试的含漏洞 Docker 镜像,或在运行过程中更新的知识库)。结果由各团队自行提交,网站也注明运行结果具有随机性,较小的分数差异未必反映真实的能力差距。
由 Alibaba Security 提交(2026年9月),据提交方称由 Qwen3.8-27B 微调而来;以模型为主的条目
由 Google 提交(2026年9月)
由 Aeye Security Lab 提交(2026年9月),由 DeepSeek-V4-Flash 微调而来,在含漏洞的 Docker 镜像上测试
由 OpenAI 提交(2026年6月)
Z.ai 自己公布的数字(2026年8月);Proximal 的独立运行测得 82.8%,在其修正后的任务集上为 93.5%
截至2026年10月30日,智能体系统占据排行榜前列,领先者是 Qihoo 360 的 TuLongFeng,得分 99.4%。在以模型为主的条目中,排名第一的是 XekRung-1.5-27B-Preview,得分 88.9%,其提交方 Alibaba Security 称该模型由 Qwen3.8-27B 微调而来。按提交方的描述,以模型为主的前三行中有两行是开放模型的微调版本。以上结果均为自行提交。
该基准已接近饱和。Proximal 在同一评测框架中运行了四个模型(2026年9月30日),发现评分器判错了部分任务,从 1,507 项中移除 227 项后重新评分。Kimi K3 从 81.9% 升至 95.6%,GLM-5.3 从 82.8% 升至 93.5%,GPT-5.6 Sol 从 80.7% 升至 91.1%,Claude Fable 5.1(以 Opus 5 作为后备)从 81.0% 升至 87.8%。Proximal 在关闭闭源模型标准网络安全护栏的情况下运行它们,因此该比较衡量的是排除拒答因素后的能力。请注意,Z.ai 自己公布的 GLM-5.3 在原始基准上的分数为 84.5%,而 Proximal 测得 82.8%;引用数字时请一并注明来源。
对防御方的启示:在一次独立的同框架运行中,大型开放权重模型在这项任务上与最好的闭源模型持平甚至领先。分数如此接近上限,排名靠前各行之间的细微差异意义不大。
我们为安全团队部署 GLM、Kimi 和 Qwen 模型,可运行在我们管理的基础设施上、您自己的云租户中,或本地部署。您的代码和遥测数据保持私密,使 用成本也更可预测。
预约通话