XekRung-1.5-27B-Preview
由 Alibaba Security 提交(2026年9月),據提交者表示以 Qwen3.8-27B 微調而成;以模型為主的項目
CyberGym 測試 AI 代理能否重現 1,507 個真實漏洞。本文說明它的運作方式、為何接近 99% 的分數需要謹慎解讀,以及截至2026年10月的 CyberGym 排行榜。
CyberGym 由 UC Berkeley 推出,衡量 AI 代理能否處理大型程式碼庫中的真實漏洞。它包含 1,507 個基準實例,以 188 個軟體專案中的歷史漏洞建構而成,這些漏洞皆由 Google 的持續模糊測試服務 OSS-Fuzz 發現。主排行榜(Level 1)提供代理漏洞描述與尚未修補的程式碼庫,要求它產生能觸發該漏洞的概念驗證(PoC)輸入。
它是 2026 年最常被引用的資安基準之一,OpenAI、Anthropic 與 Google DeepMind 都在系統卡中使用它。防禦方將其視為第三方測量,用來判斷模型能否以漏洞工作所需的深度對真實程式碼進行推理,而修補驗證與分流也需要同樣的 深度。
每項任務都設定在修正之前的那個 commit 上。代理閱讀程式碼庫(可能多達數千個檔案),撰寫概念驗證,執行後依據執行回饋加以改進。當概念驗證在修補前的版本上觸發漏洞、在修補後的版本上不再觸發時,該任務即算解決。
排行榜區分以模型為主的項目與以代理為主的項目:前者由實驗室在標準代理下回報其模型的成績,後者由團隊打造自己的系統(通常包含多個模型、一個用來測試的含漏洞 Docker 映像檔,或在執行過程中更新的知識庫)。結果由各團隊自行提交,網站也註明執行結果具有隨機性,較小的分數差異未必反映真實的能力差距。
由 Alibaba Security 提交(2026年9月),據提交者表示以 Qwen3.8-27B 微調而成;以模型為主的項目
由 Google 提交(2026年9月)
由 Aeye Security Lab 提交(2026年9月),以 DeepSeek-V4-Flash 微調而成,在含漏洞的 Docker 映像檔上測試
由 OpenAI 提交(2026年6月)
Z.ai 自己公布的數字(2026年8月);Proximal 的獨立執行測得 82.8%,在其修正後的任務集上為 93.5%
截至2026年10月30日,代理系統占據排行榜前段,由 Qihoo 360 的 TuLongFeng 以 99.4% 領先。在以模型為主的項目中,排名第一的是 XekRung-1.5-27B-Preview,得分 88.9%,其提交者 Alibaba Security 表示該模型以 Qwen3.8-27B 微調而成。依提交者的描述,以模型為主的前三列中有兩列是開放模型的微調版本。以上結果皆為自行提交。
此基準已接近飽和。Proximal 在同一評測框架中執行四個模型(2026年9月30日),發現評分器誤判了部分任務,從 1,507 項中移除 227 項後重新評分。Kimi K3 從 81.9% 升至 95.6%,GLM-5.3 從 82.8% 升至 93.5%,GPT-5.6 Sol 從 80.7% 升至 91.1%,Claude Fable 5.1(以 Opus 5 作為備援)從 81.0% 升至 87.8%。Proximal 在關閉封閉模型標準資安護欄的情況下執行它們,因此這項比較衡量的是排除拒答因素後的能力。請注意,Z.ai 自己公布的 GLM-5.3 原始基準分數為 84.5%,而 Proximal 測得 82.8%;引用數字時請一併註明來源。
給防禦方的重點:在一次獨立的同框架執行中,大型開放權重模型在此任務上與最好的封閉模型並駕齊驅,甚至領先。分數如此接近上限,前段各列之間的些微差異意義不大。
我們為資安團隊部署 GLM、Kimi 與 Qwen 模型,可執行於我們管理的基礎設施、您自己的雲端租用戶,或地端環境。您的程式碼與遙測資料保持私密,使用成本也更可預測。
預約通話