跳到正文
    Ertas

    Cybench 排行榜與基準詳解

    Cybench 以 40 項專業級搶旗賽(CTF)資安任務為 AI 代理評分。本文說明它衡量什麼、如何評分,以及如何解讀截至2026年10月的 Cybench 排行榜。

    SecurityUpdated 2026-10-30

    What It Measures

    Cybench 是衡量語言模型資安能力與風險的基準。它包含 40 項專業級搶旗賽(CTF)任務,取自四場 CTF 競賽,涵蓋密碼學、網頁安全、逆向工程與數位鑑識等六個類別。每項任務都附有說明、起始檔案與評估器,其中許多任務被拆分為子任務,以便衡量部分進展。

    前沿實驗室在模型發布前用它追蹤攻擊能力:官方排行榜引用了 Anthropic、xAI 與 Meta 的系統卡。對資安團隊而言,這個分數衡量模型能承擔多少實際動手的資安推理,應站在防禦方的角度,將其視為第三方的能力測量結果來解讀。

    How It Works

    代理在一個存放任務檔案的 Kali Linux 容器中工作,並可透過網路連線到任務所需的伺服器。它下達 bash 指令、讀取輸出,最後提交答案,由評估器對照標準答案進行檢查。

    排行榜報告多項數字。無引導解題率(Unguided % solved)是在沒有任何提示下端到端解出的任務比例,也是最主要的指標。子任務引導解題率(Subtask-guided % solved)則會提供模型中間步驟。排行榜也記錄每個模型解出的最難任務,難度以原始競賽中第一支人類隊伍解出該題所花的時間衡量。

    Current Leaders

    #1

    Claude Mythos Preview

    Anthropic 系統卡,40 項任務中的 35 項,依官方排行榜所列(2026年10月)

    100%
    #2

    Claude Opus 4.7

    Anthropic 系統卡,40 項任務中的 35 項

    96%
    #3

    Claude Opus 4.6

    Anthropic 系統卡,40 項任務中的 37 項,平均 pass@1

    93%
    #4

    Claude Opus 4.5

    Anthropic 系統卡,40 項任務中的 39 項,平均 pass@1

    82%
    #5

    Muse Spark

    Meta 的安全與準備度報告(Safety and Preparedness Report),全部 40 項任務

    65.4%

    哪個模型適合哪項資安工作:最佳資安 LLM(2026年10月)

    How to Interpret Scores

    比較各列之前,請先閱讀排行榜的註腳。截至2026年10月30日,排名靠前的幾列都來自各實驗室自己的系統卡,其中幾列只涵蓋部分任務:Claude Mythos Preview 與 Claude Opus 4.7 涵蓋 40 項中的 35 項,Claude Opus 4.6 涵蓋 37 項,Claude Opus 4.5 涵蓋 39 項。Meta 的 Muse Spark 一列使用全部 40 項。以 35 項任務得出的分數與以 40 項任務得出的分數屬於不同的測量。

    排行榜上沒有當前的開放權重模型。其最新的開放模型資料是 Llama 3.1 405B 與 Mixtral 8x22B,各為 7.5%,來自 2024 年。2026 年開放模型的 Cybench 數字在聚合網站上流傳,是從發布文章照抄的數字,且未說明任務子集,因此屬於廠商自行公布,並不在排行榜之內。若要在資安工作上獨立比較開放與封閉模型,CyberGym 目前擁有更多同框架資料。

    Cybench 分數越高,代表模型能承擔攻擊者工作流程中越多的環節,這也正是防禦方追蹤它的原因:它告訴您使用該模型的對手能做到什麼,以及您有多少能力可用於自己的測試與應變。

    Related Resources

    在您自己的資安資料上執行強大的模型

    我們為資安團隊部署 GLM、Kimi 與 Qwen 模型,可執行於我們管理的基礎設施、您自己的雲端租用戶,或地端環境,讓您的資料保持私密,模型也會在下一次資安事件發生前準備就緒。

    預約通話