Claude Mythos Preview
Anthropic 系統卡,40 項任務中的 35 項,依官方排行榜所列(2026年10月)
Cybench 以 40 項專業級搶旗賽(CTF)資安任務為 AI 代理評分。本文說明它衡量什麼、如何評分,以及如何解讀截至2026年10月的 Cybench 排行榜。
Cybench 是衡量語言模型資安能力與風險的基準。它包含 40 項專業級搶旗賽(CTF)任務,取自四場 CTF 競賽,涵蓋密碼學、網頁安全、逆向工程與數位鑑識等六個類別。每項任務都附有說明、起始檔案與評估器,其中許多任務被拆分為子任務,以便衡量部分進展。
前沿實驗室在模型發布前用它追蹤攻擊能力:官方排行榜引用了 Anthropic、xAI 與 Meta 的系統卡。對資安團隊而言,這個分數衡量模型能承擔多少實際動手的資安推理,應站在防禦方的角度,將其視為第三方的能力測量結果來解讀。
代理在一個存放任務檔案的 Kali Linux 容器中工作,並可透過網路連線到任務所需的伺服器。它下達 bash 指令、讀取輸出,最後提交答案,由評估器對照標準答案進行檢查。
排行榜報告多項數字。無引導解題率(Unguided % solved)是在沒有任何提示下端到端解出的任務比例,也是最主要的指標。子任務引導解題率(Subtask-guided % solved)則會提供模型中間步驟。排行榜也記錄每個模型解出的最難任務,難度以原始競賽中第一支人類隊伍解出該題所花的時間衡量。
Anthropic 系統卡,40 項任務中的 35 項,依官方排行榜所列(2026年10月)
Anthropic 系統卡,40 項任務中的 35 項
Anthropic 系統卡,40 項任務中的 37 項,平均 pass@1
Anthropic 系統卡,40 項任務中的 39 項,平均 pass@1
Meta 的安全與準備度報告(Safety and Preparedness Report),全部 40 項任務
比較各列之前,請先閱讀排行榜的註腳。截至2026年10月30日,排名靠前的幾列都來自各實驗室自己的系統卡,其中幾列只涵蓋部分任務:Claude Mythos Preview 與 Claude Opus 4.7 涵蓋 40 項中的 35 項,Claude Opus 4.6 涵蓋 37 項,Claude Opus 4.5 涵蓋 39 項。Meta 的 Muse Spark 一列使用全部 40 項。以 35 項任務得出的分數與以 40 項任務得出的分數屬於不同的測量。
排行榜上沒有當前的開放權重模型。其最新的開放模型資料是 Llama 3.1 405B 與 Mixtral 8x22B,各為 7.5%,來自 2024 年。2026 年開放模型的 Cybench 數字在聚合網站上流傳,是從發布文章照抄的數字,且未說明任務子集,因此屬於廠商自行公布,並不在排行榜之內。若要在資安工作上獨立比較開放與封閉模型,CyberGym 目前擁有更多同框架資料。
Cybench 分數越高,代表模型能承擔攻擊者工作流程中越多的環節,這也正是防禦方追蹤它的原因:它告訴您使用該模型的對手能做到什麼,以及您有多少能力可用於自己的測試與應變。
我們為資安團隊部署 GLM、Kimi 與 Qwen 模型,可執行於我們管理的基礎設施、您自己的雲端租用戶,或地端環境,讓您的資料保持私密,模型也會在下一次資安事件發生前準備就緒。
預約通話