#1
Claude Opus 4.6（高推理強度）
Microsoft 執行，16 種配置皆在同一環境中測試（2026年3月）
0.637
CTI-REALM：Microsoft 的偵測規則基準
CTI-REALM 是 Microsoft 推出的基準，評估 AI 代理將威脅情報轉化為偵測規則的能力。本文說明 CTI-REALM 基準的運作方式，以及截至2026年10月的領先者。
SecurityUpdated 2026-10-30
What It Measures
CTI-REALM（Cyber Threat Real World Evaluation and LLM Benchmarking）是 Microsoft 針對偵測工程的開源基準。偵測工程是指將威脅報告轉化為能在真實遙測資料中捕捉攻擊的規則。此基準於2026年3月發表（arXiv 2603.13517），模擬 SOC 偵測工程師的工作：閱讀網路威脅情報（CTI）報告，將其對應到 MITRE ATT&CK 技術，找出合適的資料來源，撰寫並測試查詢，最後交付可運作的偵測。
在公開的資安基準中，它最貼近防禦方的日常工作。高分代表代理能將一項偵測從報告一路推進到可部署的規則。
How It Works
代理在沙箱中工作，沙箱內有來自 Linux、Kubernetes（AKS）與雲端日誌中模擬攻擊的真實攻擊遙測資料，以及 MITRE 技術與 Sigma 規則的參考資料庫。它必須同時產出一條 Sigma 規則與一條可執行的 KQL 查詢（Kusto 查詢語言，用於 Microsoft Sentinel 與 Azure Data Explorer）。
計分方式是一個介於 0 到 1 之間的獎勵分數，由過程中的多個檢查點構成：針對識別出的技術與資料來源進行確定性檢查，以 F1 衡量偵測能否在正確的事件上觸發，並由 LLM 評審（論文中為 GPT-5-Mini）評估報告對齊品質與 Sigma 規則品質，其中部分評審輸出經過資安研究人員複核。此基準也收錄於英國 AI Security Institute 的 inspect_evals 集合中，任何人都能用它測試新模型。
Current Leaders
#2
Claude Opus 4.5
Microsoft 執行（2026年3月）
0.624
#3
Claude Sonnet 4.5
Microsoft 執行（2026年3月）
0.587
#4
GPT-5（中等推理強度）
Microsoft 執行；中等推理強度下的 GPT-5.2 也得到 0.572
0.572
#5
GPT-4.1
Microsoft 執行；token 效率最高的配置，每項任務約 120,000 個 token
0.419
How to Interpret Scores
Microsoft 評估了 16 種模型配置，全部來自 Anthropic 與 OpenAI。高推理強度下的 Claude Opus 4.6 以 0.637 的獎勵分數領先，其後是 Opus 4.5 的 0.624 與 Sonnet 4.5 的 0.587。OpenAI 的最佳結果是中等推理強度下的 GPT-5 與 GPT-5.2，皆為 0.572，GPT-4.1 則得到 0.419。
每項任務的成本差異與分數差異一樣大。GPT-4.1 每項任務約使用 120,000 個 token，低推理強度下的 GPT-5 約使用 179,000 個，獎勵分數為 0.541，Anthropic 模型則約為 442,000 到 524,000 個。論文也發現，為較小的模型預先植入工作流程記憶後，GPT-5-Mini 與 GPT-5 之間的差距縮小了 33%，其中 MITRE 技術對應的提升最大。這顯示任務知識可以彌補一部分由模型規模造成的差距。
截至2026年10月30日，尚無開放權重模型發表 CTI-REALM 結果。由於此基準可在 inspect_evals 中執行，任何擁有開放模型與遙測環境的人都能填補這個空白；它也是檢驗經過偵測工作訓練、規模合適的開放模型能否接近前沿成績的最明確場域。