#1
Claude Opus 4.6（高推理强度）
Microsoft 运行，16 种配置全部在同一环境中测试（2026年3月）
0.637
CTI-REALM：Microsoft 的检测规则基准
CTI-REALM 是 Microsoft 推出的基准，评估 AI 智能体将威胁情报转化为检测规则的能力。本文介绍 CTI-REALM 基准的工作方式，以及截至2026年10月的领先者。
SecurityUpdated 2026-10-30
What It Measures
CTI-REALM（Cyber Threat Real World Evaluation and LLM Benchmarking）是 Microsoft 面向检测工程的开源基准。检测工程是指把威胁报告转化为能在真实遥测数据中捕获攻击的规则。该基准于2026年3月发布（arXiv 2603.13517），模拟 SOC 检测工程师的工作：阅读网络威胁情报（CTI）报告，将其映射到 MITRE ATT&CK 技术，找到合适的数据源，编写并测试查询，最终交付可用的检测。
在公开的安全基准中，它最贴近防御方的日常工作。高分意味着智能体能把一项检测从报告一路推进到可部署的规则。
How It Works
智能体在沙箱中工作，沙箱内有来自 Linux、Kubernetes（AKS）和云日志中模拟攻击的真实攻击遥测数据，以及 MITRE 技术和 Sigma 规则的参考数据库。它必须同时产出一条 Sigma 规则和一条可执行的 KQL 查询（Kusto 查询语言，用于 Microsoft Sentinel 和 Azure Data Explorer）。
评分是一个介于 0 到 1 之间的奖励分，由过程中的多个检查点构成：对识别出的技术和数据源进行确定性检查，用 F1 衡量检测能否在正确的事件上触发，并由 LLM 评审（论文中为 GPT-5-Mini）评估报告对齐质量和 Sigma 规则质量，其中部分评审输出经过安全研究人员复核。该基准也收录在英国 AI Security Institute 的 inspect_evals 集合中，任何人都可以用它测试新模型。
Current Leaders
#2
Claude Opus 4.5
Microsoft 运行（2026年3月）
0.624
#3
Claude Sonnet 4.5
Microsoft 运行（2026年3月）
0.587
#4
GPT-5（中等推理强度）
Microsoft 运行；中等推理强度下的 GPT-5.2 同样得分 0.572
0.572
#5
GPT-4.1
Microsoft 运行；token 效率最高的配置，每项任务约 120,000 个 token
0.419
How to Interpret Scores
Microsoft 评估了 16 种模型配置，全部来自 Anthropic 和 OpenAI。高推理强度下的 Claude Opus 4.6 以 0.637 的奖励分领先，其后是 Opus 4.5 的 0.624 和 Sonnet 4.5 的 0.587。OpenAI 的最佳结果是中等推理强度下的 GPT-5 和 GPT-5.2，均为 0.572，GPT-4.1 得分 0.419。
每项任务的成本差异与分数差异一样大。GPT-4.1 每项任务约使用 120,000 个 token，低推理强度下的 GPT-5 约使用 179,000 个，奖励分为 0.541，而 Anthropic 模型约为 442,000 到 524,000 个。论文还发现，为较小的模型预置工作流记忆后，GPT-5-Mini 与 GPT-5 之间的差距缩小了 33%，其中 MITRE 技术映射的提升最大。这表明任务知识可以弥补一部分由模型规模造成的差距。
截至2026年10月30日，尚无开放权重模型发布 CTI-REALM 结果。由于该基准可在 inspect_evals 中运行，任何拥有开放模型和遥测环境的人都可以填补这一空白；它也是检验经过检测工作训练、规模合适的开放模型能否接近前沿成绩的最明确场所。