跳到正文
    Ertas
    Back to blog

    面向 SOC 分析师的 AI:用 9B 模型做告警分诊

    面向 SOC 分析师的 AI,截至 2026 年 10 月:在 Alert-Bench 告警分诊测试中,一个 9B 开放权重模型在相同告警上与 GPT-4.1 打平。本文介绍测试方法和局限,按单价和每条告警的 token 用量两个维度拆解成本,并说明哪些决定仍需分析师来做。

    A pale astronomical impression in graphite and copper, with a soft amber penumbra on warm paper.Two fine engraved orbital fields crossing in deep space, with cool cyan light and a warm distant seam.

    可以,至少在唯一一项检验过这一点的已发布测试中是这样。在 2026 年 10 月发布的 Alert-Bench 中,开放权重模型 Qwen3.5 9B 在告警分诊上取得 0.952 的 F1,与 GPT-4.1 在相同的 300 条告警、相同调查协议下的分数一样。协议和模型同样重要:另外四个开放模型得分在 0.098 到 0.777 之间。

    对 SOC 分析师来说,这意味着告警队列的第一轮筛查可以由小模型在您自己的环境中完成,疑难告警再升级给您。本文介绍这项基准测了什么、AI 告警分诊在两个成本维度上每条告警花多少钱,以及哪些决定仍由分析师来做。所有数字均注明日期,并于 2026 年 10 月 30 日在原始来源核对。

    什么是 Alert-Bench?

    Alert-Bench 是一个 LLM 告警分诊基准,它通过实时 SIEM 回放企业遥测数据,每个系统都必须先自己检索证据,才能关闭或升级一条告警。它由 Saimon Amanuel Tsegai、Alex Kantchelian、Danfeng (Daphne) Yao 和 Peng Gao 构建,于 2026 年 10 月 7 日发布在 arXiv 上。

    作者用五种常见方法处理了来自一个多阶段攻击场景的 1,247 条告警,从带工具访问的单次提示,到自我复查和显式验证。每一种方法都漏掉了至少 40.4% 的攻击相关告警。当一次检索没有返回任何记录时,攻击告警更容易被误判为可忽略。

    随后他们设计了 AIDA,一个多智能体协议:一个智能体提出判断,第二个智能体在独立的上下文中提出质疑,再由裁判根据证据裁决,每一步都写入只能追加的调查记录。忽略一条告警所需的证据比升级它更严格。使用 GPT-4.1 时,AIDA 在全部 1,247 条告警上取得 0.958 的 F1,把漏报率从 40.4% 降到 3.1%,并把 18.4% 的告警升级给分析师。

    9B 模型能像 GPT-4.1 一样做告警分诊吗?

    在 Alert-Bench 上可以。作者用五个开放权重模型运行了完整的 AIDA 协议,使用的是一个包含 54 条攻击告警的 300 条告警子集,与 GPT-4.1 消融实验所用的子集相同。

    模型精确率召回率F1
    GPT-4.1(参照)0.9800.9260.952
    Qwen3.5 9B0.9800.9260.952
    Gemma4 31B0.6351.0000.777
    GPT-OSS 120B0.8680.6110.717
    Llama 3.1 70B0.5780.7590.656
    Llama 3.1 8B0.1040.0930.098

    Qwen3.5 9B 和 GPT-4.1 在这个子集上得到完全相同的混淆矩阵,只是在两条具体告警上判断不同。用论文的话说,仅凭模型规模无法解释排名:在相同协议下,9B 模型胜过了 70B 和 120B 的模型。

    这个结果有几点局限值得说明。它来自一个攻击场景和一套 SIEM,子集中只有 54 条攻击告警,模型都没有经过针对该任务的训练,而且 GPT-4.1 是唯一被测试的闭源模型。它证明了小模型在良好的评测环境中能胜任这项工作。它能否胜任您的工作,要用您自己的告警来检验。

    AI 告警分诊每条告警要花多少钱?

    在前沿模型上,AI 告警分诊每条告警的成本从约 2 美分到约 3 美元不等,取决于调查的深度。截至 2026 年 10 月已发布的数据如下:

    方法每条告警成本来源
    单次或结构化分诊,GPT-4.10.016 至 0.107 美元Alert-Bench
    AIDA 协议,GPT-4.1约 0.109 美元Alert-Bench
    智能体式调查,Claude Sonnet1 至 3 美元RunReveal
    供应商入门档,每次调查约 9 美元Dropzone AI,引自 Sekoia

    在 AIDA 下,GPT-4.1 每条告警使用 33,942 个 token 和 4.3 次工具调用,延迟 12.7 秒。RunReveal(2026 年 5 月 28 日)基于 5 万多次调查,估计用 Sonnet 做一次完整的智能体式调查花费 1 到 3 美元,平均每条告警约 2 美元。Sekoia 的 Cyril Simonnet 在 2026 年 10 月 18 日的文章中指出,Dropzone AI 的标价约为每年 36,000 美元,最多 4,000 次调查。

    告警量把单价变成了预算。Vectra 估计 2026 年平均每个组织每天收到 2,992 条安全告警,其中 63% 无人处理。这相当于每年约 109 万条告警。按 AIDA 每条 0.109 美元计算,用 GPT-4.1 分诊全部告警每年约需 11.9 万美元;按每次完整调查 2 美元计算,约需 220 万美元。这是我们根据上述来源做的推算,而且账单会随告警量增长,而告警量更多受攻击者和嘈杂的扫描器影响,SOC 自己难以控制。

    训练过的模型如何降低告警分诊成本?

    成本从两方面下降:每个 token 的价格低于前沿模型;每条告警用的 token 更少,因为每次 API 调用中重复的指令和协议已经训练进模型本身。

    更低的 token 单价。 截至 2026 年 10 月 30 日,OpenAI 对 GPT-4.1 的标价是每百万输入 token 2 美元、每百万输出 token 8 美元。OpenRouter 上 Qwen3.5 9B 的标价是0.17 美元和 0.25 美元。在 300 条告警的子集上,使用 GPT-4.1 的 AIDA 每条告警用了 36,988 个 token。假设 9B 模型用量相同(论文未报告其 token 用量),并且全部按 9B 模型的输出单价计费,每条告警的分诊成本也不到 1 美分,按 Vectra 的平均告警量计算每年约 1 万美元。

    每条告警更少的 token。 AIDA 的 token 用量中很大一部分是协议本身:角色指令、调查记录格式和工具定义,每次 API 调用、每条告警都要重新发送一遍。用协议和您团队过去的处置结果训练出的模型,把这些知识带在模型内部,于是每次 API 调用只需发送告警及其证据。能省多少,取决于每个提示中重复内容所占的比例,也取决于您是否已在使用提示缓存(前沿 API 会以输入单价的一小部分对重复上下文计费)。在给出具体数字之前,请先用您自己的流量测量重复部分的占比。

    澳大利亚信号局(ASD)从买方角度提出了同样的观点:前沿 AI 会带来成本,包括 token 消耗,各组织应选择与用例需求和价值相称的能力(Opportunities for AI in cyber defence,2026 年 9 月 8 日)。要计算您自己的数字,可以使用单任务成本计算器,方法详见AI 单任务成本。

    哪些决定仍由 SOC 分析师来做?

    升级上来的告警、高影响的响应动作,以及 AI 证据不足的任务,仍由分析师决定。即使是 AIDA 也把 18.4% 的告警交给了人工,而这条升级通道正是它漏报率下降的原因之一。

    • 遏制与响应。 ASD 的指南建议由 AI 自动完成分诊,并准备预先批准、可撤销的响应动作,而高影响的遏制、中断、恢复或沟通决定需要人工批准。
    • 检测工程。 在测试根据威胁情报编写检测规则的 CTI-REALM 上,已发布的最佳奖励是 Claude Opus 4.6 的 0.637。被测的 16 个模型全部来自 Anthropic 或 OpenAI,所以目前还没有开放模型的结果。
    • 恶意软件分析和威胁情报推理。 Meta 的 CyberSecEval 4 中的 CyberSOCEval 发现,来自 OpenAI、Google、Anthropic、Meta 和 DeepSeek 的 2025 年模型在恶意软件分析上集中在约 23% 到 34% 之间。截至 2026 年 10 月,我们没有找到已发布的 2026 年结果,无论开放还是闭源。

    当前可行的分工是:模型负责第一轮筛查,分析师处理升级的告警。Hugging Face 2026 年 7 月的安全事件最初就是由 AI 辅助检测发现的,基于 LLM 的安全遥测分诊把真实信号从日常噪声中分离出来,随后其响应团队用一个开放模型自行完成了取证分析。

    SOC 在采用 AI 分诊前应检查什么?

    五项检查可以区分有用的分诊模型和演示品:

    1. 攻击告警的召回率和漏报率,用您自己标注过的告警来测量。由于大多数告警是良性的,整体准确率会掩盖漏掉的攻击。
    2. 升级率,因为它决定了分析师的工作量。
    3. 每条告警的 token 用量和成本,按您的告警量、从两个成本维度计算。
    4. 告警数据的去向。 ASD 建议向供应商提出的问题是:哪些数据会被保留、复用或用于重新训练模型,条件是什么。
    5. 评测环境和模型一样重要。 Alert-Bench 显示,同一个模型在不同协议下得分差异很大。

    想知道哪些模型能在您自己的硬件上运行,请看网络安全最佳本地 LLM。关于更大的开放模型,请看 GLM-5.3 与 Kimi K3 网络安全基准;按安全任务挑选模型,请看2026 年 10 月网络安全最佳 LLM。

    用您自己的安全数据运行这些模型

    为您的 SOC 运行 Qwen3.5 9B 或更大的开放模型,部署在我们管理的基础设施上、您自己的云租户中,或您的本地机房。您的告警数据保持私密,使用成本比随告警量增长的按条计费账单更可预测,而且模型在事件发生前就已就位,可以处理真实攻击数据的取证工作。我们托管的模型用于防御工作:告警分诊、威胁情报、恶意软件分析和检测。

    用您自己的告警和分析师处置结果训练的模型,效果会超过未经训练的模型,这正是我们的 endpoint 所做的事:新版本在后台用您的流量训练,按您的评估标准打分,只有经过您批准才会上线。该 endpoint 目前仅限受邀使用,我们正在开发一个更简化的版本,以便更广泛地开放。

    预约通话,我们会和您一起确定适合团队的模型、规模和部署方式。

    常见问题

    AI 会取代 SOC 分析师吗?

    现有证据表明,AI 承担的是第一轮筛查。在 Alert-Bench 中,最好的协议仍把 18.4% 的告警升级给分析师,ASD 的指南也要求高影响的遏制和响应决定须经人工批准。

    什么是 AI 告警分诊?

    AI 告警分诊是用语言模型(通常可以通过工具访问 SIEM)为每条安全告警收集证据,并决定关闭它还是升级给分析师。模型读取告警、查询日志,并记录推理过程供人复核。

    AI 告警分诊要花多少钱?

    截至 2026 年 10 月,已发布的数据显示,用 GPT-4.1 做结构化分诊每条告警约 0.02 到 0.11 美元,用 Claude Sonnet 做一次完整的智能体式调查约 1 到 3 美元。自托管或训练过的小模型可以同时降低 token 单价和每条告警的 token 用量。

    可以在自己的基础设施上运行 AI 告警分诊吗?

    可以。在 Alert-Bench 上与 GPT-4.1 打平的开放模型 Qwen3.5 9B,可以运行在您自己的服务器、云租户或物理隔离网络中,告警数据始终留在您的环境里。


    来源,均于 2026 年 10 月 30 日查阅:Tsegai、Kantchelian、Yao 和 Gao,"From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage"(Alert-Bench,2026 年 10 月 7 日);RunReveal,"AI SOC investigation cost"(2026 年 5 月 28 日);Cyril Simonnet,"220 AI SOCs, sixteen prices"(2026 年 10 月 18 日);Vectra AI,"Alert fatigue";OpenAI API 定价;OpenRouter,Qwen3.5 9B;澳大利亚信号局,"Opportunities for AI in cyber defence"(2026 年 9 月 8 日);Chakraborty 等,"CTI-REALM"(2026 年 3 月);Deason 等,"CyberSOCEval"(2025 年);Hugging Face,"Security incident, July 2026"(2026 年 7 月 16 日)。