Qwen3.5 9B
Alert-Bench F1,作者运行(2026年10月): 0.952
在告警分诊方面,目前已发表的最强小模型结果属于 Qwen3.5 9B,这是一款安全团队可以在自己环境内运行的开放权重模型。在 Alert-Bench 论文(arXiv 2610.10608,2026年10月)中,作者通过一个实时运行的 SIEM 回放企业遥测数据,并在其 AIDA 分诊协议下运行每个模型。在同一个 300 条告警的子集上,Qwen3.5 9B 与作为参照的 GPT-4.1 取得了相同的 F1 分数 0.952,精确率 0.980,召回率 0.926。该测试中其他开放模型的得分在 0.098 到 0.777 之间,可见评测框架和模型选择都很重要。该结果由作者测得;模型按发布时的版本使用,未在分诊数据上做任何训练。
Strengths
- 在相同告警上与 GPT-4.1 的 F1 相同,由该基准的作者测得
- 体量足够小,可以在您自己的环境中运行,告警数据保持私密
- 开放权重,团队可以用自己的处置结果进一步训练它
Trade-offs
- 仅有一篇论文、一个攻击场景,且模型外围有一套结构化协议
- 完整协议消耗大量 token:在作者的消融实验中,每条告警约 37,000 个 token