跳到正文
    Ertas
    Back to blog

    面向 SOC 分析師的 AI:用 9B 模型做告警分診

    面向 SOC 分析師的 AI,截至 2026 年 10 月:在 Alert-Bench 告警分診測試中,一個 9B 開放權重模型在相同告警上與 GPT-4.1 打平。本文介紹測試方法和侷限,按單價和每條告警的 token 用量兩個維度拆解成本,並說明哪些決定仍需分析師來做。

    A pale astronomical impression in graphite and copper, with a soft amber penumbra on warm paper.Two fine engraved orbital fields crossing in deep space, with cool cyan light and a warm distant seam.

    可以,至少在唯一一項檢驗過這一點的已釋出測試中是這樣。在 2026 年 10 月釋出的 Alert-Bench 中,開放權重模型 Qwen3.5 9B 在告警分診上取得 0.952 的 F1,與 GPT-4.1 在相同的 300 條告警、相同調查協議下的分數一樣。協議和模型同樣重要:另外四個開放模型得分在 0.098 到 0.777 之間。

    對 SOC 分析師來說,這意味著告警佇列的第一輪篩查可以由小模型在您自己的環境中完成,疑難告警再升級給您。本文介紹這項基準測了什麼、AI 告警分診在兩個成本維度上每條告警花多少錢,以及哪些決定仍由分析師來做。所有數字均註明日期,並於 2026 年 10 月 30 日在原始來源核對。

    什麼是 Alert-Bench?

    Alert-Bench 是一個 LLM 告警分診基準,它透過即時 SIEM 回放企業遙測資料,每個系統都必須先自己檢索證據,才能關閉或升級一條告警。它由 Saimon Amanuel Tsegai、Alex Kantchelian、Danfeng (Daphne) Yao 和 Peng Gao 構建,於 2026 年 10 月 7 日釋出在 arXiv 上。

    作者用五種常見方法處理了來自一個多階段攻擊場景的 1,247 條告警,從帶工具存取的單次提示,到自我複查和顯式驗證。每一種方法都漏掉了至少 40.4% 的攻擊相關告警。當一次檢索沒有返回任何記錄時,攻擊告警更容易被誤判為可忽略。

    隨後他們設計了 AIDA,一個多代理協議:一個代理提出判斷,第二個代理在獨立的上下文中提出質疑,再由裁判根據證據裁決,每一步都寫入只能追加的調查記錄。忽略一條告警所需的證據比升級它更嚴格。使用 GPT-4.1 時,AIDA 在全部 1,247 條告警上取得 0.958 的 F1,把漏報率從 40.4% 降到 3.1%,並把 18.4% 的告警升級給分析師。

    9B 模型能像 GPT-4.1 一樣做告警分診嗎?

    在 Alert-Bench 上可以。作者用五個開放權重模型執行了完整的 AIDA 協議,使用的是一個包含 54 條攻擊告警的 300 條告警子集,與 GPT-4.1 消融實驗所用的子集相同。

    模型精確率召回率F1
    GPT-4.1(參照)0.9800.9260.952
    Qwen3.5 9B0.9800.9260.952
    Gemma4 31B0.6351.0000.777
    GPT-OSS 120B0.8680.6110.717
    Llama 3.1 70B0.5780.7590.656
    Llama 3.1 8B0.1040.0930.098

    Qwen3.5 9B 和 GPT-4.1 在這個子集上得到完全相同的混淆矩陣,只是在兩條具體告警上判斷不同。用論文的話說,僅憑模型規模無法解釋排名:在相同協議下,9B 模型勝過了 70B 和 120B 的模型。

    這個結果有幾點侷限值得說明。它來自一個攻擊場景和一套 SIEM,子集中只有 54 條攻擊告警,模型都沒有經過針對該任務的訓練,而且 GPT-4.1 是唯一被測試的閉源模型。它證明了小模型在良好的評測環境中能勝任這項工作。它能否勝任您的工作,要用您自己的告警來檢驗。

    AI 告警分診每條告警要花多少錢?

    在前沿模型上,AI 告警分診每條告警的成本從約 2 美分到約 3 美元不等,取決於調查的深度。截至 2026 年 10 月已釋出的資料如下:

    方法每條告警成本來源
    單次或結構化分診,GPT-4.10.016 至 0.107 美元Alert-Bench
    AIDA 協議,GPT-4.1約 0.109 美元Alert-Bench
    代理式調查,Claude Sonnet1 至 3 美元RunReveal
    供應商入門檔,每次調查約 9 美元Dropzone AI,引自 Sekoia

    在 AIDA 下,GPT-4.1 每條告警使用 33,942 個 token 和 4.3 次工具呼叫,延遲 12.7 秒。RunReveal(2026 年 5 月 28 日)基於 5 萬多次調查,估計用 Sonnet 做一次完整的代理式調查花費 1 到 3 美元,平均每條告警約 2 美元。Sekoia 的 Cyril Simonnet 在 2026 年 10 月 18 日的文章中指出,Dropzone AI 的標價約為每年 36,000 美元,最多 4,000 次調查。

    告警量把單價變成了預算。Vectra 估計 2026 年平均每個組織每天收到 2,992 條安全告警,其中 63% 無人處理。這相當於每年約 109 萬條告警。按 AIDA 每條 0.109 美元計算,用 GPT-4.1 分診全部告警每年約需 11.9 萬美元;按每次完整調查 2 美元計算,約需 220 萬美元。這是我們根據上述來源做的推算,而且帳單會隨告警量增長,而告警量更多受攻擊者和嘈雜的掃描器影響,SOC 自己難以控制。

    訓練過的模型如何降低告警分診成本?

    成本從兩方面下降:每個 token 的價格低於前沿模型;每條告警用的 token 更少,因為每次 API 呼叫中重複的指令和協議已經訓練進模型本身。

    更低的 token 單價。 截至 2026 年 10 月 30 日,OpenAI 對 GPT-4.1 的標價是每百萬輸入 token 2 美元、每百萬輸出 token 8 美元。OpenRouter 上 Qwen3.5 9B 的標價是0.17 美元和 0.25 美元。在 300 條告警的子集上,使用 GPT-4.1 的 AIDA 每條告警用了 36,988 個 token。假設 9B 模型用量相同(論文未報告其 token 用量),並且全部按 9B 模型的輸出單價計費,每條告警的分診成本也不到 1 美分,按 Vectra 的平均告警量計算每年約 1 萬美元。

    每條告警更少的 token。 AIDA 的 token 用量中很大一部分是協議本身:角色指令、調查記錄格式和工具定義,每次 API 呼叫、每條告警都要重新傳送一遍。用協議和您團隊過去的處置結果訓練出的模型,把這些知識帶在模型內部,於是每次 API 呼叫只需傳送告警及其證據。能省多少,取決於每個提示中重複內容所佔的比例,也取決於您是否已在使用提示快取(前沿 API 會以輸入單價的一小部分對重複上下文計費)。在給出具體數字之前,請先用您自己的流量測量重複部分的佔比。

    澳洲訊號局(ASD)從買方角度提出了同樣的觀點:前沿 AI 會帶來成本,包括 token 消耗,各組織應選擇與用例需求和價值相稱的能力(Opportunities for AI in cyber defence,2026 年 9 月 8 日)。要計算您自己的數字,可以使用單任務成本計算器,方法詳見AI 單任務成本。

    哪些決定仍由 SOC 分析師來做?

    升級上來的告警、高影響的響應動作,以及 AI 證據不足的任務,仍由分析師決定。即使是 AIDA 也把 18.4% 的告警交給了人工,而這條升級通道正是它漏報率下降的原因之一。

    • 遏制與響應。 ASD 的指南建議由 AI 自動完成分診,並準備預先批准、可撤銷的響應動作,而高影響的遏制、中斷、恢復或溝通決定需要人工批准。
    • 檢測工程。 在測試根據威脅情報編寫檢測規則的 CTI-REALM 上,已釋出的最佳獎勵是 Claude Opus 4.6 的 0.637。被測的 16 個模型全部來自 Anthropic 或 OpenAI,所以目前還沒有開放模型的結果。
    • 惡意軟體分析和威脅情報推理。 Meta 的 CyberSecEval 4 中的 CyberSOCEval 發現,來自 OpenAI、Google、Anthropic、Meta 和 DeepSeek 的 2025 年模型在惡意軟體分析上集中在約 23% 到 34% 之間。截至 2026 年 10 月,我們沒有找到已釋出的 2026 年結果,無論開放還是閉源。

    當前可行的分工是:模型負責第一輪篩查,分析師處理升級的告警。Hugging Face 2026 年 7 月的安全事件最初就是由 AI 輔助檢測發現的,基於 LLM 的安全遙測分診把真實訊號從日常雜訊中分離出來,隨後其響應團隊用一個開放模型自行完成了取證分析。

    SOC 在採用 AI 分診前應檢查什麼?

    五項檢查可以區分有用的分診模型和演示品:

    1. 攻擊告警的召回率和漏報率,用您自己標註過的告警來測量。由於大多數告警是良性的,整體準確率會掩蓋漏掉的攻擊。
    2. 升級率,因為它決定了分析師的工作量。
    3. 每條告警的 token 用量和成本,按您的告警量、從兩個成本維度計算。
    4. 告警資料的去向。 ASD 建議向供應商提出的問題是:哪些資料會被保留、複用或用於重新訓練模型,條件是什麼。
    5. 評測環境和模型一樣重要。 Alert-Bench 顯示,同一個模型在不同協議下得分差異很大。

    想知道哪些模型能在您自己的硬體上執行,請看網路安全最佳本地 LLM。關於更大的開放模型,請看 GLM-5.3 與 Kimi K3 網路安全基準;按安全任務挑選模型,請看2026 年 10 月網路安全最佳 LLM。

    用您自己的安全資料執行這些模型

    為您的 SOC 執行 Qwen3.5 9B 或更大的開放模型,部署在我們管理的基礎設施上、您自己的雲租戶中,或您的本地機房。您的告警資料保持私密,使用成本比隨告警量增長的按條計費帳單更可預測,而且模型在事件發生前就已就位,可以處理真實攻擊資料的取證工作。我們託管的模型用於防禦工作:告警分診、威脅情報、惡意軟體分析和檢測。

    用您自己的告警和分析師處置結果訓練的模型,效果會超過未經訓練的模型,這正是我們的 endpoint 所做的事:新版本在後臺用您的流量訓練,按您的評估標準評分,只有經過您批准才會上線。該 endpoint 目前僅限受邀使用,我們正在開發一個更簡化的版本,以便更廣泛地開放。

    預約通話,我們會和您一起確定適合團隊的模型、規模和部署方式。

    常見問題

    AI 會取代 SOC 分析師嗎?

    現有證據表明,AI 承擔的是第一輪篩查。在 Alert-Bench 中,最好的協議仍把 18.4% 的告警升級給分析師,ASD 的指南也要求高影響的遏制和響應決定須經人工批准。

    什麼是 AI 告警分診?

    AI 告警分診是用語言模型(通常可以透過工具存取 SIEM)為每條安全告警收集證據,並決定關閉它還是升級給分析師。模型讀取告警、查詢日誌,並記錄推理過程供人複核。

    AI 告警分診要花多少錢?

    截至 2026 年 10 月,已釋出的資料顯示,用 GPT-4.1 做結構化分診每條告警約 0.02 到 0.11 美元,用 Claude Sonnet 做一次完整的代理式調查約 1 到 3 美元。自託管或訓練過的小模型可以同時降低 token 單價和每條告警的 token 用量。

    可以在自己的基礎設施上執行 AI 告警分診嗎?

    可以。在 Alert-Bench 上與 GPT-4.1 打平的開放模型 Qwen3.5 9B,可以執行在您自己的伺服器、雲租戶或物理隔離網路中,告警資料始終留在您的環境裡。


    來源,均於 2026 年 10 月 30 日查閱:Tsegai、Kantchelian、Yao 和 Gao,"From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage"(Alert-Bench,2026 年 10 月 7 日);RunReveal,"AI SOC investigation cost"(2026 年 5 月 28 日);Cyril Simonnet,"220 AI SOCs, sixteen prices"(2026 年 10 月 18 日);Vectra AI,"Alert fatigue";OpenAI API 定價;OpenRouter,Qwen3.5 9B;澳洲訊號局,"Opportunities for AI in cyber defence"(2026 年 9 月 8 日);Chakraborty 等,"CTI-REALM"(2026 年 3 月);Deason 等,"CyberSOCEval"(2025 年);Hugging Face,"Security incident, July 2026"(2026 年 7 月 16 日)。