單步驟 AI 代理是一個已解決的問題。用戶說一些事情,模型選擇一個工具,工具返回一個結果。微調的 7B 模型可靠地處理這個問題——我們在工具呼叫微調指南中已經深入介紹了這一點。
多步驟代理是不同的。模型需要規劃一系列動作、在步驟之間追蹤狀態、處理鏈中的錯誤,並決定任務何時完成。這是小型模型歷來崩潰的地方:它們失去上下文、重複步驟、產生工具呼叫幻覺或無限循環。
但「歷來」在那句話中承擔了很多工作。通過正確的架構模式,多步驟代理今天在本地 7B-14B 模型上可靠地運行。本指南涵蓋三種已驗證的模式、真實基準測試,以及使其有效的工程細節。
核心挑戰:為什麼多步驟對小型模型很難
單步驟代理需要一項技能:將用戶意圖映射到工具呼叫。多步驟代理至少需要四項:
- 規劃 — 將目標分解為有序步驟
- 執行 — 在每個步驟使用正確的參數呼叫正確的工具
- 狀態追蹤 — 將步驟 N 的結果帶入步驟 N+1
- 錯誤恢復 — 偵測失敗並在重試、跳過或升級之間做出決定
通用 7B 模型掙扎,因為它們是在廣泛的任務上訓練的,而不是在順序推理鏈上。在 2-3 個步驟後,注意力視窗變得嘈雜。模型「忘記」了它已經做了什麼或計劃做什麼。
解決方法不是更大的模型。解決方法是更好的架構。
模式 1:微調專家鏈
不是讓一個模型做所有事情,而是將代理分成專門角色:
用戶請求 → 路由器 → 規劃器 → 執行器 → 驗證器 → 回應
每個模型都很小,但專注:
- 路由器(分類):確定請求類型。這是訂單嗎?支援查詢嗎?資料查詢嗎?這是一個簡單的分類任務——即使是 1B 模型也能處理。
- 規劃器(分解):接受分類的請求並輸出有序步驟列表。在你的特定工作流程上微調,它不需要規劃任意任務——只需要你的任務。
- 執行器(工具呼叫):一次處理一個步驟並產生工具呼叫。這是單步驟工具呼叫——已解決的問題。
- 驗證器(驗證):檢查累積的結果。所有必需的字段都存在嗎?輸出是否與預期架構匹配?標記重試或升級的問題。
為什麼這在小型模型上有效
每個專家都在狹窄的任務上微調。路由器看到數千個「這種輸入類型映射到這個類別」的例子。規劃器看到數千個「這個類別分解為這些步驟」的例子。沒有單個模型需要保持完整的推理鏈。
權衡
延遲。四個序列的模型呼叫意味著單次呼叫推理時間的 4 倍。在本地 GPU 上,每次 7B 模型推理需要 200-500ms(取決於上下文長度和量化)。4 步鏈總共是 0.8-2.0 秒。
對於大多數業務工作流程,這沒問題。對於實時聊天,這是明顯的。緩解方法:在依賴圖允許的地方並行運行專家。

