AI 代理適用的小型語言模型，是依 NVIDIA 的工作定義參數量大約在 100 億以下的精簡模型，用來接手代理中那些範圍窄、反覆出現的步驟：選擇工具、擷取欄位、為請求分類、整理回覆格式。NVIDIA Research 在《Small Language Models are the Future of Agentic AI》一文中主張，這類模型足以勝任其中大多數步驟，更適 合這些步驟，執行成本也更低。我們同意論文的大部分觀點，我們自己的測量也在一個明確的任務上支持它的核心主張。我們的限定都屬於工程問題：每個步驟需要多大的模型，哪些最佳化能守住品質標準，以及呼叫量達到多少時，執行自己的模型會比前沿模型 API 更划算。
本文先依原文整理論文的論證，再說明我們的證據在哪些地方與之一致、我們會補充哪些細節、截至 2026 年 10 月有哪些開放模型系列適合代理工作，以及小型語言模型如何用於企業代理。
什麼是 AI 代理適用的小型語言模型？
AI 代理適用的小型語言模型（SLM），是小到能在一般裝置或單台中等規格伺服器上執行、並針對代理交給語言模型的窄任務做過訓練或調校的模型。NVIDIA 的論文依執行位置來定義 SLM：能裝進常見的消費性電子裝置，推論延遲又低到足以實際服務單一使用者的代理請求。以參數量來說，作者表示，就 2025 年的情況，他們願意把大多數 100 億參數以下的模型視為 SLM。
代理每完成一項任務，都會向語言模型發出許多請求。其中一些 API 呼叫需要開放式推理或對話。更多的則很窄：選一個工具並填好參數，從文件擷取欄位，為請求分類，摘要一筆紀錄，依固定結構回傳 JSON。小模型適合的正是這些窄的 API 呼叫。
「小型語言模型」是論文用的說法，也是大家搜尋時用的詞。在我們自己的工作中，我們依模型做什麼來描述成果：一個任務專用模型，為一項工作而訓練，規模定在能守住這項工作品質標準的最小模型。
NVIDIA 的論文主張什麼？
這是一篇立場論文，作者是 NVIDIA Research 與喬治亞理工學院的 Peter Belcak 及其七位同事（arXiv 2506.02153，2025 年 6 月 2 日首次發布，第 3 版發布於 2026 年 9 月 22 日）。用論文自己的話說，它的核心主張是 SLM "sufficiently powerful, inherently more suitable, and necessarily more economical for many invocations in agentic systems, and are therefore the future of agentic AI"（足夠強大、本質上更合適，而且在代理系統的許多呼叫中必然更經濟，因此是代理式 AI 的未來）。
論文以三個觀點支撐這項主張：
| 觀點 | 主張要點 | 主要依據 |
|---|---|---|
| V1，能力 | 小模型能處理大多數代理請求 | Phi、Nemotron-H、SmolLM2 與 xLAM-2 的已發表結果 |
| V2，適配 | 小模型更適合代理工作 | 任務窄、格式嚴格、可以混用模型 |
| V3，經濟性 | 小模型在大多數代理請求上成本更低 | 服務成本更低，微調更快 |
展開來說，論文認為 SLM 原則上足以完成代理應用中的語言建模任務，在代理系統中本質上比 LLM 更適合營運，並且在代理系統絕大多數的語言模型用途上必然更經濟。在能力方面，它引用了 Phi、Nemotron-H、SmolLM2、Hymba、DeepSeek-R1-Distill、RETRO 與 xLAM-2 的已發表結果。在經濟性方面，它認為服務一個 7B 模型在延遲、能耗與 FLOPs 上比 70B 到 175B 的模型便宜 10 到 30 倍，而微調一個小模型只需幾個 GPU 小時。
論文中針對代理的論證，主要落在四點：
- 代理只用到模型的一小部分能力。 論文把代理描述為一個經過大量指令約束、由外部編排的語言模型入口，並認為針對選定提示詞適當微調過的小模型就足夠了。
- 代理每次都需要同一種輸出格式。 工具呼叫與要被程式解析的輸出必須符合嚴格的結構。以單一格式訓練出的模型，比偶爾換一種格式作答的通用模型更適合這項工作。
- 代理可以混用模型。 代理程式碼發出的每個請求都可以交給不同的模型，所以論文主張採用異質系統：預設使用 SLM，只在必要時有選擇地少量呼叫 LLM。
- 代理的流量就是訓練資料。 每一筆被記錄下來的模型請求都是日後改進的天然資料來源，這讓訓練一個專家小模型成為部署代理的自然一步。
論文最後提出一個從 LLM 轉換到 SLM 的六步演算法：安全地記錄代理對模型的請求，整理資料並移除個人與敏感資訊，把請求分群為反覆出現的任務，挑選候選小模型，針對每項任務進行微調，再定期以新資料重新訓練。附錄估算了三個開源代理中可由專門化 SLM 可靠處理的 LLM 查詢比例：MetaGPT 約 60%，Open Operator 約 40%，Cradle 約 70%。
論文也回應了批評者。它承認，在通用語言理解上，同一世代的大模型勝過小模型，但它回應說，小模型可以很容易地針對具體任務微調，達到所需的可靠度。在經濟性上它比較謹慎。對於「集中部署的 LLM 靠規模經濟仍然比較便宜」這項反方觀點，論文稱之為 "a valid view, with the exact economical considerations being highly case-specific"（一個合理的觀點，確切的經濟考量高度取決於個案），並表示這個問題尚無定論。
我們的證據在哪些地方與論文一致？
在一個明確的任務上，我們的測量支持論文關於能力與經濟性的觀點：為這項工作訓練的模型，以通用模型一小部分的規模守住了品質標準，而成本上的優勢來自兩個維度。
訓練過的模型在一個基準上得分高於託管專有模型。 我們的 QMSum 研究（arXiv 2609.25028）在完整的 281 筆查詢測試集上，以同一套實作為以查詢為導向的會議摘要評分。參數量為 4.06 億與 12 億的訓練模型分別得到 36.33 與 35.41 的 ROUGE-1。五個託管專有模型以零樣本方式、在同一條簡潔提示詞下執行，得分介於 27.89 到 32.43。這些限制很重要：託管模型寫出的答案比較長，這在以參考文本重疊度計算的指標上會拉大差距；研究沒有做人工評估或事實性評估；結論僅限於 QMSum 與自動指標。QMSum 上最強的已發表系統在各自論文中回報的分數更高，最高為 38.82 ROUGE-1。
訓練比規模更重要。 在同一個 12 億參數的基礎模型內，以模型推論時實際讀取的檢索逐字稿片段進行微調，使 ROUGE-1 提高了 5.29（95% 區間為 +4.02 到 +6.56）。以同樣方式訓練的 4.06 億參數模型得到 36.33，而 12 億參數系統為 35.41，QMSum 無法在統計上區分這個差異，而前者的推論峰值記憶體不到後者的一半。在一個任務上，這正是論文對批評者的回應：為任務訓練的小模型能達到任務所需的可靠度。
支出集中在代理反覆執行的任務上。 在 OpenRouter 截至 2026 年 10 月 12 日的 30 天公開資料中，分類、擷取與轉換合計占已分類模型支出的 20.8%，而在這些任務裡，閉源前沿模型占前十名模型支出的 75% 到 87%。論文所說代理交給語言模型的，正是這類範圍窄、可檢驗的工作。這些資料描述的是市場活動：它指出該從哪裡著手，每個買家仍需估算自己能省下多少。
成本從兩個維度下降。 論文的經濟性論證建立在每個 token 的價格上，因為較小的模型服務成本較低。訓練過的模型每項任務送出的 token 也比較少。論文描述的代理，靠精心撰寫的提示詞與細緻編排的脈絡管理維持運作；一旦把這些提示詞裡反覆出現的指令、流程與範例訓練進模型，它們就不必再送出，只剩下每個請求自己的資料。訓練過的模型還可以直接作答，不需要冗長的推理過程。第二項節省有多大，取決於每條提示詞中有多少是重複的固定內容，以及您目前的模型是否對推理 token 計費。前沿模型 API 已經透過提示詞快取對重複輸入打折，所以和快取做得好的方案相比，輸入端的節省會小一些。我們的開放權重模型與前沿模型比較依牌價完整試算了這兩個維度。
我們會對論文補充哪些限定？
論文指出了方向。一個團隊要把小模型放進正式環境的代理，仍有三個工程與經濟問題需要回答，每一個都要在自己的任務上透過測量來確定。
模型應該多小。 論文的定義給出了上限：任何能裝進消費性裝置的模型。在這個上限之內，合適的規模因步驟而異。在我們的 QMSum 研究中，4.06 億參數模型與 12 億參數模型的差距落在該基準的解析範圍之內；而論文自己的案例研究，把規劃、除錯與錯誤復原留給了更大的模型。規模是評估得出的結果：用您的範例訓練兩三個不同規模的候選模型，保留能守住品質標準的最小那個。
哪些最佳化能守住標準。 論文提到了微調、推論時運算、工具使用與路由。我們的結果補充了一點：訓練資料必須和代理實際收到的輸入一致。一個已公開發布的 4.06 億參數摘要模型，在輸入從長篇逐字稿換成我們流程提供的檢索片段後，ROUGE-1 下降了 6.30；以新的輸入對它微調後，損失得以恢復。只要代理的檢索、工具或提示詞改變，它的輸入就會跟著改變，所以專家模型要用它現在看到的輸入重新訓練。檢索、量化與路由都會影響成本與品質，每一項都要用同一套評估集來檢驗。
成本交叉點在哪裡。 論文沒有給出答案，而這正是該問的問題。小模型每個 token 的服務成本較低，但一個專用模型還要負擔訓練、託管、負載平衡與維運人員的成本，論文也承認這高度取決於個案。呼叫量低的時候，前沿模型 API 往往總成本較低。前沿實驗室也提供低價方案，以每個 token 計價可能比託管的開放模型還便宜；面對這些方案，優勢就在於每項任務更少的 token 與品質。交叉點是一個呼叫量，您可以在動手建置之前，用目前的 token 用量與價格，藉助單一任務成本計算器估算出來。
該測量什麼。 論文指出，小模型的開發沿用了和 LLM 相同的通用基準，並把這列為推廣的障礙之一。排行榜分數很難說明代理某一個步驟的表現。請用代理自己的請求與預期輸出建立評估集，用它為每個候選模型評分，不論大小。我們的領域專用 LLM 評估指南以 QMSum 研究的流程為實例，說明具體做法。
AI 代理適用的最佳小型語言模型有哪些？
對代理的某個步驟來說，最好的小型語言模型，是以您自己的範例訓練之後能守住品質標準、且授權允許您使用的最小模型。作為起步候選，下列開放模型系列都發布了 100 億參數以下的規模，並在各自的模型卡上寫明了代理相關功能（2026 年 10 月 30 日查閱）：
| 系列（開發方） | 100 億參數以下的規模 | 授權 | 脈絡視窗 | 模型卡上寫明的代理功能 |
|---|---|---|---|---|
| Qwen3.5（阿里巴巴 Qwen 團隊） | 0.8B、2B、4B、9B | Apache 2.0 | 262,144 tokens | "Qwen3.5 excels in tool calling capabilities" |
| Gemma 4（Google DeepMind） | E2B、E4B（有效參數 2.3B 與 4.5B） | Apache 2.0 | 128K tokens | "native function-calling support" |
| Ministral 3（Mistral AI） | 3B、8B | Apache 2.0 | 256k tokens | "native function calling and JSON outputting" |
| Granite 4.2（IBM） | 3B、8B | Apache 2.0 | 128K tokens，可延伸至 512K | 把工具呼叫與代理工作流程列為擅長方向 |
| Nemotron 3 Nano 4B（NVIDIA） | 4B | NVIDIA Nemotron Open Model License | 最多 262K tokens | 推理可關閉；提供工具呼叫的建議參數 |
| SmolLM3（Hugging Face） | 3B | Apache 2.0 | 以 64k 訓練，藉助 YaRN 可達 128k | "SmolLM3 supports tool calling!" |
新版本發布得很頻繁（Granite 4.2 的模型卡寫明發布日期為 2026 年 8 月 25 日），所以看任何清單都要留意日期，這一份也一樣。授權也各不相同。這些系列大多採用 Apache 2.0，而 NVIDIA 的模型使用它自己的開放模型授權，商用前請先閱讀條款。如果想從企業角度比較授權與規模，請參閱我們的企業小模型比較。
比模型卡更重要的是三項檢查：
- 格式。 以您的範例訓練之後，模型能否準確輸出您要的工具呼叫或 JSON 格式？
- 推理。 關閉推理後，它還能守住您的品質標準嗎？其中幾款模型預設會先思考再作答，而推理 token 會計入每項任務的成本。
- 授權。 授權是否允許您的用途，包括在商業產品中提供該模型的服務？
小型語言模型能用於企業代理了嗎？
對於範圍窄、反覆出現、可檢驗的步驟，企業代理適用的小型語言模型已經可以使用，前提是每個步驟都以企業自己的範例訓練與評估過。它們帶來三項實際好處：每項任務成本更低；延遲低到足以支撐串接多個步驟的代理；部署位置可以自行選擇，因為小模型既能放在託管服務上，也能放進企業自己的雲端或地端。論文中的轉換步驟也帶來企業層面的要求：加密日誌並依角色控管存取，在任何資料變成訓練資料之前先移除個人與敏感資訊。
企業代理仍然需要大模型。開放式對話、跨多個步驟的規劃與不尋常的請求，可以繼續交給前沿模型，由訓練過的專家模型承擔大部分呼叫量，這正是論文建議的異質設計。關於在地端執行小模型，請參閱企業適用的小型語言模型。關於在大小模型之間路由，請參閱 SLM 優先架構。
如何把 AI 代理從 LLM 遷移到小型語言模型？
從一個反覆出現的步驟開始，把它記錄下來，等訓練過的模型在您的評估中守住標準後再切換：
- 記錄代理對模型的請求。 為在背景執行的步驟記錄輸入、輸出與工具呼叫，同時設好存取控管並移除個人資料。
- 找出反覆出現的步驟。 把請求歸為重複出現的任務，例如工具選擇、擷取、分類或摘要某一類文件。
- 先挑呼叫量最大、結果可檢驗的任務。 呼叫量決定能省多少，可檢驗的輸出則給出清楚的品質標準。
- 在訓練之前建立評估集。 為真實請求收集預期輸出，用同樣的方法為目前模型與每個候選模型評分。
- 訓練兩三個規模，保留能守住標準的最小模型。
- 把這個步驟路由給專家模型。 其餘部分繼續使用大模型，當這個步驟的輸入改變時重新訓練。
這沿用了論文的演算法，只是把評估集提到了最前面。關於什麼時候一項任務值得擁有自己的模型，請參閱基礎模型與任務專用模型。
Ertas 是一家應用型 AI 實驗室，為此提供自適應模型端點：一個用您的代理工作訓練的模型，透過相容 OpenAI 的 API 提供服務，每次發布新版本前都要經過評估。新版本在背景用您的代理程式流量訓練，依您的評估評分，只有經您核准才會上線。如果新版本沒有達到標準，目前的模型會繼續服務。它可以由 Ertas 託管，也可以部署在您自己的雲端或地端，您的資料始終保持私密。該端點目前僅限受邀企業使用，我們正在開發一個更精簡的版本，讓更多企業可以接入。關於這個循環如何運作，請參閱 AI 代理的持續學習。
常見問題
什麼樣的模型算小型語言模型？
NVIDIA 的論文依執行位置來定義：能裝進常見的消費性裝置，回應速度又足以服務單一使用者的代理。以參數量來說，作者把界線定在 2025 年時的大約 100 億。各家廠商對這個標籤用得比較寬鬆，比較兩種說法之前，先弄清楚「小」具體指什麼。
小型語言模型能做工具呼叫嗎？
能。截至 2026 年 10 月，Qwen3.5、Gemma 4、Ministral 3、Granite 4.2 與 SmolLM3 都在模型卡上寫明支援工具呼叫或函式呼叫，NVIDIA 的論文也引用了 Salesforce 的 xLAM-2-8B，稱其在工具呼叫上超越 GPT-4o 與 Claude 3.5。請測試您的代理實際使用的格式；如果基礎模型偏離這個格式，就用您自己的工具結構來訓練它。
小型語言模型會在 AI 代理中取代 LLM 嗎？
論文認為在許多步驟上會。它估計，三個開源代理中有 40% 到 70% 的 LLM 查詢可以轉給專門化的小模型。開放式的工作仍歸大模型：對話、規劃，以及從意外狀態中復原。論文建議的設計是兩者混用。
小型語言模型有哪些例子？
Qwen3.5-4B、Gemma 4 E4B、Ministral 3 8B、Granite 4.2 3B 與 SmolLM3-3B 都是開放權重的小型語言模型。任務專用的例子是我們 QMSum 研究中的 4.06 億參數會議摘要模型，它只為一項工作而訓練，並隨論文一同發布。
小型語言模型用於 AI 代理比較便宜嗎？
以每個 token 計算，通常比較便宜：論文認為服務一個 7B 模型在延遲、能耗與運算量上比 70B 到 175B 的模型便宜 10 到 30 倍。以每項任務計算，訓練過的模型送出的 token 也比較少，因為每條提示詞裡重複的指令已經訓練進模型。總成本取決於呼叫量，因為專用模型要負擔訓練與託管成本。單一任務成本計算器可以用您的數字算出交叉點。
簡短版
NVIDIA 的論文認為，代理向語言模型提出的大多數請求範圍窄且反覆出現，為這些步驟訓練的小模型能力足夠、更合適，也更便宜。在一個明確的任務上，我們的結果與之一致：一個訓練過的 4.06 億參數模型與規模約為它三倍的模型之間的差距落在基準的解析範圍之內，兩個訓練模型在 ROUGE-1 上都高於五個託管專有模型，相關限制見上文。懸而未決的是工程與經濟問題：每個步驟的合適規模，能守住標準的最佳化手段，以及呼叫量達到多少時自己的模型會比 API 更划算。這些問題都由您自己的評估集來回答。
想看更全面的比較，請參閱開放權重模型與前沿模型。
資料來源（2026 年 10 月 30 日查閱）：Belcak 等人，"Small Language Models are the Future of Agentic AI"（arXiv 2506.02153v3，2026 年 9 月 22 日）及其 NVIDIA Research 頁面；模型卡：Qwen3.5-4B、Gemma 4 E4B、Ministral 3 8B、Granite 4.2 8B、Nemotron 3 Nano 4B 與 SmolLM3-3B。我們的研究：QMSum 研究與 OpenRouter 結構化任務報告。