有一類模型被大多數開發人員忽視。它們太小,無法出現在排行榜上。它們無法寫文章或解微分方程。它們沒有數十億的參數或數萬億的訓練 token。
但它們在手機上運行。它們在瀏覽器標籤頁上運行。它們在售價 $45 的 Raspberry Pi 上運行。它們在微控制器上運行。當您針對一個特定任務對其進行微調時,它 們的執行表現足夠好,可以在生產應用中發布。
不到 3B 參數的模型——少於 30 億參數的模型——是在沒有服務器、沒有網絡連接且沒有按請求 API 成本的情況下工作的 AI 功能的實用基礎。它們是讓「無處不在的 AI」真正成為可能的東西,不是作為營銷口號,而是作為在真實硬件上部署的軟件。
本指南涵蓋 2026 年的不到 3B 模型格局、如何有效微調這些微型模型,以及如何在從 iPhone 到 Raspberry Pi 再到瀏覽器標籤頁的所有設備上部署它們。
不到 3B 模型格局
以下是小參數規模端的可用選項:
| 模型 | 參數 | 大小(Q4_K_M) | 訓練數據 | 關鍵優勢 |
|---|---|---|---|---|
| SmolLM2 135M | 135M | 85 MB | 2T token | 最小可用模型 |
| SmolLM2 360M | 360M | 220 MB | 2T token | 分類專家 |
| SmolLM2 1.7B | 1.7B | 1.0 GB | 2T token | 最佳不到 2B 模型 |
| Qwen 2.5 0.5B | 500M | 350 MB | 18T token | 微型規模的多語言 |
| Qwen 2.5 1.5B | 1.5B | 900 MB | 18T token | 質量/大小平衡 |
| Qwen 2.5 3B | 3B | 1.9 GB | 18T token | 不到 3B 範圍頂端 |
| Gemma 3 1B | 1B | 700 MB | - | Google 的高效 1B |
| Phi-3.5 Mini | 3.8B | 2.3 GB | 3.3T token | 此規模最強的推理能力 |
由 Hugging Face 開發的 SmolLM2 值得特別關注。1.7B 模型專門為邊緣部署設計——它使用具有共享嵌入、分組查詢注意 力和緊湊的 49K 詞彙表的高效架構。結果是一個在專注任務上表現超出其重量級別的模型。
Phi-3.5 Mini 在技術上超過了 3B 截止值,但包含在內,因為它適合類似的部署目標,並且是此規模的最強推理模型。
不到 3B 模型能做什麼和不能做什麼
它們擅長什麼
單標籤分類。 給定一個輸入,將其分配到 N 個類別之一。在 200-500 個示例上微調後,不到 3B 模型在最多 15 個類別的分類任務上達到 88-95% 的準確性。這涵蓋了意圖檢測、情感分析、主題分類、垃圾郵件過濾和內容審核。
命名實體提取。 從文本中提取特定字段:姓名、日期、金額、電子郵件地址、產品 ID。1.5-3B 模型在微調後在提取任務上達到 85-92% 的字段級準確性。不到 1B 的模型是可用的(78-85%)但在複雜或模糊的輸入上表現下降。
短格式文本生成。 生成 1-3 句話作為對輸入的響應。自動補全建議、表單字段推薦、短摘要、樣板文本。將輸出保持在 50 個 token 以下以獲得可靠的質量。
意圖檢測。 從短輸入中理解用戶想要什麼。「我的餘額是多少?」映射到 check_balance。「我想取消」映射到 cancellation。不到 3B 模型非常擅長這個——這是它們最擅長的模式匹配。
二元決策。 是/否、有效/無效、垃圾郵件/非垃圾郵件、適當/不適當。即使是 135M 的 SmolLM2 在微調後也能處理 90% 以上準確率的二元分類。

