2026 年用於裝置端、邊緣與消費級硬體部署的最強小型開放權重模型——在 4B、7B 與 14B 參數規模下，依在手機、筆記型電腦與桌上型 GPU 上進行本地推理的品質排名。
本地部署的小型 LLM 是 2025-2026 年開放權重模型中改進最多的類別。兩年前，任何低於 7B 參數的模型在基本指令遵循上都有困難。如今，2B-4B 模型例行性地提供有用的聊天、摘要與工具使用行為——而最小的可信模型（Gemma 4 e2b、Qwen 3 0.6B、SmolLM）擴展至手機與嵌入式部署。
正確的小型 LLM 取決於您的硬體限制。手機部署（4GB 以下記憶體）需要有效參數低於 2B 的模型。筆記型電腦部署（8-16GB 記憶體）開啟 4B-8B 級。配備消費級 GPU 的桌上型電腦（16-24GB VRAM）可進入 14B 領域，這正是 Phi-4 所在之處。此排名以我們的首選涵蓋每個層級。
2B-4B 規模品質: 同類最佳
Gemma 4 的邊緣變體是 2026 年最強的開放權重小型模型。e2b（約 2B 有效參數）在 Q4_K_M 下約 1.5GB——適合手機、嵌入式裝置與任何 4GB 以上記憶體系統——並在如此小的規模下獨特地支援影像輸入。e4b（約 4B 有效參數）在保持筆電可部署的同時進一步擴展品質。兩者皆以 Apache 2.0 授權發布（Gemma 第一代採用此授權），使商業部署變得輕鬆。對於行動聊天、裝置端助理與基於相機的 AI 應用，目前在 2B 規模下沒有其他開放權重家族能匹敵 e2b。
14B 規模品質: 卓越
微軟的 Phi-4（14B 密集）是 14B 級別最強的小型開放權重模型。對其參數量而言不尋常的是，它在數學與程式碼推理基準測試上能與大得多的模型競爭，這要歸功於合成訓練資料的精心策劃。MIT 授權完全寬鬆，14B 規模在全精度下適合單張 24GB GPU，或在 Q4_K_M 下適合 12GB GPU（約 8GB）。對於配備獨立 GPU 的筆記型電腦與現代桌上型部署，Phi-4 命中能力與資源效率的甜蜜點。
跨尺寸覆蓋: 最多變體選項
Qwen 3 的較小變體（0.6B、1.7B、4B、8B）涵蓋整個小型模型部署範圍，比任何其他系列更全面。0.6B 變體在某些受限環境下可實現連 Gemma 4 e2b 都無法觸及的手機部署。4B 與 8B 變體是筆電等級與入門桌機部署的主力選擇。Apache 2.0 授權結合廣泛的多語言覆蓋（119 種語言）使其對國際面向消費者的產品特別具有吸引力。
生態系統成熟度: 同類最佳
Llama 3 8B 是本地 LLM 部署的主力選擇——一個 2024 年代的模型，背後有多年的社群微調、部署配方與整合文件。8B 變體在 Q4_K_M 下約 4.5GB，能舒適地適配任何現代筆記型電腦或消費級 GPU。雖然在絕對能力上不及較新的 8B 級模型，但生態系統成熟度使其成為大多數團隊取得可運作本地部署的最低摩擦路徑。
最小尺寸級: 1B 以下領先者
SmolLM（Hugging Face）瞄準最小的部署規模——135M、360M 與 1.7B 參數變體專為極低資源環境設計。雖然在絕對能力上無法與更大模型競爭，但 SmolLM 是嵌入式系統、瀏覽器內推理與微控制器級部署的正確選擇，這些情境下連 Gemma 4 e2b 也太大。Apache 2.0 授權使其在商業上可行。
我們在三個等權重的軸線上評估小型 LLM：參數規模下的品質（每參數能力，而非絕對能力）、部署經濟效益（標準量化下的記憶體佔用、消費級硬體上的推理速度），以及授權寬鬆度（Apache 2.0 / MIT 優於商業使用的限制性授權）。我們刻意權衡真實世界本地部署模式——Ollama / llama.cpp / LM Studio / MLX 支援——而非僅看合成基準測試。
對於手機與嵌入式部署，Gemma 4 e2b 是明確之選——其在 2B 規模下的多模態支援是獨一無二的。對於筆電級部署，Qwen 3（4B-8B 變體）與 Llama 3 8B 都是強勁選擇，取決於您優先考慮多語言覆蓋（Qwen）或生態系統成熟度（Llama）。對於 14B 以下的桌上型 GPU 部署，Phi-4 為其尺寸級提供卓越能力。SmolLM 觸及大型模型根本無法適配的嵌入式 / 瀏覽器推理範圍。一如既往，在 Ertas Studio 中針對您特定領域微調這些小型模型，可大幅放大其有效能力，超越基礎模型本身所能提供的水準。
Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.