2026 年最佳裝置端行動 AI 模型

小型語言模型的生態系統已經快速成熟。2024 年，裝置端模型還只是實驗性的新奇事物。到了 2026 年，來自 Meta、Google、Microsoft 和 Alibaba 的多個模型系列在 1-3B 參數範圍內提供了生產級的效能。

所有這些模型都可以量化為 GGUF 格式，並透過 llama.cpp 部署到行動裝置上。問題在於哪一個最適合你的使用場景。

候選模型

Llama 3.2（Meta）

• 尺寸： 1B、3B
• 授權條款： Llama 社群授權（允許商業使用，月活躍用戶超過 7 億時有部分限制）
• 訓練資料： 9T tokens
• 上下文視窗： 128K
• GGUF Q4 大小： 約 600MB（1B）、約 1.7GB（3B）

Llama 3.2 是專為行動和邊緣部署而設計的。1B 和 3B 變體是從較大的 Llama 3.1 模型蒸餾而來，在小型封裝中保留了令人驚豔的能力。

優勢： 強大的通用能力、出色的指令遵循能力、龐大的社群和生態系統、經過充分測試的 GGUF 轉換、強大的微調支援。

劣勢： 社群授權有 7 億月活躍用戶的門檻（超過此數需聯繫 Meta）。多語言任務的表現略遜於 Qwen。

Gemma 3（Google）

• 尺寸： 1B、4B
• 授權條款： Gemma 使用條款（允許商業使用）
• 上下文視窗： 32K（1B）、128K（4B）
• GGUF Q4 大小： 約 600MB（1B）、約 2.3GB（4B）

Google 的 Gemma 3 相比 Gemma 2 有顯著改進，特別是在指令遵循和推理能力方面。4B 模型在基準測試中的表現超越其體量。

優勢： 相對其大小有強大的推理能力（尤其是 4B）、良好的多語言支援、寬鬆的授權條款、針對推論良好最佳化。

劣勢： 4B 模型比行動端典型的 3B 目標更大。1B 變體在大多數基準測試中能力不如 Llama 3.2 1B。微調社群較小。

Phi-4 Mini（Microsoft）

• 尺寸： 3.8B
• 授權條款： MIT（完全開放）
• 上下文視窗： 128K
• GGUF Q4 大小： 約 2.2GB

Microsoft 的 Phi 系列專注於訓練效率，透過使用高品質合成訓練資料，從較小的模型中提供強大的效能。

優勢： MIT 授權（無限制）、強大的推理和數學能力、出色的結構化輸出、相對其大小有良好的程式碼生成能力。

劣勢： 只有一個適合行動端的尺寸（3.8B），沒有 1B 變體來實現超廣泛的裝置覆蓋。記憶體使用量略高於真正的 3B 模型。

Qwen 2.5（Alibaba）

• 尺寸： 0.5B、1.5B、3B、7B
• 授權條款： Apache 2.0（完全開放）
• 上下文視窗： 128K
• GGUF Q4 大小： 約 300MB（0.5B）、約 900MB（1.5B）、約 1.7GB（3B）

Qwen 在單一模型系列中提供最廣泛的尺寸範圍。0.5B 和 1.5B 模型在資源極度受限的裝置上具有獨特定位。

優勢： Apache 2.0 授權（最寬鬆）、最佳的多語言支援（尤其是中日韓語言）、最廣泛的尺寸範圍、強大的程式碼能力。

劣勢： 與 Llama 相比，西方社群較小。部分基準測試顯示在同等尺寸下，英語效能略低於 Llama。

基準測試比較

通用能力（MMLU - 基礎模型）

指令遵循（IFEval）

微調後（領域特定任務）

基礎模型之間的基準差異在使用領域資料微調後會顯著縮小。基礎模型 MMLU 中 5 分的差距，在使用相同領域資料集進行 LoRA 微調後通常會縮小到 1-2 分。

這意味著基礎模型的選擇不如微調品質重要。選擇授權條款、生態系統和微調工具最適合你需求的模型即可。

實用建議

最佳綜合選擇：Llama 3.2

對於大多數行動應用程式，Llama 3.2 是預設選擇。1B 和 3B 模型兼顧了廣泛的裝置相容性和品質生成。生態系統是最大的（最多的微調指南、最多的 GGUF 轉換、最多的社群支援）。使用 LoRA 進行微調有完善的文件記錄，且受到每個主要訓練框架的支援。

最佳多語言選擇：Qwen 2.5

如果你的應用程式服務多種語言的使用者（尤其是中文、日文、韓文、阿拉伯文），Qwen 的多語言訓練資料賦予它明顯的優勢。0.5B 模型在資源極度受限的裝置上或速度比品質更重要的任務中也具有獨特價值。

最佳授權條款：Qwen 2.5 或 Phi-4 Mini

如果授權的簡潔性很重要（大型企業、月活躍用戶不確定的應用程式），Qwen 的 Apache 2.0 或 Phi-4 的 MIT 授權消除了任何模糊空間。Llama 的社群授權是寬鬆的，但有 7 億月活躍用戶的條款。

最佳推理能力：Phi-4 Mini

對於需要更強推理、數學或結構化輸出的任務，Phi-4 Mini 在 3-4B 範圍內領先。代價是沒有 1B 變體，且模型稍大（3.8B 對比 3B）。

最適合微型裝置：Qwen 2.5 0.5B

唯一適合 2-3GB RAM 裝置或需要最大化推論速度（100+ tok/s）的任務的可行選項。品質有限但足以應對分類和簡單擷取任務。

微調的均衡效果

基礎模型的基準測試在選擇時很有用，但在微調後變得不那麼重要。當你在 500-5,000 個領域特定範例上微調任何這些模型時：

• 分類準確率會收斂到 90-96%，與基礎模型無關
• 領域特定問答品質的差距縮小到 2-3 分
• 指令遵循能力在所有模型上都有提升

實際的選擇標準變成：

1. 授權相容性 與你的業務
2. 尺寸可用性（你是否需要 1B 來實現廣泛覆蓋？）
3. 微調生態系統（工具、社群、文件）
4. 多語言需求

像 Ertas 這樣的平台支援所有主要模型系列的微調。上傳你的訓練資料、選擇基礎模型、使用 LoRA 訓練，並匯出 GGUF。無論你選擇哪個基礎模型，匯出過程都完全相同。

總結表

除非你有特定的理由選擇其他模型，否則從 Llama 3.2 開始。在你的資料上微調。在你的基準上測試。在你的評估集上表現最佳的模型就是正確的選擇，無論通用基準測試結果如何。

Ship AI that runs on your users' devices.

Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.

View early bird pricingor join the waitlist →