2026 年最適合微調的開源模型

十二個月前，「我應該微調哪個模型？」的答案很直接：大多數情況下 Llama 3 8B，如果想換換口味可以用 Mistral 7B。2026 年的格局更具競爭性、更細緻——坦白說，對從業者更好。您有四個嚴肅的模型系列可以選擇，每個都有真正的優勢。

本指南將幫助您為您的特定用例做出正確的選擇。不含糊其辭。有基準測試、硬體要求和許可現實支持的具體建議。

2026 年開源格局

四個模型系列主導了 2026 年的開源微調生態系統：

• Llama 3.x（Meta）：1B 與 3B 來自 Llama 3.2，8B 與 405B 來自 Llama 3.1，70B 來自 Llama 3.1 與 Llama 3.3
• Qwen 2.5（Alibaba）— 0.5B、3B、7B、14B、32B、72B 參數
• Gemma 3（Google）— 1B、4B、12B、27B 參數
• Mistral（Mistral AI）— 7B、8x7B（Mixtral）參數

每個系列對品質-大小取捨採用不同的方法，每個都有使其更適合某些用例的不同特性。

正面比較

基礎品質

在標準基準（MMLU、HumanEval、GSM8K、HellaSwag）上，以下是模型系列在最流行大小上的表現：

7-8B 層級（主力大小）：

*Gemma 3 最接近這個層級的大小是 12B，這在這個比較中給了它參數優勢。

關鍵結論： Qwen 2.5 7B 在大多數基準上略勝 Llama 3.1 8B。Gemma 3 12B 很強，但需要更多記憶體。Mistral 7B 在原始基準性能上落後了。

小型層級（1-4B，用於邊緣和移動）：

關鍵結論： 在小端，Qwen 和 Gemma 領先。Qwen 2.5 0.5B 是您需要低於 1B 參數的模型時唯一可行的選項。

大型層級（27-72B，最高品質）：

關鍵結論： Qwen 2.5 72B 是微調最強的開源模型。Llama 3.3 70B 是緊隨其後的第二名。Gemma 3 的上限是 27B，這限制了其天花板。

微調友好性

不是所有的模型都同樣容易微調。這對大多數從業者來說比基準更重要。

Llama 3.3： 出色的微調生態系統。最多的教程、最多的社區示例、最多經過實戰測試的 LoRA 配置。如果您遇到問題，有人已經在 GitHub 上解決了它。聊天模板有充分的文件且一致。LoRA 通常在標準超參數下 3-5 個 epoch 收斂。

Qwen 2.5： 非常好的微調支持。Qwen 團隊提供官方微調腳本和推薦的超參數。聊天模板清晰且結構良好。一個優點：Qwen 模型傾向於需要更少的訓練示例來收斂，可能是由於其訓練數據混合。LoRA 訓練穩定且可預測。

Gemma 3： 良好但有注意事項。Google 的分詞器和聊天模板與 Llama/Qwen 的約定不同。如果您從基於 Llama 的工作流遷移，預計需要調整您的數據預處理。一些從業者報告說 Gemma 模型對學習率選擇略微更敏感。也就是說，一旦您調整了超參數，訓練是穩定的。

Mistral 7B： 微調工作良好，但生態系統已停滯。更少的最近教程，更少的社區創新。Mixtral 8x7B 混合專家架構增加了 LoRA 微調的複雜性，因為您需要決定要針對哪些專家。除非您有選擇 Mistral 的特定原因，否則不推薦。

GGUF 匯出和本地部署

對於通過 Ollama、LM Studio 或 llama.cpp 的生產部署，GGUF 匯出品質很重要。

Llama 3.3： 黃金標準。GGUF 轉換是無縫的。量化版本（Q4_K_M、Q5_K_M、Q8）在所有大小上都工作良好。llama.cpp 項目優先考慮 Llama 兼容性，所以新的優化首先在這裡落地。

Qwen 2.5： 出色的 GGUF 支持。Qwen 模型乾淨地轉換並且量化良好。Q4 量化的性能很強——通常在下游任務上保留 95% 以上的全精度品質。

Gemma 3： 良好的 GGUF 支持，但在 llama.cpp 中的新功能方面偶爾落後於 Llama/Qwen。量化品質在所有大小上都很穩固。

Mistral 7B： 標準 7B 模型的良好 GGUF 支持。Mixtral 8x7B MoE 架構在 GGUF 格式中有些怪癖——它有效，但與密集模型相比，量化版本可能表現不可預測。

硬體要求

全精度推理和 LoRA 微調的 VRAM 要求：

實際說明： 這張表適用兩個不同的上限，值得分開來看。

硬體上限是模型不再放得進單張顯示卡的那個點。使用 QLoRA（量化 LoRA）把基礎權重保持在 4 位元時，7-8B 這一層可以在單張 12-16 GB 的 GPU 上輕鬆訓練。這個技巧能延伸的範圍比多數人以為的更遠：把 70B 的基礎模型量化後，會從 140 GB 降到約 35-40 GB，因此 70B 的 QLoRA 剛好塞得進單張 48 GB 的卡，餘裕不多。至於上表那一欄的標準 LoRA 70B，就是 160 GB 那個數字，確實需要多 GPU 機器。

Ertas 的上限更低，而且它才是決定你在這裡能訓練什麼的那一個：託管層級大約到 8B 為止，所以 12B 以下的每一列都是可訓練目標，之上的則是部署或比較用的參考。兩個數字都有用，而它們是不同的數字。

社區和生態系統

Llama 3.3： 迄今為止最大的社區。Hugging Face 有 10,000+ 個基於 Llama 的微調模型。每個微調工具（Unsloth、Axolotl、Ertas）都將 Llama 作為一等公民支持。如果您需要幫助，社區是龐大的。

Qwen 2.5： 快速增長。在 Hugging Face 和中文 ML 社區有強大的存在。官方文件很詳細且有英文版本。社區比 Llama 的小，但技術性很高。

Gemma 3： 中等社區。Google 提供了可靠的文件和 Colab 筆記本。社區較小且更分散，部分原因是 Gemma 不寻常的大小層級（1B、4B、12B、27B）與大多數工具構建的標準 7B/13B/70B 生態系統不一致。

Mistral 7B： 社區自 2024 年以來已衰退。更少的新微調變體正在發布。Mistral AI 的重點已轉向其商業 API 產品，開源社區已注意到這一點。

許可條款

這是決策在法律上變得有趣的地方。

Llama 3.3 — Meta 社區許可：

• 免費商業使用
• 如果您的產品每月活躍用戶超過 7 億，您需要 Meta 的單獨許可
• Meta 的可接受使用政策禁止某些用例（武器、監控等）
• 您必須包含許可通知和歸屬

Qwen 2.5 — Apache 2.0：

• 此比較中最寬鬆的許可
• 完全的商業使用、修改和分發
• 沒有用戶數量限制
• 沒有可接受使用政策限制
• 這是真正的開源許可

Gemma 3 — Google 使用條款：

• 免費商業使用
• 必須遵守 Google 的禁止使用政策
• 不能使用輸出來訓練競爭性模型（這個條款有爭議）
• 必須包含模型卡和許可通知
• 允許帶歸屬的修改版本重新分發

Mistral 7B — Apache 2.0：

• 與 Qwen 相同的寬鬆條款
• 完全的商業使用和修改
• 除標準 Apache 2.0 之外沒有限制

關鍵許可結論： 如果許可靈活性是優先考慮的——特別是如果您是一個為不同行業的客戶構建解決方案的機構——Qwen 2.5 和 Mistral 7B 提供最乾淨的條款。Llama 的用戶數量閾值對大多數團隊來說不太可能有影響，但 Meta 的可接受使用政策對某些垂直行業可能有相關性。Gemma 對訓練競爭性模型的限制值得注意，如果您計劃使用模型輸出進行進一步的蒸餾。

按用例的建議

機構客戶工作

建議：Llama 3.1 8B

機構工作的默認選擇是 Llama 8B。原因：客戶期望可靠性，而 Llama 有最經過實戰測試的微調生態系統。當出現問題時（而且會出現問題），最大的社區意味著最快的解決路徑。Llama 8B 和 Qwen 7B 之間的基準差距是真實的但很小——通常是 2-4 個百分點——而這個差距在特定領域數據上微調後往往消失。

次選：Qwen 2.5 7B — 如果 Apache 2.0 許可對您客戶的法律審查過程很重要。

邊緣和移動部署

建議：Qwen 2.5 0.5B-3B 或 Gemma 3 1B

對於邊緣設備，模型大小是主要限制。Qwen 提供最廣泛的小型模型範圍（0.5B、3B），給您最大的靈活性。0.5B 模型對其大小來說出人意料地有能力——它在微調後處理基本的分類和提取任務。要多一點餘地，Qwen 3B 或 Gemma 1B 在保持邊緣可部署性的同時提供顯著的品質提升。

最高品質（成本不是主要考慮）

建議：Qwen 2.5 72B

當您需要絕對最好的開源模型作為起點時，Qwen 2.5 72B 是贏家。它在大多數基準上以小但一致的差距優於 Llama 3.3 70B。Apache 2.0 許可是一個加分點。缺點是硬體要求：您需要認真的 GPU 基礎設施進行訓練，儘管 Ertas Studio 為您處理這個問題。

次選：Llama 3.3 70B — 品質幾乎相同，支持生態系統更大。

多語言應用

建議：Qwen 2.5（任何大小）

Qwen 的多語言能力明顯領先於競爭對手，特別是對於東亞語言（中文、日語、韓語），但也包括歐洲語言。如果您的應用程序服務於使用多種語言的用戶，Qwen 應該是您的默認選擇。

與 Llama 2 相比，Llama 3.3 改進了其多語言支持，但 Qwen 保持了有意義的領先優勢，特別是在非歐洲語言上。

代碼生成和技術任務

建議：Qwen 2.5 7B 或 Llama 3.1 8B

兩者在微調後在代碼任務上都表現良好。Qwen 在 HumanEval 基準上有輕微優勢，但在您的特定代碼庫或代碼模式上微調後差距顯著縮小。根據您的其他要求（許可、生態系統偏好）進行選擇。

Ertas 如何支持所有四個系列

Ertas Studio 涵蓋這四個系列，並為每一個提供最佳化的 LoRA 配置與正確的分詞器處理。您不需要在註冊前選擇基礎模型，因為平台會為您處理基礎設施上的差異。

• Llama：3.2 的 1B 與 3B，3.1 的 8B
• Qwen：2.5 的 0.5B、1.5B、3B 與 7B，另加 Qwen 3.5 4B
• Gemma：3 的 1B 與 4B，另加 Gemma 4 E2B
• Mistral：7B Instruct

決定上限的是訓練層級而非模型系列。約 3B 以下的模型可在免費方案上訓練；7B 與 8B 需要 Builder 或更高方案。再往上就超出範圍，因此前面談到的 70B Llama 與 72B Qwen 是用來部署對照或比較的模型，而不是你能在這裡訓練的模型。像 Mixtral 這類 mixture-of-experts 模型同樣不在範圍內，因為訓練時必須把所有專家都放進記憶體，而不只是啟用中的那些。最新清單一律以支援模型參考頁為準，不在清單上的模型若符合同樣的大小上限，仍可透過 Hugging Face 匯入路徑訓練。

訓練、評估和 GGUF 匯出在所有系列中的工作方式相同。選擇一個模型，上傳您的數據，然後訓練。平台處理其餘部分。

實際決策框架

如果您仍然不確定，以下是一個簡單的流程：

1. 您需要低於 1B 參數的模型嗎？ → Qwen 2.5 0.5B（唯一可行選項）
2. 多語言支持是否至關重要？ → Qwen 2.5，無論哪個大小適合您的硬體
3. 是否需要 Apache 2.0 許可？ → Qwen 2.5 或 Mistral
4. 您想要最大的社區和最多的教程嗎？ → Llama 3.3
5. 您是否需要不計大小的絕對最佳品質？ → Qwen 2.5 72B
6. 其他所有情況？ → Llama 3.1 8B

好消息：2026 年，前三個系列（Llama、Qwen、Gemma）沒有壞的選擇。它們之間的性能差距比您從良好的訓練數據和適當的微調技術中獲得的品質提升要小。把您的時間投入到數據品質上，而不是模型選擇的癱瘓上。

---

有關 Llama 和 Qwen 與 QLoRA 的實際基準比較，請參見我們的 Llama 3.3 vs Qwen 2.5 QLoRA 基準。有關逐步微調指南，請從微調 Llama 3 開始。有關微調平台的比較，請閱讀 Ertas vs Unsloth vs Axolotl in 2026。