Fine-Tune Qwen3-Coder with Ertas

Overview

Qwen3-Coder 是阿里巴巴在 Qwen 3 家族中專屬的程式碼模型產品線，專為代理式程式碼工作負載而非一般對話或推理設計。旗艦 Qwen3-Coder-480B-A35B-Instruct 結合大型專家混合架構（總計 480B / 活躍 35B）與 256K 原生上下文視窗（可外推至 1M tokens），鎖定整個程式碼庫的推理與長期程式碼任務。較小變體——Qwen3-Coder-30B-A3B 與 Qwen3-Coder-Next 80B-A3B——將程式碼導向訓練擴展至中階部署規模。

區分 Qwen3-Coder 與恰好擅長程式碼的通用模型的關鍵在於針對性後訓練：這些模型明確使用代理式程式碼軌跡訓練，包括規劃、多檔案編輯、測試執行以及根據觀察結果反覆迭代。這正是 Claude Code、Cline、Aider 與 Qwen Code 等工具所依賴的模式，而 Qwen3-Coder 的訓練與部署模式相符。因此，Qwen3-Coder 比同等規格的非專業 Qwen 3 變體產出更可靠的代理式程式碼行為。

Qwen3-Coder-Next（80B-A3B）的推論經濟性尤其值得關注。每個 token 僅約 3B 活躍參數，能以類似 3B 密集模型的速度提供服務，同時交付與更大模型相當的程式碼專業品質。SWE-Bench Verified 約 70.6% 的分數使其位列最強的開放權重程式碼模型——而推論速度使其在大型模型成本過高的高吞吐量代理部署中具實用性。

所有 Qwen3-Coder 變體皆以 Apache 2.0 授權發布，權重位於 Hugging Face 上的 `Qwen/Qwen3-Coder-480B-A35B-Instruct`、`Qwen/Qwen3-Coder-30B-A3B-Instruct` 以及 `Qwen/Qwen3-Coder-Next`。

Key Features

針對代理式程式碼的訓練是 Qwen3-Coder 的核心差異化特色。這些模型在真實程式碼工作流程的軌跡上進行後訓練：任務描述、規劃步驟、多檔案編輯、測試執行以及反覆修正。這種模式匹配的訓練產出比通用模型更可靠處理代理式程式碼部署的模型，即使通用模型有更高的合成基準分數。

480B-A35B 旗艦的 256K-1M 上下文視窗實現較小上下文模型無法達到的整個程式碼庫推理。透過有效的上下文工程（將相關檔案放在上下文起點與終點、總結中段），模型能在單一提示中對整個儲存庫進行整體性推理。

Qwen3-Coder-Next（80B-A3B）是生產代理式程式碼的實用甜蜜點變體。3B 的活躍參數量使其推論經濟性適合高吞吐量服務，而約 70.6% 的 SWE-Bench Verified 分數可與大得多的通用模型競爭。對於 Claude Code 或 Cursor 後端定價過高的自主託管部署，Qwen3-Coder-Next 是許多工作負載中最強的開放權重替代方案。

所有變體皆透過標準 MCP 與函式呼叫介面，原生整合 Qwen-Agent 及外部程式碼 CLI（Claude Code、Cline、Qwen Code）。這意味著與在非專業基礎上勉強增加代理能力相比，部署所需的整合膠合程式碼極少。

Fine-Tuning with Ertas

Qwen3-Coder 變體在 Ertas Studio 的微調流程中獲得良好支援。30B-A3B 變體得益於 3B 活躍參數量，可使用 QLoRA 在單張 24GB GPU 上微調。Qwen3-Coder-Next（80B-A3B）在典型序列長度下可裝入 48-80GB GPU。

480B-A35B 旗艦需要多 GPU 伺服器微調。對大多數團隊而言，建議的模式是使用 480B 作為教師生成合成程式碼軌跡資料，然後在該資料加上自身程式碼庫範例上微調 Qwen3-Coder-Next 或 Qwen3-Coder-30B-A3B。這能以單 GPU 部署成本產出針對團隊特定模式專業化的模型。

對於微調資料集，Qwen3-Coder 從包含完整代理式程式碼軌跡的訓練資料中獲益甚多——任務描述、規劃、程式碼編輯、測試輸出與迭代。Ertas Studio 原生支援這些多步驟格式，包括來自 CLI 代理執行的工具使用軌跡。訓練後，Ertas Studio 匯出為 GGUF 格式並完整保留 Qwen3-Coder 對話樣板，可透過 Ollama、llama.cpp 或 vLLM 乾淨地部署，並透過自訂模型設定一鍵整合至 Claude Code、Cline 或 Aider。

Use Cases

Qwen3-Coder 是自主託管代理式程式碼代理最強的開放權重選擇。生產部署模式包括企業程式碼庫的 AI 結對程式設計（資料主權規定排除 Claude Code 或 GitHub Copilot 的場景）、針對重複性變更模式的自動 PR 生成、大規模重構協助以及程式碼庫範圍的程式碼審查。

具備 256K-1M 上下文的 480B-A35B 在整個程式碼庫推理任務上表現出色：大型系統的架構審查、整個程式碼庫的安全稽核、相依性升級影響分析以及大型重構規劃。這些任務受益於模型同時考慮整個程式碼庫，而非分段檢索與總結。

Qwen3-Coder-Next 是高吞吐量生產部署的實用選擇。面向客戶的程式碼工具、內部開發者助理以及 CI 整合的程式碼審查代理都受益於 3B 等級的推論速度與強大的程式碼品質結合。對於評估 Claude Code 或 Cursor 自主託管替代方案的團隊，Qwen3-Coder-Next 是最有吸引力的選項之一。

Hardware Requirements

Qwen3-Coder-30B-A3B 在 Q4_K_M 下約需 17-18GB 記憶體，可裝入 24GB GPU 並保留上下文餘裕。推論速度由 3B 活躍參數量主導。

Qwen3-Coder-Next（80B-A3B）在 Q4_K_M 下約需 45GB，可裝入單張 48GB GPU 或分散至兩張 24GB GPU。儘管總參數量為 80B，推論速度仍以約 3B 等級執行。

480B-A35B 旗艦在 Q4_K_M 下約需 270GB 記憶體，要求多 GPU 伺服器配置（最少 4x A100 80GB）。載入後，35B 的活躍參數量決定 token 生成吞吐量。

Ertas Studio 中微調：30B-A3B 使用 QLoRA 需要 22-28GB VRAM，Qwen3-Coder-Next 需要 50-70GB VRAM，而 480B-A35B 需要多 GPU 伺服器微調（QLoRA 總計 200-280GB VRAM）。