Fine-Tune Magistral with Ertas

Overview

Magistral 是 Mistral AI 的專用推理模型產品線，最初於 2025 年發布，是該公司對 DeepSeek-R1 與 QwQ-32B 所建立的專用推理趨勢的回應。此產品線包含 Magistral Small 與 Magistral Medium 兩個變體，目前公開記錄中最新的版本為 2025 年 9 月發布的 Magistral Medium 1.2（`magistral-medium-2509`）與 Magistral Small 1.2（`magistral-small-2509`）。

Magistral 系列強調以強化學習訓練的延伸思維鏈推理，精神上類似於 DeepSeek-R1 的訓練方法論，但具有 Mistral 獨特的後訓練流程，並聚焦於歐洲部署的市場定位。Magistral 模型針對的使用情境是：推理深度比回應速度更為重要的場景，例如數學問題求解、科學分析、複雜程式碼生成，以及結構化審議任務。

2026 年 3 月，Mistral 宣布整併其模型產品線：Magistral（推理）、Devstral（程式設計代理）與 Mistral Small（指令遵循）統一為單一的 Mistral Small 4 檢查點。此整併標誌著 Magistral 作為獨立產品線的終結，但對於偏好專用推理行為勝於 Mistral Small 4 混合方法的部署情境，Magistral Medium 與 Small 變體仍可取得。

對於 2026 年評估 Mistral 推理能力的團隊而言，Mistral Small 4 是建議的後續路徑。Magistral 仍提供文件支援，並支援整併前已採用此產品線的穩定生產部署。

Key Features

專用推理訓練是 Magistral 最初的差異化優勢。透過強化學習訓練並強調思維鏈生成，Magistral 模型會在最終答案前產生延伸的推理軌跡——模式類似於 DeepSeek-R1 與 QwQ-32B，但具有 Mistral 特有的後訓練特性。

聚焦歐洲部署的市場定位對部分團隊而言是有意義的優勢。Mistral AI 總部位於歐盟，具有強大的資料主權定位，使 Magistral 對受監管或政治偏好非美國/非中國 AI 供應商的歐洲組織具有吸引力。此定位也延續至 Mistral Small 4。

Small/Medium 雙層結構提供部署靈活性。Magistral Small 以單 GPU 部署成本處理一般推理工作負載；Magistral Medium 則在多 GPU 伺服器規模下提供更高的峰值品質。此範圍讓團隊能根據實際部署基礎設施選擇合適的推理模型大小。

Mistral 在後訓練專業上的傳承反映在 Magistral 的指令遵循穩定性與工具使用保真度上。雖然專用推理模型在代理部署中有時會不穩定（推理模式可能干擾結構化輸出），但 Magistral 在工程上是針對生產可靠性而非單純的基準效能進行設計的。

Fine-Tuning with Ertas

Magistral Small 在 Ertas Studio 中以 QLoRA 在典型序列長度下使用 24-48GB GPU 即可有效微調。Magistral Medium 由於參數量較大，需要多 GPU 伺服器進行微調。

專門針對推理模式的微調，Ertas Studio 支援包含明確思維鏈軌跡的訓練資料格式。在訓練資料中包含思考軌跡，能保留微調模型的專用推理行為，避免崩塌為直接回應模式。

訓練完成後，Ertas Studio 將 Magistral 微調匯出為 GGUF 格式，並完整保留 Mistral 對話模板。透過 Ollama、llama.cpp 或 vLLM 部署，使用與基礎 Mistral 模型相同的配置模式即可順利進行。

對於大多數在 2026 年考慮新推理導向微調專案的團隊，Mistral Small 4 才是建議的起點而非 Magistral——統一架構在運作上更有效率，並在推理基準上達到或超越 Magistral。對於有既有流程或對 Magistral 產品線有部署投資的團隊，Magistral 微調仍然有效。

Use Cases

Magistral 在 2026 年的主要使用情境是 Mistral Small 4 整併之前已採用此產品線的穩定生產部署。已在 Magistral 上進行微調的團隊通常更看重連續性勝於遷移成本，特別是當其下游評估流程與提示模式已針對 Magistral 特有行為進行調校時。

對於有嚴格資料主權需求的歐洲組織，Magistral（以及現在的 Mistral Small 4）仍是有吸引力的選擇。在歐洲基礎設施上自行託管部署，能在運用 Mistral 生態系與支援關係的同時提供完整的資料控制權。

專用推理工作負載——數學、科學分析、複雜程式碼生成——能從 Magistral 的延伸思維鏈能力中獲益。雖然 Mistral Small 4 的統一思考模式方法在運作上更為簡單，但專用推理模型在僅以推理為任務、且可接受延遲代價的特殊情境中仍具優勢。

Hardware Requirements

Magistral Small 在 Q4_K_M 下通常需要 12-20GB 記憶體，依特定變體而定（Small 1.2 落於此區間中段）。可在單張 24GB GPU 上有充裕餘量地運行。

Magistral Medium 在 Q4_K_M 下需要顯著更多——通常 60-100GB，依變體而定——且能從多 GPU 部署中獲益以進行生產服務。

在 Ertas Studio 中進行微調：Magistral Small QLoRA 需要 16-28GB VRAM，可在單張 24-32GB GPU 上運行。Magistral Medium QLoRA 需要 80-120GB VRAM，通常分散於兩張 48GB GPU 或在單張 80GB GPU 上以積極的記憶體管理部署。對於新的微調專案，Mistral Small 4（搭配其 6B 活躍參數的 MoE 架構）提供了顯著更佳的訓練經濟性。