模型蒸餾和微調的差別,歸根究柢在於訓練目標從哪裡來。蒸餾是訓練一個較小的學生模型,讓它重現一個較大的教師模型的輸出。微調是用您提供的範例訓練模型,通常是您自己的業務紀錄,以及您的團隊認可的答案。兩者最後通常都會得到一個比它所取代的前沿模型更便宜的模型,而只有用您自己的資料微調,得到的模型才 是競爭對手無法透過同一個 API 複製出來的。
本文介紹兩種技術各自產出什麼、成本是多少、蒸餾是否有效(引用 NVIDIA 2026 年的縮放定律研究)、是否合法,以及微調在實務上有多難。本文最近一次更新於 2026 年 10 月 29 日。
模型蒸餾和微調有什麼差別?
蒸餾是一種由教師模型來寫標籤的訓練方法,微調則泛指在任務範例上繼續訓練一個現有模型。蒸餾出來的模型,本質上就是用教師輸出微調過的模型,所以兩者有重疊。實際的差別在於訓練目標的來源,以及隨之而來的品質上限。
這個術語來自 Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 2015 年的論文 "Distilling the Knowledge in a Neural Network",論文把一組模型的知識壓縮進單一模型,讓部署變得容易得多。到了大型語言模型的時代,教師通常是大模型,學生是較小的模型,訓練方式要嘛是學習教師完整的輸出機率分布(基於 logits 的蒸餾),要嘛是學習教師生成的文字。
| 蒸餾 | 用自有資料微調 | |
|---|---|---|
| 訓練目標 | 教師模型的輸出 | 您的紀錄、標籤和認可的答案 |
| 任務上的品質上限 | 教師模型 | 您 的品質標準,由您的評估集來定義 |
| 主要用途 | 壓縮一個能力強的模型,降低服務成本 | 教會模型一項任務、一種格式或一個領域 |
| 資料成本 | 教師推論,加上一小份由專家標註的校準集 | 整理真實範例,往往來自您既有的日誌 |
| 還有誰能做出來 | 任何能呼叫同一個教師模型的人 | 只有擁有您資料的團隊 |
| 需要核對的條款 | 教師模型的服務條款或授權條款 | 您對自有資料的權利 |
最值得記住的是「品質上限」這一列。在下文介紹的 NVIDIA 蒸餾研究中,作者指出教師的輸出決定了訓練目標,因此學生只能逼近一個它無法超越的上限。微調模型的衡量標準是您的團隊能接受什麼,它可以學到任何公開模型都沒見過的東西:您的分類、您的格式和您的邊緣案例。想看蒸餾的實作步驟,可以讀我們的蒸餾指南。
模型蒸餾真的有效嗎?
有效,前提是把模型壓縮到一項明確的任務上,而且最新研究已經量化了它能走多遠。在 "Scaling Laws for Task-Specific LLM Distillation"(arXiv 2606.24747,2026 年 6 月 23 日首次發表,8 月 23 日修訂)中,三位 NVIDIA 研究人員把一個 32B 參數 的開放教師模型 Qwen3-32B 蒸餾成剪枝後的學生模型,任務是對金融新聞標題做 35 類事件分類。
對於在兩種技術之間做選擇的團隊,有三項發現最重要:
- 任務品質能承受大幅壓縮。 透過迭代剪枝和蒸餾,教師模型被壓縮到原參數量的 16%,同時保留了有意義的任務品質。這個規模下最好的學生模型,以教師標籤為基準的 Macro F1 達到 0.77;未壓縮的教師模型經過同樣的訓練,成績是 0.85。
- 通用知識最先流失。 論文發現,領域內任務品質隨壓縮程度可預測地下降,而通用知識基準在遠未到達同等壓縮程度時就已經崩塌。蒸餾出來的學生是一個專才,在被蒸餾的任務上很強,在其他方面則弱得多。
- 監督方式和壓縮幅度同樣關鍵。 思維鏈監督能找回被剪枝抹去的通用知識,而只用標籤的方法要嘛停留在剪枝後的水準,要嘛讓它進一步下降。訓練過程本身造成的差距,大約是壓縮所造成差距的兩倍。
依作者自己的說法,這項研究的範圍有限:一個教師模型、一個領域、一項短文本分類任務,他們預期在生成式或長上下文任務上,表現可能會不同。DeepSeek-R1 論文在推理能力上得出了同方向的結論:大模型湧現的推理模式,可以被系統性地用來引導和增強小模型的推理能力。
我們自己的研究從微調這一側得出了相同的方向。在我們的 QMSum 研究(arXiv 2609.25028)中,一個 406M 的專用模型在與我們 1.2B 系統相同的檢索逐字稿片段上訓練後,ROUGE-1 為 36.33,1.2B 系統為 35.41,QMSum 無法在統計上區分兩者,而前者的推論峰值記憶體不到後者的一半。在同一個 1.2B 基礎模型上,針對任務訓練帶來了 5.29 的 ROUGE-1 提升(95% 區間為 +4.02 至 +6.56),而只改善輸入帶來的提升是 1.55。這些結論僅限於 QMSum 和自動指標。
模型蒸餾 vs 微調:哪個成本更低?
從執行成本看,兩者通常都比它們所取代的前沿模型便宜,節省來自兩個方面。一是每個 token 的價格更低,因為訓練後的模型比前沿模型小。二是每項任務消耗的 token 更少,因為每次提示詞裡重複出現的指令、範例和上下文都已經訓練進模型,不必再傳送。第二項節省有多大,取決於每次提示詞中有多少是重複的固定內容、有多少是每次請求各自的資料,所以請用您自己的流量來測算。單一任務成本計算器(英文)可以用您的數據同時計算這兩個維度,我們關於 AI 單一任務成本的文章說明了其中的算法。
從建置成本看,兩者的錢花在不同的地方:
- 蒸餾的錢花在教師模型上。 每一筆訓練範例都是一次教師推論,所以蒸餾資料集越大,教師的帳單就越大,可能是 API 費用,也可能是執行開放教師模型的 GPU 時間。NVIDIA 的研究只需要為一份校準集做人工標註,通常是幾百筆範例,其餘全部由教師標註。
- 用自有資料微調,錢花在資料整理上。 範例往往已經以客服日誌、填好的表單或審核過的輸出等形式存在,工作在於清理它們,並留出一部分用於評估。一直在用提示詞呼叫前沿模型的團隊有先行優勢,因為記錄下來的提示詞和被採納的答案就能直接變成訓練集。
- 兩者都需要評估集和一次訓練。 對於規模合適的模型,訓練時間很短:在我們的 QMSum 研究中,406M 專用模型大約訓練了 45 分鐘,1.2B 系統訓練了 4.7 至 5.6 小時,各自都只用了一台機器。
無論走哪條路,更大的成本通常都在訓練之外:定義任務、建立評估,以及隨著任務變化讓模型保持更新。
模型蒸餾違法嗎?
蒸餾本身是一種常見且合法的技術,限制來自教師模型所附帶的條款。以下只是一般性介紹,不構成法律意見;如有具體計畫,請諮詢熟悉您所在司法管轄區的律師。
主要服務商的條款內容如下,均於 2026 年 10 月 29 日在原始頁面查閱:
- OpenAI。 面向 API 和企業客戶的 Services Agreement(2026 年 1 月 1 日起生效)禁止使用輸出「to develop artificial intelligence models that compete with OpenAI's products and services」(開發與 OpenAI 產品和服務競爭的人工智慧模型)。它為一類模型留了例外:「primarily intended to categorize, classify, or organize data (e.g., embeddings or classifiers)」(主要用於對資料進行歸類、分類或整理的模型,例如嵌入模型或分類器),前提是只在內部使用,從不散布給第三方或向其商業提供。面向個人用戶的 Terms of Use 也把「Use Output to develop models that compete with OpenAI」(使用輸出開發與 OpenAI 競爭的模型)列為用戶不得從事的行為。
- Anthropic。 Commercial Terms(2025 年 6 月 17 日起生效)禁止客戶存取其服務「to build a competing product or service, including to train competing AI models」(以建立競爭性產品或服務,包括訓練競爭性 AI 模型)。Usage Policy 在 2026 年 11 月 12 日起生效的版本中規定得更寬,禁止使用輸出「to train an AI model (e.g., 'model scraping' or 'model distillation') without prior authorization from Anthropic」(在未獲 Anthropic 事先授權的情況下訓練 AI 模型),這就連不構成競爭的模型也包括在內。
- 開放權重模型有各自的授權條款。許多授權允許蒸餾和商業使用,有些會附加署名、命名或使用量門檻等條件。請核對流程中每一個模型的授權條款,教師模型也不例外。
模型輸出的著作權問題以及相關的營業秘密問題,目前仍無定論。我們的模型蒸餾與智慧財產權法指南逐家整理了各服務商的條款以及至今為止的執行情況,包括 Anthropic 與 DeepSeek 一案;我們的合法蒸餾開放模型指南則說明了各類授權條款。最穩妥的做法,是用您有權使用的資料來訓練,並且只從授權條款允許蒸餾的教師模型蒸餾,包括您自己訓練的模型。
微調一個模型難嗎?
到了 2026 年,訓練本身是最簡單的部分,真正的工作在資料和評估上。開源工具和按需租用的 GPU 讓 LoRA 微調成了例行作業,一個能匯出範例的團隊當天就可以跑起第一次訓練。
需要判斷力的環節有這幾個:
- 選定任務。 一項輸出可核對的明確任務,訓練效果會很好。像「了解我們的業務」這樣的目標,模型找不到任何可以衡量的標準。
- 乾淨、有代表性的範例。 涵蓋真實情況,包括邊緣案例,比單純堆數量更重要。
- 一份不參與訓練的評估集,並設定一個模型上線前必須達到的標準。
- 持續更新。 任務會變化,每個新版本在取代舊版本之前,都要經過同樣的評估。
想自己動手的團隊可以使用 Ertas Studio:視覺化的訓練設定、託管的訓練 GPU、在 Data Craft 中逐列審核資料,以及可下載的模型檔案。截至 2026 年 11 月,Studio 可以免費開始使用,付費方案每月 20 美元起(價格)。
微調被證偽了嗎?
沒有。OpenAI 和 Mistral 正在逐步停止自家託管模型的微調服務,這是關於託管什麼的決策,而用任務資料訓練開放模型依然能帶來實測的提升。我們的文章《微調已死?》列出了各家停止服務的具體日期,也說明了什麼情況下寫好提示詞就夠了。
什麼時候用蒸餾、微調,或者兩者結合?
| 情況 | 選擇 |
|---|---|
| 您訓練的大模型效果很好,但服務成本太高 | 把它蒸餾成一個更小的學生模型 |
| 您需要在小模型裡獲得某種通用能力,例如推理 | 從授權條款允許蒸餾的開放教師模型蒸餾 |
| 任務依賴您的分類、格式或紀錄 | 用自有資料微調 |
| 您希望得到一個競爭對手無法複製的模型 | 用自有資料微調 |
| 您有領域資料,服務端資源又很吃緊 | 先微調一個能力強的模型,再把它蒸餾 |
兩者結合可以同時保留兩邊的好處。先用您自己的資料訓練一個能力強的模型,再把它蒸餾成能守住您品質標準的最小模型。您蒸餾的是自己的成果,授權問題自然迎刃而解,優勢也始終在您手裡。
護城河測試
一個問題就能判斷模型是不是資產:如果競爭對手今天註冊了同一個教師模型的 API,他們能在一週內複製出您的模型嗎?一個用公開教師模型、靠誰都能寫的提示詞蒸餾出來的模型,是可以被複製的。一個用您的紀錄訓練、依您團隊的標準評估、並在您自己的流量上持續改進的模型,才真正屬於您,而且在前沿模型更迭時依然保有價值。
Ertas 是一家應用型 AI 實驗室,為希望由我們代勞的團隊提供自適應模型端點:一個用您的任務訓練的模型,透過相容 OpenAI 的 API 提供服 務。新版本會在背景用您的代理程式流量訓練,用您的評估來評分,並且只有在您核准後才會上線;如果新版本達不到標準,目前的模型會繼續提供服務。它可以由 Ertas 託管,也可以部署在您自己的雲端或地端。該端點目前僅限受邀企業使用,我們正在開發一個更精簡的版本,讓更多企業可以接入。
常見問題
LLM 蒸餾和微調有什麼差別?
LLM 蒸餾是訓練一個較小的學生模型去重現較大教師模型的輸出,所以訓練目標和品質上限都由教師決定。微調是用您提供的範例訓練模型,所以什麼算好結果,由您的資料和評估集來定義。蒸餾可以看作微調的一種,只是標籤來自教師模型。
模型蒸餾比微調便宜嗎?
從建置成本看,取決於標籤從哪裡來:蒸餾要為每一筆範例支付一次教師推論,用自有資料微調則要為整理範例付出成本。從執行成本看,兩者通常都比所取代的前沿模型便宜,原因是每個 token 的價格更低,每項任務的 token 也更少。
LLM 蒸餾有效嗎?
在明確的任務上有效。NVIDIA 研究人員在一項金融分類任務上,把一個 32B 的開放教師模型壓縮到原參數量的 16%,同時保留了有意義的任務品質,並發現通用知識遠比任務品質更早崩塌(arXiv 2606.24747,2026 年)。

