模型蒸馏和微调的区别,归根结底在于训练目标从哪里来。蒸馏是训练一个较小的学生模型,让它复现一个较大的教师模型的输出。微调是用您提供的样本训练模型,通常是您自己的业务记录,以及您的团队认可的答案。两者最终通常都会得到一个比它所替代的前沿模型更便宜的模型,而只有用您自己的数据微调,得到的模型才 是竞争对手无法通过同一个 API 复制出来的。
本文介绍两种技术各自产出什么、成本是多少、蒸馏是否有效(引用 NVIDIA 2026 年的缩放定律研究)、是否合法,以及微调在实践中有多难。本文最近一次更新于 2026 年 10 月 29 日。
模型蒸馏和微调有什么区别?
蒸馏是一种由教师模型来写标签的训练方法,微调则泛指在任务样本上继续训练一个现有模型。蒸馏出来的模型,本质上就是用教师输出微调过的模型,所以两者有重叠。实际的区别在于训练目标的来源,以及随之而来的质量上限。
这个术语来自 Geoffrey Hinton、Oriol Vinyals 和 Jeff Dean 2015 年的论文 "Distilling the Knowledge in a Neural Network",论文把一组模型的知识压缩进单个模型,让部署变得容易得多。到了大语言模型时代,教师通常是大模型,学生是较小的模型,训练方式要么是学习教师完整的输出概率分布(基于 logits 的蒸馏),要么是学习教师生成的文本。
| 蒸馏 | 用自有数据微调 | |
|---|---|---|
| 训练目标 | 教师模型的输出 | 您的记录、标签和认可的答案 |
| 任务上的质量上限 | 教师模型 | 您的质 量标准,由您的评估集来定义 |
| 主要用途 | 压缩一个能力强的模型,降低服务成本 | 教会模型一项任务、一种格式或一个领域 |
| 数据成本 | 教师推理,加上一小份由专家标注的校准集 | 整理真实样本,往往来自您已有的日志 |
| 还有谁能做出来 | 任何能调用同一个教师模型的人 | 只有拥有您数据的团队 |
| 需要核查的条款 | 教师模型的服务条款或许可证 | 您对自有数据的权利 |
最值得记住的是"质量上限"这一行。在下文介绍的 NVIDIA 蒸馏研究中,作者指出教师的输出决定了训练目标,因此学生只能逼近一个它无法超越的上限。微调模型的衡量标准是您的团队能接受什么,它可以学到任何公开模型都没见过的东西:您的分类、您的格式和您的边缘案例。想看蒸馏的实操步骤,可以读我们的蒸馏指南。
模型蒸馏真的有效吗?
有效,前提是把模型压缩到一项明确的任务上,而且最新研究已经量化了它能走多远。在 "Scaling Laws for Task-Specific LLM Distillation"(arXiv 2606.24747,2026 年 6 月 23 日首发,8 月 23 日修订)中,三位 NVIDIA 研究人员把一个 32B 参数的开放教师 模型 Qwen3-32B 蒸馏成剪枝后的学生模型,任务是对金融新闻标题做 35 类事件分类。
对于在两种技术之间做选择的团队,有三项发现最重要:
- 任务质量能扛住大幅压缩。 通过迭代剪枝和蒸馏,教师模型被压缩到原参数量的 16%,同时保留了有意义的任务质量。这个规模下最好的学生模型,以教师标签为基准的 Macro F1 达到 0.77;未压缩的教师模型经过同样的训练,成绩是 0.85。
- 通用知识最先流失。 论文发现,领域内任务质量随压缩程度可预测地下降,而通用知识基准在远未到达同等压缩程度时就已经崩塌。蒸馏出来的学生是一个专才,在被蒸馏的任务上很强,在其他方面则弱得多。
- 监督方式和压缩幅度同样关键。 思维链监督能找回被剪枝抹去的通用知识,而只用标签的方法要么停留在剪枝后的水平,要么让它进一步下降。训练过程本身造成的差距,大约是压缩所造成差距的两倍。
按作者自己的说法,这项研究的范围有限:一个教师模型、一个领域、一项短文本分类任务,他们预计在生成式或长上下文任务上,表现可能会不同。DeepSeek-R1 论文在推理能力上得出了同方向的结论:大模型涌现的推理模式,可以被系统地用来引导和增强小模型的推理能力。
我们自己的研究从微调这一侧得出了相同的方向。在我们的 QMSum 研究(arXiv 2609.25028)中,一个 406M 的专用模型在与我们 1.2B 系统相同的检索转录片段上训练后,ROUGE-1 为 36.33,1.2B 系统为 35.41,QMSum 无法在统计上区分两者,而前者的推理峰值显存不到后者的一半。在同一个 1.2B 基础模型上,针对任务训练带来了 5.29 的 ROUGE-1 提升(95% 区间为 +4.02 至 +6.56),而只改进输入带来的提升是 1.55。这些结论仅限于 QMSum 和自动指标。
模型蒸馏 vs 微调:哪个成本更低?
从运行成本看,两者通常都比它们所替代的前沿模型便宜,节省来自两个方面。一是每个 token 的价格更低,因为训练后的模型比前沿模型小。二是每项任务消耗的 token 更少,因为每次提示词里重复出现的指令、示例和上下文都已经训练进模型,不必再发送。第二项节省有多大,取决于每次提示词中有多少是重复的固定内容、有多少是每次请求各自的数据,所以请用您自己的流量来测算。单任务成本计算器(英文)可以用您的数据同时计算这两个维度,我们关于 AI 单任务成本的文章讲解了其中的算法。
从构建成本看,两者的钱花在不同的地方:
- 蒸馏的钱花在教师模型上。 每一条训练样本都是一次教师推理,所以蒸馏数据集越大,教师的账单就越大,可能是 API 费用,也可能是运行开放教师模型的 GPU 时间。NVIDIA 的研究只需要为一份校准集做人工标注,通常是几百条样本,其余全部由教师标注。
- 用自有数据微调,钱花在数据整理上。 样本往往已经以客服日 志、填好的表单或审核过的输出等形式存在,工作在于清洗它们,并留出一部分用于评估。一直在用提示词调用前沿模型的团队有先发优势,因为记录下来的提示词和被采纳的答案就能直接变成训练集。
- 两者都需要评估集和一次训练。 对于规模合适的模型,训练时间很短:在我们的 QMSum 研究中,406M 专用模型大约训练了 45 分钟,1.2B 系统训练了 4.7 至 5.6 小时,各自都只用了一台机器。
无论走哪条路,更大的成本通常都在训练之外:定义任务、构建评估,以及随着任务变化让模型保持更新。
模型蒸馏违法吗?
蒸馏本身是一种常见且合法的技术,限制来自教师模型所附带的条款。以下只是一般性介绍,不构成法律意见;如有具体计划,请咨询熟悉您所在司法辖区的律师。
主要服务商的条款内容如下,均于 2026 年 10 月 29 日在原始页面查阅:
- OpenAI。 面向 API 和企业客户的 Services Agreement(2026 年 1 月 1 日起生效)禁止使用输出"to develop artificial intelligence models that compete with OpenAI's products and services"(开发与 OpenAI 产品和服务竞争的人工智能模型)。它为一类模型留了例外:"primarily intended to categorize, classify, or organize data (e.g., embeddings or classifiers)"(主要用于对数据进行归类、分类或整理的模型,例如嵌入模型或分类器),前提是只在内部使用,从不分发给第三方或向其商业提供。面向个人用户的 Terms of Use 也把"Use Output to develop models that compete with OpenAI"(使用输出开发与 OpenAI 竞争的模型)列为用户不得从事的行为。
- Anthropic。 Commercial Terms(2025 年 6 月 17 日起生效)禁止客户访问其服务"to build a competing product or service, including to train competing AI models"(以构建竞争性产品或服务,包括训练竞争性 AI 模型)。Usage Policy 在 2026 年 11 月 12 日起生效的版本中规定得更宽,禁止使用输出"to train an AI model (e.g., 'model scraping' or 'model distillation') without prior authorization from Anthropic"(在未获 Anthropic 事先授权的情况下训练 AI 模型),这就连不构成竞争的模型也包括在内。
- 开放权重模型有各自的许可证。许多许可证允许蒸馏和商业使用,有些会附加署名、命名或使用量门槛等条件。请核查流程中每一个模型的许可证,教师模型也不例外。
模型输出的版权问题以及相关的商业秘密问题,目前仍无定论。我们的模型蒸馏与知识产权法指南逐家梳理了各服务商的条款以及迄今为止的执行情况,包括 Anthropic 与 DeepSeek 一案;我们的合法蒸馏开放模型指南则讲解了各类许可证。最稳妥的做法,是用您有权使用的数据来训练,并且只从许可证允许蒸馏的教师模型蒸馏,包括您自己训练的模型。
微调一个模型难吗?
到了 2026 年,训练本身是最简单的部分,真正的工作在数据和评估上。开源工具和按需租用的 GPU 让 LoRA 微调成了常规操作,一个能导出样本的团队当天就可以跑起第一次训练。
需要判断力的环节有这几个:
- 选定任务。 一项输出可核对的明确任务,训练效果会很好。像"了解我们的业务"这样的目标,模型找不到任何可以衡量的标准。
- 干净、有代表性的样本。 覆盖真实情况,包括边缘案例,比单纯堆数量更重要。
- 一份不参与训练的评估集,并设定一个模型上线前必须达到的标准。
- 持续更新。 任务会变化,每个新版本在替换旧版本之前,都要经过同样的评估。
想自己动手的团队可以使用 Ertas Studio:可视化的训练配置、托管的训练 GPU、在 Data Craft 中逐行审核数据,以及可下载的模型文件。截至 2026 年 11 月,Studio 可以免费开始使用,付费方案每月 20 美元起(价格)。
微调被证伪了吗?
没有。OpenAI 和 Mistral 正在逐步停止自家托管模型的微调服务,这是关于托管什么的决策,而用任务数据训练开放模型依然能带来实测的提升。我们的文章《微调已死?》列出了各家停止服务的具体日期,也说明了什么情况下写好提示词就够了。
什么时候用蒸馏、微调,或者两者结合?
| 情况 | 选择 |
|---|---|
| 您训练的大模型效果很好,但服务成本太高 | 把它蒸馏成一个更小的学生模型 |
| 您需要在小模型里获得某种通用能力,例如推理 | 从许可证允许蒸馏的开放教师模型蒸馏 |
| 任务依赖您的分类、格式或记录 | 用自有数据微调 |
| 您希望得到一个竞争对手无法复制的模型 | 用自有数据微调 |
| 您有领域数据,服务端资源又很紧张 | 先微调一个能力强的模型,再把它蒸馏 |
两者结合可 以同时保留两边的好处。先用您自己的数据训练一个能力强的模型,再把它蒸馏成能守住您质量标准的最小模型。您蒸馏的是自己的成果,许可证问题自然迎刃而解,优势也始终在您手里。
护城河测试
一个问题就能判断模型是不是资产:如果竞争对手今天注册了同一个教师模型的 API,他们能在一周内复制出您的模型吗?一个用公开教师模型、靠谁都能写的提示词蒸馏出来的模型,是可以被复制的。一个用您的记录训练、按您团队的标准评估、并在您自己的流量上持续改进的模型,才真正属于您,而且在前沿模型更迭时依然保有价值。
Ertas 是一家应用型 AI 实验室,为希望由我们代劳的团队提供自适应模型端点:一个用您的任务训练的模型,通过兼容 OpenAI 的 API 提供服务。新版本会在后台用您的智能体 流量训练,用您的评估来打分,并且只有在您签字确认后才会上线;如果新版本达不到标准,当前模型会继续提供服务。它可以由 Ertas 托管,也可以部署在您自己的云上或本地。该端点目前仅限受邀企业使用,我们正在开发一个更简化的版本,让更多企业可以接入。
常见问题
LLM 蒸馏和微调有什么区别?
LLM 蒸馏是训练一个较小的学生模型去复现较大教师模型的输出,所以训练目标和质量上限都由教师决定。微调是用您提供的样本训练模型,所以什么算好结果,由您的数据和评估集来定义。蒸馏可以看作微调的一种,只是标签来自教师模型。
模型蒸馏比微调便宜吗?
从构建成本看,取决于标签从哪里来:蒸馏要为每一条样本支付一次教师推理,用自有数据微调则要为整理样本付出成本。从运行成本看,两者通常都比所替代的前沿模型便宜,原因是每个 token 的价格更低,每项任务的 token 也更少。
LLM 蒸馏有效吗?
在明确的任务上有效。NVIDIA 研究人员在一项金融分类任务上,把一个 32B 的开放教师模型压缩到原参数量的 16%,同时保留了有意义的任务质量,并发现通用知识远比任务质量更早崩塌(arXiv 2606.24747,2026 年)。
蒸馏 GPT 或 Claude 合法吗?
截至 2026 年 10 月,两家服务商的条款都对此有限制。OpenAI 的 Services Agreement 禁止使用输出开发竞争性模型,但内部使用的分类器和嵌入模型除外;Anthropic 的 Usage Policy 则禁止在未经事先授权的情况下,用其输出训练任何 AI 模型。以上只是一般性概述,不构成法律意见。
简短总结
蒸馏是把教师模型复制进一个更小的模型,很适合把模型压缩到一项明确的任务上。用自有数据微调,则是教会模型只有您的业务才知道的东西。对您拥有或获许可蒸馏的模型使用蒸馏,用微调来构建能力,当您同时需要质量和较小的服务规模时,就把两者结合起来。如果您最关心的是钱,可以先读AI 初创公司的推理成本花在了哪里。
资料来源,均于 2026 年 10 月 29 日查阅:Ghita、Desai 和 Boier(NVIDIA),"Scaling Laws for Task-Specific LLM Distillation",arXiv 2606.24747v2(2026 年 8 月 23 日);Hinton、Vinyals 和 Dean,"Distilling the Knowledge in a Neural Network",arXiv 1503.02531(2015 年);DeepSeek-AI,"DeepSeek-R1",arXiv 2501.12948v2;OpenAI,Services Agreement 和 Terms of Use,均于 2026 年 1 月 1 日起生效;Anthropic,Commercial Terms 和 Usage Policy。我们的研究:QMSum 研究。

