"我很想微调一个模型,但我没有足够的数据。"
这是开发者从未开始的最常见原因。而对于大多数用例来说,这是错的。
微调需要数百万标注示例的假设来自机器学习的早期时代,那时大语言模型还不存在。预训练的LLM已经懂得语言、语法、推理模式和大量领域知识。你不是从零开始教模型理 解文本,而是将它引导向特定的风格、词汇或任务模式。这是一项小得多的工作,所需的数据也远低于人们的预期。
以下是研究的实际结论。
研究怎么说
关于数据高效微调的最重要论文都指向同一个方向:质量胜过数量,"足够"的门槛比直觉所想的更低。
OpenAI自己的建议:从50-100个示例开始
OpenAI的微调文档建议在微调GPT-3.5和GPT-4o时从50到100个示例开始。不是作为勉强过关的最低限度,而是作为能产生可衡量改进的真正起点。文档明确指出,更多示例可以有所帮助,但最初几十个示例通常带来最大的收益。
如果一家按推理token收费的公司建议从50个示例开始,这对于数据门槛实际在哪里是一个有意义的信号。
斯坦福Alpaca:52K合成示例,500美元
斯坦福Alpaca项目(arXiv:2303.16199)在2023年初证明,一个微调的7B参数模型可以在许多任务上匹配GPT-3.5的表现。总数据集为52,000个使用GPT-3.5合成生成的指令遵循示例,成本大约500美元。关键发现不是52K这个数字本身,而是概念验证:由强大模型合成生成的数据可以训练一个较小的模型在指令遵循上达到接近同等的表现。
这个基准此后已经被大幅超越。
QLoRA:9,000个示例,达到ChatGPT的97.8%
QLoRA论文(arXiv:2305.14314, NeurIPS 2023)引入了4-bit量化LoRA微调,使大模型微调在消费级硬件上变得可行。作为演示,作者使用OASST1数据集中的仅9,000个示例训练了一个叫Guanaco的模型,OASST1是一个真实人类助手对话的集合。
结果:Guanaco在Vicuna基准上达到了ChatGPT表现的97.8%,由人类评估者评定。在单个消费级GPU上。用9,000个训练示例。
这不是精心挑选的边缘案例。OASST1数据集涵盖了广泛的对话任务,而9K个示例以任何标准衡量都是适度的。QLoRA架构是其成功的关键:基于适配器的微调保留了基础模型的通用知识,同时从有限的示例中学习新行为。
LIMA:1,000个示例用于对话AI
Meta AI的LIMA论文(arXiv:2305.11206)可能是该领域最引人注目的结果。研究人员在精确的1,000个精心挑选的训练示例上微调了一个650亿参数模型。没有RLHF,没有奖励建模,没有偏好数据。仅仅是1,000个精选对话。
结果产生了一个模型,人类评估者在19%的比较中更偏好它的回复而非GPT-4,在许多其他比较中认为两者等同。该论文的核心论点现在被称为"浅层对齐假设":模型所需的几乎所有知识已经存在于预训练权重中。微调主要教会模型期望输出的格式和风格。
LIMA结果中的关键词是"精心"。研究人员花费了大量精力来策划那1,000个示例,以确保多样性、覆盖范围和质量。1,000个随机示例不会产生相同的结果。
微软Phi-3:教科书质量胜过数量
Phi-3系列模型(arXiv:2404.14219, Microsoft Research)进一步推进了这一发现。Phi-3模型中有些小到38亿参数,其表现与大三到五倍的模型相竞争。训练策略刻意优先考虑研究人员所说的"教科书质量"数据:清晰的、结构良好的、教育密度高的内容,而非原始数量。
对微调实践者的启示:你数据中的信号比数据集的大小更重要。一个清晰展示目标行为的示例,比十个模糊的示例更有价值。
按任务类型的数据需求
并非所有微调任务都是相同的。学习以一致的JSON结构重新格式化输出的模型,所需示例远少于学习多步骤金融分析推理的模型。以下是基于社区发现、论文基准和OpenAI发布的指南的实际细分:
| 任务类型 | 最少 | 最佳范围 |
|---|---|---|
| 格式和风格适配 | 50-100 | 200-500 |
| 分类 | 100-500 | 500-2K |
| 领域问答 | 200-1K | 1K-5K |
| 复杂推理 | 1K-5K | 5K-20K |
关于这个表格的几点说明:
格式和风格适配涵盖以下情况:"始终以这种JSON结构回复"、"使用这种特定词汇"、"匹配这种语气"。基础模型已经知道如何产生结构化输出。你是在教它一种偏好,而非一种技能。50个精选示例就能可靠地实现这一点。
分类因类别数量及其相似度而差异显著。100个示例的二元情感分析是可行的。50个类别的产品分类需要更多数据,特别是对于稀有类别。
领域问答

