What is 少样本学习?

Definition

少样本学习是指机器学习模型在仅看到少量样本——通常2到20个——后就能泛化到新任务或类别的能力。在大语言模型的场景下，少样本学习最常见的形式是上下文学习：用户在提示中包含几个演示样本，模型推断出模式并应用于新输入，无需任何权重更新。

这种能力在大型预训练模型中自然涌现，因为它们在预训练期间接触了海量文本。一个在预训练期间见过数百万问答、分类和翻译样本的模型，可以从几个演示中识别出模式并将其应用于新输入。这个术语因OpenAI的GPT-3论文而普及，该论文证明了扩大模型规模可以在数十个NLP基准测试中显著改善少样本性能。

少样本学习处于零样本学习（没有样本，仅有指令）和全量微调（数千个样本加上权重更新）之间。它对于快速原型设计特别有价值——团队可以在投入数据集创建和微调之前测试模型是否能处理某项任务。当少样本性能有前景但不够理想时，这表明用更大数据集进行微调很可能会成功。

Why It Matters

少样本学习大幅降低了为新任务部署AI的门槛。开发者无需收集和标注数千个样本，只需制作包含3-5个演示的提示就能立即评估方法是否可行。这将原型设计周期从数周压缩到数小时。

对于生产用例，少样本学习提供了衡量微调模型的基线。如果微调模型没有显著优于精心设计的少样本提示，微调的成本和复杂性可能不值得。相反，当少样本性能触及天花板——对于复杂任务通常在60-80%准确率——这提供了明确的证据表明微调是达到生产级质量所必需的。

How It Works

上下文少样本学习通过在实际查询之前在提示中前置演示样本来工作。模型的注意力机制将演示和查询一起处理，在单次前向传播中即时学习任务模式。不计算梯度，不更新权重——模型完全依赖其预训练知识和注意力层的模式识别能力。

少样本学习的有效性在很大程度上取决于样本选择、排序和格式。研究表明，选择与测试输入语义相似的演示显著优于随机选择。样本的格式应该一致，标签分布应该均衡。甚至样本的顺序也会影响性能，某些排序产生的结果显著优于其他。

Example Use Case

一个产品团队想要将用户反馈分类为「bug报告」、「功能请求」和「好评」。在投资标注数据集之前，他们制作了一个包含每个类别3个样本的提示，并在100条留出的反馈消息上测试。少样本方法达到78%的准确率——足以确认任务可行，但不足以用于生产。然后他们收集500个标注样本并微调，达到94%的准确率，验证了少样本原型正确预测了微调的可行性。

Key Takeaways

• 少样本学习使模型仅从提示中的2-20个演示样本就能执行新任务。
• 不发生权重更新——模型依赖注意力机制中的模式识别。
• 少样本性能作为基线和可行性信号，判断微调是否值得。
• 样本选择、排序和格式显著影响少样本性能。
• 少样本学习将AI原型设计周期从数周压缩到数小时。