What is 零样本学习?

Definition

零样本学习是模型处理其从未见过标注示例的任务的能力，仅依赖其预训练知识和对所需任务的自然语言描述。在 LLM 的语境中，零样本意味着向模型提供一条指令——如「将以下文本分类为正面或负面情感」——而不在提示中包含任何示范示例。

这种能力源于预训练期间编码的广泛知识。一个在数万亿 token 的互联网文本上训练的模型已经隐式地在其训练语料库中看到了几乎所有常见 NLP 任务的示例。当给出任务描述时，模型可以利用这些隐式模式产生合理的输出。零样本性能随模型规模而提升——更大的模型在零样本任务上始终表现更好，因为它们编码了更多样化的模式。

零样本学习代表了 AI 采用的最易接入的切入点，因为它不需要数据准备、标注和训练。团队可以在几分钟内通过简单编写一个提示来评估 LLM 是否能处理他们的用例。然而，零样本性能通常是三种范式（零样本、少样本、微调）中最弱的，对于生产应用，它通常作为性能下限基准而非最终解决方案。

Why It Matters

零样本能力是使 LLM 开箱即用的关键。与传统机器学习系统在产生任何输出之前需要任务特定训练数据不同，具有零样本能力的模型在部署的那一刻就可以尝试任何文本任务。这从根本上改变了 AI 采用的经济学——团队可以在没有任何前期数据投资的情况下开始从 AI 中提取价值。

从实际角度来看，零样本性能为给定任务确立了下限。如果模型在分类任务上的零样本准确率达到 70%，从业者知道少样本提示可能将性能推至 80-85%，而微调可以达到 90-95%。这种递进帮助团队做出关于每个用例需要多少数据和训练投资的明智决策。

How It Works

LLM 中的零样本学习通过指令跟随和隐式知识迁移的交叉来工作。在预训练期间，模型学习跨多样化文本的统计模式。在指令微调阶段（大多数现代 LLM 都会经历），模型学习遵循自然语言指令。在推理时，零样本提示通过指令激活相关的预训练知识，模型生成匹配请求格式的输出。

零样本提示的有效性在很大程度上取决于提示的清晰度和具体性。模糊的指令产生模糊的结果。描述输出格式、列出可能类别或定义边缘案例的具体提示显著提高零样本性能。这就是为什么即使在零样本设置下，提示工程仍然有价值——一个精心设计的零样本提示有时可以匹配少样本性能。

Example Use Case

一家初创公司需要快速将收到的客户邮件分流到各部门。在构建任何训练数据集之前，他们部署了一个零样本提示模型："将以下邮件分类为销售、技术支持、账单或合作。仅回复类别名称。"他们立即达到了 72% 的准确率，这对于初始路由已经足够好，同时他们收集标注数据用于微调。零样本系统从第一天起就处理邮件分流，随着微调模型逐步替代它而不断改进。

Key Takeaways

• 零样本学习允许模型仅使用指令执行任务，无需任何示范示例。
• 它不需要数据准备、标注或训练——是获得初始结果的最快路径。
• 性能随模型规模提升；更大的模型具有更强的零样本能力。
• 零样本准确率作为评估少样本和微调方法潜力的性能下限基准。
• 提示的清晰度和具体性是提高零样本性能的主要杠杆。