基础模型与特定任务模型的区别,归根结底是广度与专注之间的取舍。基础模型用广泛的数据训练,可以适配许多任务。特定任务模型只为一项工作而训练,而且大多数一开始就是一个基础模型,之后再用这项工作的示例继续训练。工作还开放、还在变化、或者用量不大时,基础模型是更好的选择。一旦同一项工作大量重复、输 出可以核对,特定任务模型就会胜出,因为它每项任务的成本更低,也更容易稳定在既定的质量标准上。
本文介绍两类模型各是什么、各自在什么时候胜出、今天就能下载的特定任务模型示例,以及它们与领域专用模型的区别。最后谈谈我们实验室的出发点:一家企业的工作可以拆分给多个专用模型,每个只为一项工作训练,再通过路由组合起来。
什么是基础模型?
基础模型是用广泛数据训练、可以适配各种任务的大模型。这个术语出自 Rishi Bommasani 等人 2021 年在斯坦福基础模型研究中心(CRFM)发表的报告 "On the Opportunities and Risks of Foundation Models"。报告把这类模型描述为"在大规模的广泛数据上训练,并能适配各种下游任务"的模型,当时举的例子是 BERT、DALL-E 和 GPT-3。如今这个标签涵盖 GPT、Claude、Gemini 系列,以及 Llama、Qwen、Gemma 等开放权重模型系列。
适配基础模型有两种方式:一是写提示词,在每次请求里放入指令和示例;二是用自己的数据继续训练它。同一份报告也点出了其中的隐患:"基础模型的缺陷会被下游所有适配模型继承。"每个建立在基础模型之上的特定任务模型,都会同时带着底座的长处和短处出发,所以专用模型需要有自己的评估。

