What is 领域适配?
将在通用数据上训练的模型调整为在特定领域(如医疗、法律或金融)上表现良好的过程。
Definition
领域适配是把一个通用模型调整为在某个领域(如法律、金融或医疗)中表现良好的工作。它可以组合多种训练:用该领域的无标注文本做继续预训练,用该领域任务的有标注示例做监督微调,以及依据专家判断做偏好训练,并在整个过程中用该领域自己的测试集评估。
面向语言模型的现代做法由 Gururangan 等人在《Don't Stop Pretraining》(2020)中提出。他们在四个领域、八项分类任务上发现,第二阶段的领域内预训练能提升效果,而在任务自身的无标注数据上继续预训练还能进一步提升。
经过领域适配的模型熟悉一个领域,可以服务其中的多项任务。特定任务模型只为一项工作训练。两者可以很好地结合:领域适配提供词汇和惯例,任务训练确定每项工作的行为。
Why It Matters
在有自己词汇、惯例和专家推理的领域,通用模型最常力不从心。已发表的领域模型展示了投入的规模和收益。BloombergGPT 用 3,630 亿 token 的金融数据加上 3,450 亿 token 的通用数据训练,报告称它在金融任务上优于现有模型,同时在通用基准上没有退步(Wu 等,2023)。SaulLM-7B 在一个开放的 7B 模型上,用超过 300 亿 token 的英文法律文本继续预训练(Colombo 等,2024)。
适配同样塑造行为:正确使用领域术语,遵循领域的引用和文档格式,并加上受监管行业所要求的限定说明。在受监管行业的生产环境中,这些行为与准确率同样重要,而领域自己的评估集是检验它们的方法。
How It Works
多数流程最多分三个阶段。继续预训练在领域的无标注文本上沿用原来的下一个 token 预测目标,通常使用较低的学习率,让模型吸收词汇和事实。它可能削弱遵循指令的能力:Cheng 等(2023)发现,原始领域文本“endows the model with domain knowledge, but drastically hurts its prompting ability for question answering”,并通过把文本改写成阅读理解练习恢复了这一能力。把通用文本重新混入语料,是另一种常见的防遗忘做法。
随后,监督微调用来自该领域真实任务的指令与回答对进行训练。它能可靠地教会行为和格式,却不擅长加入新事实:Gekhman 等(2024)发现模型“struggle to acquire new factual knowledge through fine-tuning”。经常变化的知识通常更适合放 在检索中;Ovadia 等(2023)发现,在知识密集型任务上,检索优于无监督微调。可选的偏好阶段(如 DPO)再依据专家在不同输出之间的选择进行训练。
Example Use Case
一个法律科技团队需要一个审阅商业合同的模型。它从一个已经针对法律文本做过适配的开放模型出发(类似 SaulLM-7B 的做法),省去了继续预训练阶段。然后用自己几千份已审阅、按条款类型和风险标注的合同进行微调,并把判例库放在检索中,让回答引用最新文件。发布前,模型要在团队律师审阅过的一组预留合同上评分,只有达到他们的质量标准才上线。
Key Takeaways
- 领域适配让通用模型在一个领域及其中的多项任务上表现良好。
- 它可以组合继续预训练、监督微调和偏好训练,并用检索承载经常变化的知识。
- 继续预训练能加入知识,但可能削弱遵循指令的能力;阅读理解式改写和混入通用文本可以保护这一能力。
- 微调塑造行为和格式,比加入新事实更可靠。
- 领域自己的预留评估集,是判断适配是否成功的标准。
How Ertas Helps
Ertas Studio 覆盖继续训练和监督微调。纯文本数据结构可在无标注的领域文本上训练,instruction 和对话结构则覆盖有标注示例,这些示例可以在 Studio 的数据集编辑器 Data Craft 中构建和完善。DPO 等偏好优化已在路线图上。
Related Resources
微调
迁移学习
灾难性遗忘
指令调优
训练数据
模型评估(Model Evaluation)
What Is a Domain-Specific LLM? With Examples
Continued Pretraining vs Fine-Tuning vs RAG
Domain-Specific LLM Evaluation: A Worked Method
Fine-Tuning vs RAG: When to Use Each (and When to Combine Them)
Hugging Face
Ertas for Healthcare
Ertas for Legal
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.