What is 灾难性遗忘?
一种现象,神经网络在新数据上微调时丧失先前学到的知识,导致此前能良好处理的任务性能下降。
Definition
灾难性遗忘(也称为灾难性干扰)是指一个在某组数据上训练的神经网络,在另一组数据上训练后,在原始数据上的表现急剧下降。McCloskey 和 Cohen 在 1989 年最早描述了这一现象。在大型语言模型场景中,它表现为:用新数据微调模型后,模型丢掉了原本具备的能力,比如算术、某种语言、指令遵循、某项安全行为,或者另一个系统所依赖的输出格式。
这个问题的根源在于神经网络的权重在各任务之间共享。模型为学习微调数据中的模式而更新权重时,这些更新可能会覆盖编码先前知识的表示。激进的微调(学习率高、训练轮数多、数据集范围窄)会让问题更严重,因为更大的权重更新更可能破坏已有知识。顺序微调会让问题叠加,因为每一轮都从上一轮的模型出发,再移动一次。这使遗忘成为持 续学习的主要风险,因为持续学习要求模型一轮又一轮地用新数据重新训练。
灾难性遗忘在开发过程中很容易被忽略。如果评估只覆盖目标任务,而目标任务的表现在微调中会提升,其他方面的损失就会一直不被发现,直到用户在生产环境中遇到。
Why It Matters
每个微调项目都要在专业化和模型已有能力之间取得平衡。团队希望模型在特定任务上表现出色,同时保留其他系统所依赖的通用技能、格式和行为。灾难性遗忘是让这种平衡变得困难的主要风险,而且每多一轮训练,风险就更大一些。
影响可能很大。Red Hat 的 OSFT 解读(2026 年 7 月 28 日)引用了 Sculpting Subspaces 论文中的一个模型:它原本能解出 29% 的小学数学题,在八个新任务上微调后降到了 2%。Luo 等人(2023 年)在 10 亿到 70 亿参数的大型语言模型上,测到了持续指令微调过程中的遗忘,而且在这个范围内,模型越大遗忘越多。截至 2026 年 10 月,LangChain 称它是一个尚未解决的研究问题,Google Research 称它是一个根本性问题。
How It Works
灾难性遗忘源于神经网络的优化动态。微调过程中,梯度下降把权重往最小化微调数据损失的方向移动,其中没有任何一项照顾模型原有的能力。如果新数据与模型之前学到的内容差异很大,这些方向可能会与支撑原有表现的权重相冲突,模型就会忘掉其中一部分。
已发表的 缓解方法可以归为五类。重放在每一轮新训练中混入一部分之前的训练数据;Scialom 等人(2022 年)用相当于旧数据 1% 的缓冲区,保住了模型在旧任务上的表现。弹性权重巩固(Kirkpatrick 等人)等正则化方法,会放慢对旧任务最重要的那些权重的学习。LoRA 等参数高效训练方法,在冻结的基础权重上训练小型适配器;Biderman 等人(2024 年)发现,它对目标领域学得更少,在目标领域之外遗忘也更少。正交子空间方法(O-LoRA,以及 Sculpting Subspaces 论文中的 OSFT)让更新避开旧任务所使用的权重方向。增加容量的方法,例如 Google Research 的 sleep framework,把新知识写入新增的参数。较低的学习率和较少的训练轮数,可以与以上所有方法配合使用。
每一种缓解方法都能降低风险,而评估门槛能显示遗忘是否真的发生了。检查手段是一套回归集,收录当前模型已经处理好的案例,在每次发布前打分。
Example Use Case
一个团队每隔几周就用智能体流量中更正过的样本重新训练它的模型。某一轮修复了一类新请求,只看这类请求,新版本表现更好。回归集却显示了另一面:新版本开始漏掉下游系统要解析的 JSON 输出中的一个字段。门槛拦下了这次发布,当前模型继续提供服务,下一轮训练重放了之前的样本,并加入了这些失败案例。这一版在两套集合上都达到了标准,随后上线。
Key Takeaways
- 当微调覆盖了模型原有的能力时,就会发生灾难性遗忘。
- 顺序微调是持续学习的基础,它会让遗忘一轮又一轮地叠加。
- 只覆盖目标任务的评估会把遗忘掩盖起来。
- 重放、正则化、LoRA、正交子空间方法和增加容量都能减轻遗忘。
- 发布门槛中的回归集能显示新版本是否遗忘了什么。
How Ertas Helps
Ertas 的自适应模型端点会在每个新模型版本接收流量之前,用您的评估给它打分,其中包括当前模型已经处理好的回归案例。每一次发布都由您批准,如果新版本没有达标,当前模型继续提供服务。端点目前仅限受邀使用,我们正在开发一个更精简的版本,以便更多团队使用。在 Ertas Studio 中,微调默认使用 LoRA,与全量微调相比能减轻遗忘。
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.