What is Catastrophic Forgetting(災難性遺忘)?
一種現象,神經網路在新資料上微調時失去先前學習的知識,導致之前表現良好的任務上效能下降。
Definition
災難性遺忘(也稱為災難性干擾)是指一個在某組資料上訓練的神經網路,在另一組資料上訓練後,在原始資料上的表現急劇下降。McCloskey 和 Cohen 在 1989 年最早描述了這個現象。在大型語言模型的情境中,它表現為:用新資料微調模型後,模型丟掉了原本具備的能力,例如算術、某種語言、指令遵循、某項安全行為,或另一個系統所依賴的輸出格式。
這個問題的根源在於神經網路的權重在各任務之間共用。模型為學習微調資料中的模式而更新權重時,這些更新可能會覆蓋編碼先前知識的表示。激進的微調(學習率高、訓練輪數多、資料集範圍窄)會讓問題更嚴重,因為更大的權重更新更可能破壞既有 知識。依序微調會讓問題疊加,因為每一輪都從上一輪的模型出發,再移動一次。這使遺忘成為持續學習的主要風險,因為持續學習要求模型一輪又一輪地用新資料重新訓練。
災難性遺忘在開發過程中很容易被忽略。如果評估只涵蓋目標任務,而目標任務的表現在微調中會提升,其他方面的損失就會一直沒被發現,直到使用者在正式環境中遇到。
Why It Matters
每個微調專案都要在專業化和模型既有能力之間取得平衡。團隊希望模型在特定任務上表現出色,同時保留其他系統所依賴的通用技能、格式和行為。災難性遺忘是讓這種平衡變得困難的主要風險,而且每多一輪訓練,風險就更大一些。
影響可能很大。Red Hat 的 OSFT 解說(2026 年 7 月 28 日)引用了 Sculpting Subspaces 論文中的一個模型:它原本能解出 29% 的小學數學題,在八個新任務上微調後降到了 2%。Luo 等人(2023 年)在 10 億到 70 億參數的大型語言模型上,測到了持續指令微調過程中的遺忘,而且在這個範圍內,模型越大遺忘越多。截至 2026 年 10 月,LangChain 稱它是一個尚未解決的研究問題,Google Research 稱它是一個根本性問題。
How It Works
災難性遺忘源於神經網路的最佳化動態。微調過程中,梯度下降把權重往最小化微調資料損失的方向移動,其中沒有任何一項顧及模型原有的能力。如果新資料與模型之前學到的內容差異很大,這些方向可能會與支撐原有表現的權重相衝突,模型就會忘掉其中一部分。
已發表的緩解方法可以歸為五類。重放在每一輪新訓練中混入一部分之前的訓練資料;Scialom 等人(2022 年)用相當於舊資料 1% 的緩衝區,保住了模型在舊任務上的表現。彈性權重鞏固(Kirkpatrick 等人)等正規化方法,會放慢對舊任務最重要的那些權重的學習。LoRA 等參數高效訓練方法,在凍結的基礎權重上訓練小型轉接器;Biderman 等人(2024 年)發現,它對目標領域學得更少,在目標領域之外遺忘也更少。正交子空間方法(O-LoRA,以及 Sculpting Subspaces 論文中的 OSFT)讓更新避開舊任務所使用的權重方向。增加容量的方法,例如 Google Research 的 sleep framework,把新知識寫入新增的參數。較低的學習率和較少的訓練輪數,可以與以上所有方法搭配使用。
每一種緩解方法都能降低風險,而評估門檻能顯示遺忘是否真的發生了。檢查手段是一套回歸集,收錄目前模型已經處理好的案例,在每次發布前打分。
Example Use Case
一個團隊每隔幾週就用代理流量中更正過的樣本重新訓練它的模型。某一輪修正了一類新請求,只看這類請求,新版本表現更好。回歸集卻顯示了另一面:新版本開始漏掉下游系統要解析的 JSON 輸出中的一個欄位。門檻攔下了這次發布,目前的模型繼續提供服務,下一輪訓練重放了之前的樣本,並加入了這些失敗案例。這一版在兩套集合上都達到了標準,隨後上線。
Key Takeaways
- 當微調覆蓋了模型原有的能力時,就會發生災難性遺忘。
- 依序微調是持續學習的基礎,它會讓遺忘一輪又一輪地疊加。
- 只涵蓋目標任務的評估會把遺忘掩蓋起來。
- 重放、正規化、LoRA、正交子空間方法和增加容量都能減輕遺忘。
- 發布門檻中的回歸集能顯示新版本是否遺忘了什麼。
How Ertas Helps
Ertas 的自適應模型端點會在每個新模型版本接收流量之前,用您的評估為它打分,其中包括目前模型已經處理好的回歸案例。每一次發布都由您核准,如果新版本沒有達標,目前的模型繼續提供服務。端點目前僅限受邀使用,我們正在開發一個更精簡的版本,以便更多團隊使用。在 Ertas Studio 中,微調預設使用 LoRA,與全量微調相比能減輕遺忘。
Related Resources
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.