What is Overfitting（過擬合）?

Definition

過擬合發生在機器學習模型學習了訓練資料中的雜訊、特殊性和確切措辭，而非提取能泛化到新的、未見過的輸入的底層模式時。過擬合的模型在訓練集上達到出色的指標，但在保留的驗證或測試集上表現顯著更差。在 LLM 微調的背景下，過擬合表現為模型能夠幾乎逐字重現訓練範例，但無法處理同一領域內的變化、重新措辭或新穎查詢。

過擬合在資料集相對於模型容量較小的微調場景中特別常見。一個 70 億參數的模型有巨大的記憶資料的容量，因此僅幾百個範例的資料集可以在單一輪次內被完全記憶。當訓練過多輪次、使用過高的學習率或訓練資料缺乏多樣性時，風險會被放大。資料集中的重複或近似重複範例也會加速過擬合。

檢測過擬合需要在整個訓練過程中同時監控訓練損失和驗證損失。標誌性特徵是二者的分歧：訓練損失持續下降（模型越來越緊密地擬合訓練資料），而驗證損失趨於平穩或上升（模型失去泛化能力）。這種分歧是停止訓練、回復到較早的檢查點或調整超參數的信號。

Why It Matters

過擬合的模型在生產中比無用更糟——它在評估期間給團隊虛假的信心（因為訓練指標看起來很好），然後在真實世界的輸入上不可預測地失敗。對於準確性和可靠性至關重要的企業部署，過擬合可能導致令人尷尬的失敗、使用者信任的侵蝕和代價高昂的回滾。因此，理解和預防過擬合是任何構建生產 AI 系統的人的必備技能。

How It Works

過擬合在機制上發生在模型的權重被精確調整到訓練範例，以至於它們編碼了該資料中的特定雜訊而非一般信號時。幾種技術可以緩解這一問題：使用驗證集監控泛化能力、應用早停在驗證損失停止改善時停止訓練、使用 dropout 或權重衰減作為正則化、訓練更少的輪次、降低學習率，最重要的是確保訓練資料集大、多樣且高品質。在基於 LoRA 的微調中，使用較低的適配器秩也可以透過限制模型記憶的容量來減少過擬合風險。

Example Use Case

一家新創公司在 500 個產品常見問題對上微調模型 10 輪。訓練損失降至接近零，模型完美地回答來自訓練集的確切問題。但當客戶提出措辭略有不同的問題時，模型要麼給出不相關的答案，要麼產生幻覺。在診斷出過擬合（驗證損失在第 3 輪後分歧）後，團隊減少到 3 輪，增加 200 個更多樣的範例，並將 LoRA 秩從 64 降低到 16。重新訓練的模型正確回答新措辭的能力達到 78%。

Key Takeaways

• 過擬合意味著模型記憶了訓練資料而非學習可泛化的模式。
• 標誌性特徵是訓練損失下降而驗證損失上升。
• 小資料集和過多的訓練輪次是微調中過擬合的主要原因。
• 緩解策略包括早停、較低的學習率、更多樣的資料和較低的適配器秩。
• 始終使用保留的驗證集在訓練期間監控過擬合。