您的模型在部署時達到了 94% 的準確率。使用者滿意度很高。客戶簽署了確認。您繼續下一個專案。
三個月後,支援工單開始出現:「AI 給出奇怪的答案。」「它一直提到我們在一月份重新命名的功能。」「新查詢類型的格式有問題。」
您查看模型。它是同一個模型。相同的權重、相同的適配器、相同的推理配置。模型內部沒有任何改變,而它周圍的一切都在改變。
這就是模型漂移,在微調模型中的工作方式與通用模型不同。通用模型漂移是因為世界改變了。微調模型漂移是因為它訓練的特定領域改變了。產品更新了。客戶群轉移了。查詢組合演變了。模型保持凍結,而它的上下文移動了。
早期偵測漂移是 15 分鐘資料更新和完整重新訓練緊急情況之間的差異。本指南涵蓋微調模型特有的三種漂移類型、實際偵測方法,以及何時真正重新訓練的決策框架。
微調模型中的三種漂移類型
並非所有漂移都相同,每種類型都需要不同的偵測和應對方式。
類型 1:輸入分佈偏移
進入模型的查詢不再與訓練時的查詢匹配。隨著使用者行為的演變,這種情況會逐漸發生。
範例:
- 訓練於帳單問題的支援模型,現在收到 40% 的技術疑難排解查詢
- 訓練於合約審查的法律摘要模型,開始收到監管文件
- 訓練於博客文章的內容模型,被要求撰寫社群媒體說明文字
為何重要: 模型針對特定輸入分佈進行了優化。當輸入偏移到該分佈之外時,準確率下降,而這種下降有時平緩,有時急劇。
發生速度: 緩慢。通常需要 2 至 6 個月,偏移才會顯著影響品質。季節性業務可能在旺季期間看到更快的偏移。
類型 2:領域詞彙偏移
領域本身發生了變化:產品重新命名、出現新術語、法規更新、行業標準演進。
範例:
- SaaS 產品將其定價方案從「Basic/Pro/Enterprise」重新命名為「Starter/Growth/Scale」
- 醫療保健模型仍引用在最新修訂中已更新的 ICD-10 代碼
- 法律模型引用已被新立法取代的法規
為何重要: 這是最顯眼的漂移類型,因為使用者立即注意到錯誤的術語。即使模型的推理是合理的,將「Growth」方案稱為「Pro」的模型看起來也是壞掉的。
發生速度: 突然,通常與特定事件相關聯。產品發布、監管更新、品牌重塑。模型在週一表現正常,週二就出錯了。
類型 3:任務分佈偏移
任務組合發生了變化。您的模型處理五種類型的查詢,但比例隨時間變化。
範例:
- 訓練於 60% 摘要 / 40% 問答的模型,現在處理 30% 摘要 / 50% 問答 / 20% 比較
- 主要訓練於 Python 的程式碼助理,收到越來越多的 TypeScript 請求
- 客戶服務模型在政策變更後看到退款相關查詢激增
為何重要: 模型可能處理所有任務類型,但在訓練期間看到最多的任務上表現最好。當組合偏移時,平均品質下降,因為模型現在把更多時間花在較弱的任務上。
發生速度: 中等速度。數週至數月,通常與產品變更、行銷活動或季節性模式相關。
偵測方法
無法管理您不衡量的東西。以下是在 使用者報告之前捕捉漂移的四種實際方法。
方法 1:信心監控
追蹤模型隨時間的平均標記機率。在訓練領域中有信心的微調模型,對陌生輸入的信心會較低。
實作:
- 記錄每個回應的平均和最低標記機率
- 計算滾動 7 天平均值
- 當 7 天平均值比部署基準線下降超過 10% 時發出警報
能捕捉什麼: 輸入分佈偏移和任務分佈偏移。模型在陌生輸入上字面上變得不那麼確定。
遺漏什麼: 詞彙漂移。模型可能以高信心錯誤地回應重新命名的產品,因為它以高信心學習了舊名稱。
工作量: 低。大多數推理伺服器可以以最少的配置記錄標記機率。分析是簡單的時間序列比較。
方法 2:輸出品質評分(抽樣 5 至 10%)
隨機抽樣一定比例的生產輸出,並根據品質標準進行評分。這是漂移偵測的黃金標準。
實作:
- 每天隨機抽樣 5 至 10% 的生產查詢
- 根據準確率、格式和語氣評分每個抽樣輸出(盡可能自動化,主觀標準則需人工審查)
- 將每週分數作為時間序列追蹤
- 與部署基準線比較
能捕捉什麼: 所有三種漂移類型。如果品質因任何原因下降,這都會捕捉到。
遺漏什麼: 如果評分標準全面,則什麼都不會遺漏。限制在於樣本大小。對每天 100 個查詢進行 5% 抽樣,每天審查 5 個輸出。在低量情況下,每週聚合比 每日更有意義。
工作量: 中等。需要自動評分(正規表達式、架構驗證、LLM 作為評判)或人工審查時間。每週安排 30 至 60 分鐘進行審查。
方法 3:使用者修正追蹤
追蹤使用者何時編輯、拒絕或覆蓋模型輸出。每次修正都是模型出錯的信號。
實作:
- 記錄使用者在使用之前修改模型生成內容的時機
- 分類修正:事實錯誤、格式問題、語氣不匹配、過時資訊、錯誤術語
- 將修正率追蹤為總輸出的百分比
- 當修正率超過 15% 時發出警報
能捕捉什麼: 自動評分可能遺漏的真實世界品質問題。使用者能捕捉通用評估無法識別的特定領域錯誤。
遺漏什麼: 靜默失敗。如果使用者不修正輸出但只是停止使用功能,修正追蹤什麼都看不到。將其與使用指標配對。
工作量: 低至中等。需要在應用層進行插樁以捕獲編輯。分析很直接。
方法 4:輸入新穎性偵測
使用嵌入相似性衡量輸入查詢與訓練資料的差異程度。
實作:
- 嵌入訓練集並儲存質心(或多樣化資料集的叢集質心)
- 嵌入每個輸入查詢
- 計算與最近訓練叢集的餘弦距離
- 追蹤超過新穎性閾值的查詢百分比(通常為餘弦距離超過 0.3)
能捕捉什麼: 輸入分佈偏移和新任務類型。真正與訓練資料中任何內容不同的查詢將顯示高新穎性分數。

