您在週一部署了重新訓練的模型。評估套件通過了。延遲看起來沒問題。團隊充滿信心。
到週三,支援工單翻倍了。客戶報告說 AI「停止理解」他們的請求。一個之前完美運作的類別現在有 30% 的時間被錯誤分類。有人問:我們能多快回滾?
如果答案是「讓我找到舊模型文件並弄清楚如何重新加載它」,您就有部署問 題。如果答案是「30 秒,我來翻轉配置」,您就有了部署策略。
本文涵蓋三種使回滾快速、安全且例行化的部署策略。
為什麼微調模型部署會失敗
在談論回滾之前,了解部署為何出錯是有幫助的。微調模型在生產環境中因四個一致的原因而失敗:
對近期資料過度擬合。您在最近一個月的示例上重新訓練。這些示例過度代表了一種模式。模型在該模式上變得非常好,而在其他所有方面變差了。您的評估套件沒有發現它,因為測試集有相同的分佈偏差。
評估缺口。您的測試套件覆蓋了 85% 的實際用法。另外 15% 包括舊模型通過泛化處理的邊緣案例、罕見類別和新穎措辭。新模型在微調過程中失去了那種泛化能力。評估說「通過」,生產環境說不然。
分佈漂移。生產資料在您收集訓練資料和部署之間發生了變化。新產品功能、新客戶群體、季節性模式。模型是為上個季度的現實而訓練的。
基礎模型不相容。您更新了基礎模型(比如從 Llama 3.1 到 Llama 3.2)並應用了現有的 LoRA 適配器。適配器是為舊基礎模型訓練的。權重不對齊。輸出以難以檢測的微妙方式退化。
每種失敗都有不同的修復方法。但它們都有相同的即時需求:盡快讓舊模型回到生產環境。
策略一:藍綠部署
藍綠部署是最簡單的策略,也是您應該首先實施的策略。
工作原理
您維護兩個模型槽:藍色和綠色。在任何給定時間,一個是「活躍」的(服務生產流量),另一個是「備用」的(已加載且準備就緒但不服務)。
當您部署新模型時:
- 將新模型加載到備用槽中
- 針對備用槽運行冒煙測試——10-20 個代表性提示
- 切換路由配置以將生產流量指向新槽
- 舊模型保持加載在前一個槽中
當您需要回滾時:
- 將路由配置切換回舊槽
- 完成
回滾時間:不到 10 秒。 這是一個配置更改,而不是模型重新加載。
實施
對於基於 Ollama 的部署,這意味著運行兩個模型實例。您的應用程序根據配置標誌路由到其中一個:
# 配置:model_routing.yaml
active_slot: "green"
blue:
model: "customer-support-v2.1"
endpoint: "localhost:11434"
green:
model: "customer-support-v2.2"
endpoint: "localhost:11435"
回滾是將 active_slot 從「green」更改為「blue」並重新加載配置。不需要加載模型,不需要交換文件,不需要停機。
權衡
成本是內存。您需要足夠的 RAM 來同時保持兩個模型加載。對於 Q4 量化的 7B 模型,總共大約需要 8-10 GB。對於大多數部署伺服器來說,這是可管理的。對於內存預算緊張的邊緣部署,請考慮後面描述的適配器回滾方法。
藍綠部署最適合以下情況:您有足夠的內存,您想要最快的回滾速度,並且您部署的頻率不高,維護兩個已加載的模型是實際可行的。
策略二:金絲雀部署
金絲雀部署在影響所有用戶之前捕捉問題。不是一次切換 100% 的流量,而是逐漸增加。
工作原理
- 在生產模型旁邊部署新模型
- 將 5% 的流量路由到新模型
- 監控關鍵指標 2 小時
- 如果指標保持,增加到 25%
- 再監控 4 小時
- 如果指標仍然保持,提升到 100%
重要指標
在金絲雀監控期間,追蹤這些指標及其閾值:
| 指標 | 金絲雀閾值 | 行動 |
|---|---|---|
| 錯誤率 | 超過生產的 2 倍 | 立即回滾 |
| p95 延遲 | 超過生產的 1.5 倍 | 調查,保持金絲雀 |
| 用戶滿意度(如果可用) | 下降超過 10% | 回滾 |
| 輸出長度方差 | 超過生產的 2 倍 | 調查 |
| 特定任務準確率 | 下降超過 5% | 回滾 |

