你已經在領域資料上微調了一個模型。評估結果看起來很有前景。離線測試顯示在你的特定任務上準確率與 GPT-4 匹配。但部署到生產環境感覺有風險:如果它在你的評估資料集未捕捉到的方面對真實使用者更差怎麼辦?
答案不是猜測。而是 A/B 測試。將一定比例的生產流量路由到你的微調模型,衡量結果,並隨著信心建立逐步遷移。
路由架構
最簡單的實作:一個 API 閘道器,根據分流比例將請求路由到你的雲端 API 或本地微調模型。
User Request
↓
API Gateway (router)
↓
┌─────────────────────┐
│ 10% → Ollama │ (fine-tuned model, local)
│ 90% → OpenAI API │ (GPT-4o, cloud)
└─────────────────────┘
↓
Log: model_used, input, output, metrics
↓
Response to User
實作選項:
- 簡單: 每個請求隨機分配(Math.random() 不到 0.1 → Ollama,否則 → OpenAI)
- 更好: 按使用者工作階段一致分配(同一使用者在工作階段中始終獲得相同模型,防止不一致行為)
- 最佳: 功能旗標服務(LaunchDarkly、PostHog、自定義),讓你無需部署即可調整分流
Ollama 和 OpenAI 都暴露 OpenAI 相容的 API,所以路由器的工作只是 URL 切換。請求格式完全相同。

