直接偏好優化(DPO)是目前企業團隊最實用的對齊技術。它引導模型行為——語氣、準確性、政策合規性、安全性——而無需強化學習來自人類回饋(RLHF)的基礎設施複雜性。無需訓練獎勵模型,無需穩定 PPO 訓練迴路。只需標記為「選擇」和「拒絕」的回應配對,以及單次微調過程。
企業面臨 的問題在於資料。偏好資料集編碼了組織認為「好」的回應與「差」的回應之間的區別。這包括合規敏感決策、專有推理模式和內部品質標準。將此資料發送給第三方服務進行準備或擴充,會洩露競爭情報並違反資料治理政策。
整個 DPO 資料準備工作流程必須在本地環境中運行。以下是如何實現的,從原始輸入到可匯出的 JSONL。
DPO 是什麼,為何它對企業模型重要
標準微調(SFT)教模型說什麼。DPO 教模型偏好什麼。當你需要一個不只是產生正確答案,而是以正確方式產生答案的模型時——有正確的語氣、正確的詳細程度、正確的說明、以及正確的合規防護欄——這種區別就很重要。
在客戶支援轉錄上訓練的 SFT 模型,將生成看起來像客戶支援轉錄的回應。但它可能生成過於隨意的回應,或承諾公司無法兌現的事情,或跳過必要的披露。DPO 通過向模型展示配對樣本來糾正這些行為:「這個回應是可接受的,這個幾乎相同的回應則不是。」
結果是可測量的。在 SFT 之後增加 DPO 對齊步驟的團隊,通常看到人類偏好評分提升 15% 到 25%,政策違規(違反內部指導方針的回應)減少 30% 到 50%。這些數字來自內部基準測試,而非合成評估。
對受監管行業——金融、醫療、法律——DPO 不是可選的,而是確保模型遵循行業特定溝通規則、披露要求和風險語言標準的機制。
偏好資料集格式
DPO 資料集是三元組的集合:
{
"prompt": "A customer asks: 'Can I get a refund on my subscription?'",
"chosen": "I can help with that. Our refund policy allows full refunds within 30 days of purchase. Could you share your order number so I can check your eligibility?",
"rejected": "Sure, I'll process your refund right away! You should see the money back in your account within 24 hours."
}「chosen」回應遵循政策——它引用退款政策、要求驗證,且不做任何承諾。「rejected」回應跳過驗證並做出公司可能無法兌現的時間承諾。
兩個回應都是合理的。兩個都很流暢。差別在於行為對齊——這正是 DPO 學習的內容。
格式本身很簡單。難點在於產生足夠多的高品質配對,使選擇與拒絕之間的區別是有意義且一致的。
企業偏好資料的來源
你不需要從頭生成偏好資料。大多數企業都坐擁豐富的偏好訊號來源,這些來源從未被格式化用於模型訓練。
人類回饋日誌
如果你的組織使用任何 AI 輔助工具——聊天機器人、文件起草助手、代碼補全工具——可能有使用者反應的日誌。按讚/按倒讚、重新生成請求、對 AI 輸出的手動編輯以及投訴工單,都編碼了偏好資料。一個編輯 AI 生成電子郵件的使用者,正在向你展示「拒絕」(原版)和「選擇」(編輯版)的配對。
A/B 測試結果
如果你進行過比較模型輸出、提示變體或回應格式的 A/B 測試,獲勝的變體是「selected」,失敗的變體是「rejected」。A/B 測試資料特別有價值,因為它具有統計顯著性——你知道偏好是真實的,而非雜訊。
品質審閱的模型輸出
許多企業有品質審閱流程,高級員工審閱和評分 AI 輸出。醫療機構審閱 AI 生成的臨床摘要、律師事務所審閱 AI 起草的合約條款、銀行審閱 AI 生成的風險評估——所有這些都產生分等級的輸出,直接對應到偏好配對。
專家糾錯
當領域專家糾正 AI 輸出時,你得到一個自然的偏好配對。原始輸出是「rejected」,糾正版本是「chosen」。這是最高品質的偏好資料,因 為糾錯是有針對性的,專家確切了解為何原版是錯誤的。
內部風格指南和合規規則
你的組織的溝通指南、合規模板和品牌聲音文件,定義了「好」的樣子。生成一個遵循指南的回應和一個違反特定規則的回應的配對。這些是系統性的,可以大規模產生。
準備管道
第一步:收集提示-回應配對
從上述來源聚合原始資料。對於每個來源,提取提示(輸入或問題)和至少兩個候選回應。在此階段,不要擔心格式——專注於完整性。
目標:1,000 到 2,000 個原始提示-回應集。過濾和格式化後,預計保留 50% 到 70% 作為可用的 DPO 配對。
第二步:領域專家排名或選擇偏好回應
這是需要人類判斷且無法自動化的步驟。向領域專家呈現每個提示及其候選回應,並要求他們選擇首選回應。
仔細構建任務:
- 同時顯示提示和所有候選回應
- 要求標注者選擇最佳回應和最差回應(如果存在兩個以上候選)
- 要求對選擇進行簡短說明(一句話)
- 提供明確的指導方針:「選擇最符合我們內部政策、使用適當語氣並提供準確資訊的回應」
當介面設計良好時,領域專家每小時可評估 40 到 60 個配對。對於 1,000 個配對,預算 20 到 25 小時的專家時間——通常在 2 到 5 週內分散於 3 到 5 位專家。
第三步:格式化為 DPO 配對
將排名輸出轉換為標準 DPO 三元組格式:prompt、chosen、rejected。如果專家對兩個以上的回應進行了排名,從同一提示創建多個配對(排名最高的回應與每個排名較低的回應之間)。
驗證格式:確保沒有空欄位、沒有截斷的回應,以及一致的編碼。刪除選擇和拒絕回應幾乎相同的樣本——模型無法從差異可以忽略不計的配對中學習。
第四步:用標注者間一致性進行品質檢查
如果多位專家標注了相同的樣本,計算標注者間一致性。對於偏好資料,Cohen's kappa 高於 0.7 表示強一致性。低於 0.5,指導方針是模糊的,需要修訂。
分歧是有啟發性的。如果兩位專家對哪個回應更受歡迎存在分歧,請調查原因。常見原因:指導方針模糊、政策未涵蓋的邊緣案例,或專家意見的真正差異。通過討論解決分歧,而非多數表決——目標是闡明標準,而非掩蓋不一致性。
第五步:匯出
以你的訓練框架所需的 JSONL 格式匯出已驗證的配對。對於大多數 DPO 實現(TRL、Axolotl、LLaMA-Factory),格式為:
{"prompt": "...", "chosen": "...", "rejected": "..."}分成訓練集(85%)和驗證集(15%)。驗證集用於監控 DPO 訓練損失——如果驗證損失偏離訓練損失,你就是在對偏好資料過度擬合。
為何這必須在本地環境進行
偏好資料可以說比它所衍生的原始訓練資料更敏感。原因如下。
選擇/拒絕配對揭示了組織認為「好」的標準——其品質標準、合規閾值、風險承受能力和溝通規範。競爭對手如果能存取你的偏好資料,就確切知道你的組織如何做決策以及它優先考慮什麼。
「拒絕」的回應特別能說明問題。它們顯示了組織認為不可接受的內容——失敗模式、合規違規、損害品牌的回應。這是針對組織 AI 系統的對抗性攻擊手冊。
在受監管行業,偏好資料通常編碼了合規決策。金融機構的偏好資料顯示了它如何解讀監 管指導方針——哪些回應通過合規審閱,哪些不通過。這是競爭對手花費數百萬開發的專有監管解讀。
任何雲端服務,無論其安全保障多麼強大,都不應存取這些資料。準備管道在本地基礎設施上運行,使用本地 LLM 進行擴充,並匯出到本地儲存。
使用本地 LLM 生成候選回應
領域專家不應該從頭撰寫回應。相反,使用本地 LLM 為每個提示生成 3 到 5 個候選回應,然後讓專家選擇最佳和最差的。
使用能力強的指令遵循模型運行 Ollama。對於每個提示,以不同溫度(0.3、0.7、1.0)生成回應,以獲得從保守到創意的範圍。還要以不同的系統提示生成回應——一個強調簡潔,一個強調全面,一個故意有缺陷(用於拒絕樣本)。
這種方法從 1,000 個提示產生 3,000 到 5,000 個候選回應。專家審閱時間從「撰寫回應」降為「選擇和比較」,將工作量大約減半。
規模需求
DPO 相對於 RLHF 效率較高,但仍需要有意義的偏好配對量。
最低可行: 500 個配對。足以在特定行為上看到方向性改善(例如減少過於隨意的語氣)。不足以實現全面對齊。
建議: 2,000 到 3,000 個配對。涵蓋主要行為維度——語氣、準確性、合規性、披露和安全性。這是大多數企業部署的最佳平衡點。
全面: 5,000 個以上的配對。當模型服務於具有不同需求的多個使用者群體時需要(例如同時服務客戶支援和內部分析師工作流程的模型)。
低於 500 個配對,DPO 訓練訊號太弱, 無法產生一致的行為變化。超過 5,000 個,你需要驗證配對是否不矛盾——衝突的偏好訊號會降低模型性能。
常見錯誤
明顯的配對: 如果選擇的回應在每個指標上都明顯更好,模型什麼都學不到。最有效的配對是兩個回應都合理,但因為特定原因而偏好其中一個的情況。微妙的區別產生最強的對齊訊號。
不一致的標準: 如果專家 A 偏好簡短回應而專家 B 偏好詳細回應,結果資料集包含矛盾訊號。在標注開始之前,而非之後,就指導方針達成一致。
忽視分佈: 如果你的 80% 的配對涉及語氣,只有 5% 涉及準確性,模型在語氣上會強烈對齊,但在準確性上很弱。在你關心的行為維度上平衡配對。
過時資料: 政策改變,法規更新,品牌聲音演化。12 個月前的偏好資料集可能編碼了過時的標準。計劃每季度更新。
DPO 對齊是一個資料品質問題,而非資料數量問題。一千個精心製作的偏好配對將超越一萬個草率的配對。在專家審閱上投入時間,對齊結果就會隨之而來。
延伸閱讀
- Data Quality Over Quantity: Why 250 Good Examples Beat 10,000 Bad Ones:品質優先資料集建構的論據,附有證據。
- Domain Experts Should Own Data Labeling:為何領域專家比外包標注團隊產生更好的訓練資料。
- On-Premise Data Preparation and the EU AI Act:將資料準備工作 流程保持在本地基礎設施上的監管驅動因素。

