在微調中存在一個持久的假設:更多的資料總是更好的。這聽起來很合理——機器學習應該是資料飢渴的,而最大的模型是在數兆個 token 上訓練的。因此,當您的微調模型表現不佳時,本能反應是收集更多訓練資料。
這個本能通常是錯的。對於微調而言,資料品質在很大程度上主導資料數量。這方面的證 據很強,機制也很清楚,而實際意義可以為團隊節省數週的浪費資料收集時間。
反直覺的發現
2025 年初,Kiln 運行了一個清楚說明這一點的蒸餾實驗。他們取了 Gemma 3 27B,並在僅 250 個精心整理的合成示例上微調它——這些示例由 GPT-4o 生成,經過嚴格的品質過濾。所得模型在目標任務上匹配了 GPT-4o 的少樣本性能。
250 個示例。不是 25,000。不是 2,500。兩百五十個。
這不是孤立的結果。Microsoft 的 LIMA 論文證明,1,000 個精心選擇的示例可以生成與在 52,000 個以上示例上訓練的模型相競爭的模型。Alpaca 團隊用 52,000 個合成示例展示了類似的結果——但後續工作證明,將那 52,000 個示例篩選到最好的 9,000 個可以提高性能。
這種模式是一致的:小型、高品質的資料集每次都優於大型、嘈雜的資料集。
什麼使資料「高品質」
對於訓練資料,品質不是主觀的。它分解為五個可測量的屬性:
1. 正確的標籤
這是最明顯也是最重要的。資料集中的每個輸入-輸出對必須有正確的輸出。對於分類,這意味著正確的類別。對於生成,這意味著您願意在生產環境中看到的輸出。
錯誤標籤的損害不是成比例的——它是被放大的。單個錯誤標記的示例不只是將準確率降低 1/N。它積極地教導模型一個與正確示例衝突的錯誤模式,在學習的表示中造成混亂。
如何測量: 讓領域專家(或第二名 標注者)審查 50 到 100 個隨機示例。如果不一致率超過 5%,您有標記品質問題。
基準: 根據我們的經驗,標籤準確率高於 95% 的資料集始終優於準確率為 85% 的 3 到 5 倍大的資料集。交叉點大約是:準確率為 97% 的 500 個示例的資料集,匹配準確率為 88% 的 2,000 個示例的資料集。
2. 多樣化的輸入
您的訓練示例應涵蓋您的模型在生產中將看到的輸入範圍。所有示例看起來都類似的 1,000 個示例的資料集,功能上等同於 200 個多樣化示例的資料集——無論哪種方式,模型都學習相同有限的模式集。
多樣性意味著:
- 主題覆蓋。 所有相關類別或輸入類型都有表示。
- 難度分布。 包含容易、中等和困難的示例。
- 風格多樣性。 不同的措辭、長度、正式程度。
- 邊緣案例包含。 模糊、不尋常或邊界案例成比例地出現。
如何測量: 使用句子嵌入模型(例如 BGE 或 E5)嵌入所有輸入,並繪製 2D UMAP 投影。如果您看到緊密的聚類之間有空白,您的多樣性很低。您想要廣泛、相對均勻的覆蓋。
3. 代表性分佈
訓練資料中示例的分佈應匹配生產中輸入的分佈。如果 45% 的生產輸入是 A 類別,大約 45% 的訓練示例應該是 A 類別。
這聽起來很明顯,但大多數合成資料集都搞錯了。當您要求前沿模型「在 5 個類別中生成多樣化示例」時,它傾向於生成每個類別大致相等的數量——無論真實分佈是什麼樣的。

