「我想微調模型,但我沒有足夠的資料。」
這是開發者從未開始的最常見原因。而對大多數使用場景而言,這是錯的。
微調需要數百萬筆標記範例的假設,來自大型語言模型出現之前的機器學習早期時代。預訓練的 LLM 已經懂語言、文法、推理模式,以及大量的領域知識。你不是在從零開始教一個模 型理解文字。你是在將它推向特定的風格、詞彙或任務模式。這是一項小得多的工作,需要的資料遠比人們預期的少。
以下是研究實際顯示的結果。
研究怎麼說
關於資料高效微調最重要的論文都指向同一個方向:品質勝過數量,而「足夠」的門檻比直覺預期的更低。
OpenAI 自己的建議:從 50-100 個範例開始
OpenAI 的微調文件建議在微調 GPT-3.5 和 GPT-4o 時從 50 到 100 個範例開始。不是作為勉強過關的最低門檻,而是作為能產生可衡量改善的真正起點。文件明確指出,更多範例可能有幫助,但前幾十個範例通常帶來最大的收益。
如果一家按推論 token 計費的公司建議從 50 個範例開始,這對資料門檻實際在哪裡是一個有意義的信號。
Stanford Alpaca:52K 合成範例花費 $500
Stanford Alpaca 專案(arXiv:2303.16199)在 2023 年初證明,一個微調的 7B 參數模型可以在許多任務上匹配 GPT-3.5 的表現。總資料集是使用 GPT-3.5 合成生成的 52,000 個指令遵循範例,成本約 $500。關鍵發現不是 52K 這個數字本身。而是概念驗證:由能力強的模型生成的合成資料可以訓練較小的模型在指令遵循方面達到接近等效的表現。
那個基準線此後已經被大幅超越。
QLoRA:9,000 個範例,達到 ChatGPT 的 97.8%
QLoRA 論文(arXiv:2305.14314,NeurIPS 2023)引入了 4 位元量化 LoRA 微調,使大型模型微調在消費級硬體上變得可行。作為示範,作者使用 OASST1 資料集(真實人類助手對話的集合)中的僅 9,000 個範例訓練了一個名為 Guanaco 的模型。
結果:Guanaco 在 Vicuna 基準測試上達到了 ChatGPT 表現的 97.8%,由人類評分者評估。在單個消費級 GPU 上。來自 9,000 個訓練範例。
這不是精心挑選的邊緣案例。OASST1 資料集涵蓋了廣泛的對話任務,而 9K 範例以任何標準來看都是適度的。QLoRA 架構是讓它成功的關鍵:基於適配器的微調在從有限範例學習新行為的同時,保留了基礎模型的通用知識。
LIMA:1,000 個範例用於對話式 AI
Meta AI 的 LIMA 論文(arXiv:2305.11206)可能是這個領域中最驚人的結果。研究人員在精確挑選的 1,000 個訓練範例上微調了一個 650 億參數的模型。沒有 RLHF,沒有獎勵建模,沒有偏好資料。只有 1,000 個精心選擇的對話。
結果產生了一個模型,人類評估者在 19% 的比較中偏好它的回應而非 GPT-4 的回應,在許多其他情況下認為兩者等效。該論文的核心論點現在被稱為「表面對齊假說」:模型需要的幾乎所有知識已經存在於預訓練權重中。微調主要是教模型所需輸出的格式和風格。
LIMA 結果中的關鍵詞是「精心」。研究人員花費大量努力策劃那 1,000 個範例,以確保多樣性、覆蓋率和品質。一千個隨機範例不會產生相同的結果。
Microsoft Phi-3:教科書品質重於數量
Phi-3 模型家族(arXiv:2404.14219,Microsoft Research)將這一點推得更遠。Phi-3 模型中有些只有 38 億參數,卻達到了與大三到五倍模型相當的表現。訓練策略刻意優先考慮研究人員所謂的「教科書品質」資料:清晰、結構良好、教育密度高的內容,而非單純的數量。
對微調實踐者的啟示:你資料中的信號比資料集的大小更重要。一個清楚展示目標行為一次的範例,比十個模糊的範例更有價值。
按任務類型的資料需求
並非所有微調任務都是平等的。一個學習以一致的 JSON 結構重新格式化輸出的模型,需要的範例遠少於學習進行多步驟財務分析推理的模型。以下是基於社群發現、論文基準和 OpenAI 公開指引的實際分析:
| 任務類型 | 最低需求 | 理想範圍 |
|---|---|---|
| 格式和風格適應 | 50-100 | 200-500 |
| 分類 | 100-500 | 500-2K |
| 領域問答 | 200-1K | 1K-5K |
| 複雜推理 | 1K-5K | 5K-20K |
閱讀此表的幾點說明:
格式和風格適應涵蓋的案例如:「總是以這個 JSON 結構回應」、「使用這個特定詞彙」、「匹配這個語氣」。基礎模型已經知道如何產生結構化輸出。你是在教它一個偏好,而不是一個技能。五十個精心選擇的範例就能可靠地達成。
分類因類別數量和相似度而有顯著差異。二元情感分析在 100 個範例時是可行的。一個 50 類的產品分類法需要更多資料,特別是對於稀有類別。
領域問答受益於多樣性而非數量。來自十個不同子主題的一百個範例,通常比全部來自同一個狹窄子主題的 100 個範例表現更好。
複雜推理是資料需求真正增加的地方。教一個模型進行多步驟法律分析或臨床決策的推理,涉及真正的新推理模式,而不僅僅是風格適應。在這裡要規劃更多資料。
品質重於數量:什麼是好的訓練範例
LIMA 的發現和 Phi-3 的方法有一個共同點:研究人員是有選擇性的。他們沒有把資料倒進訓練中。他們進行了策劃。
高品質的訓練範例有四個特性:
它清楚地展示目標行為。 對於正確回應應該是什麼樣子,不應有任何模糊。如果你在訓練一個支援機器人,範例回應應該是你希望使用者收到的確切品質的答案,而不是草稿。
它代表真實的輸入分布。 範例應該反映你的使用者實際發送的輸入類型。使用精心製作但與真實使用者行為不匹配的範例進行訓練,會產生一個在訓練集上表現良好但在實際流量上表現不佳的模型。
它涵蓋邊緣案例。 這是大多數資料收集出錯的地方。團隊收集了 200 個簡單、常見案例的範例,但零個構成 20% 生產流量的異常輸入範例。你的資料應該有意地包含棘手的案例。
它與你的其他範例一致。 矛盾的訓練範例(模型看到相似的輸入卻有不同的預期輸出)會混淆微調並降低表現。訓練前,檢查你的資料是否具有內部一致性。

