What is Training Data（訓練資料）?

Definition

訓練資料是機器學習模型在微調過程中從中學習的範例集合。對於大型語言模型，訓練資料通常由結構化的輸入-輸出對組成：一個指令或提示搭配期望的回應。這些資料的格式、品質和多樣性是決定最終微調模型品質的最重要因素。即使是最強大的基礎模型，如果在嘈雜、有偏差或不足的資料上微調，也會產生糟糕的結果。

對於 LLM 微調，訓練資料最常以 JSONL（JSON Lines）格式儲存，其中每一行都是一個獨立的 JSON 物件，代表一個訓練範例。典型的範例可能包括 "instruction"（模型應該做什麼）、"input"（可選的上下文）和 "output"（理想的回應）等欄位。對話式微調使用帶有基於角色條目（system、user、assistant）的 "messages" 陣列。結構必須匹配目標模型架構期望的聊天模板。

在微調中，資料品質勝過資料數量。研究一致表明，幾千個高品質、經過仔細審查的範例優於數萬個嘈雜、自動生成的範例。最佳實踐包括移除重複項目、確保格式一致、平衡類別、過濾準確性，以及包含代表模型在生產中將遇到的真實世界輸入分佈的邊緣案例。

Why It Matters

「垃圾進，垃圾出」的格言特別適用於微調。在不準確、格式不佳或有偏差的訓練資料上微調的模型會在生產中自信地重現這些缺陷。相反，一個精心策展的甚至只有 1,000-5,000 個範例的資料集可以將通用基礎模型轉變為高效能的專家。對於組織而言，在資料策展上的投資——清理、標注、驗證和格式化——通常是任何微調專案中投資回報率最高的活動，遠超過超參數或訓練方法的選擇。

How It Works

訓練資料管線通常從原始資料收集開始——從內部知識庫、客服工單、領域專家或合成生成中收集範例。然後對這些原始資料進行清理、去重和格式化為所需的結構（通常是 JSONL）。常見做法是將資料分割為訓練集和驗證集（例如 90/10），其中驗證集用於在訓練期間監控過擬合。格式化的資料集然後上傳到訓練平台，在那裡被分詞（轉換為數值 token）並批次處理以進行高效的 GPU 處理。

Example Use Case

一家金融科技公司想要微調一個用於法規合規問答的模型。他們的資料團隊從內部合規文件中提取了 3,000 個問答對，由領域專家審查每一對的準確性，以設定合規顧問角色的系統提示將它們格式化為 JSONL，並將 10% 分割為驗證集。產生的訓練資料產出了一個在其基準上正確回答 89% 合規問題的模型——相比使用提示工程的基礎模型的 52%。

Key Takeaways

• 訓練資料品質是微調成功的最大單一因素。
• JSONL 是 LLM 微調資料集的標準格式，包含結構化的指令-輸出對。
• 幾千個高品質範例通常優於數萬個嘈雜範例。
• 資料在訓練前應經過清理、去重、平衡和領域專家驗證。
• 將資料分割為訓練集和驗證集對於偵測過擬合至關重要。