繼續預訓練是用某一領域的原始文本繼續訓練一個已有模型，沿用它最初訓練時"預測下一個詞"的目標，讓模型學會該領域的詞彙和慣例。微調是用輸入及期望輸出的範例訓練模型，讓它學會一項任務、一種格式或一種行為。檢索（RAG）則在回答時補充事實，完全不需要訓練。基礎模型讀不懂您的領域時，用繼續預訓練； 某項任務必須可靠完成時，用微調；會變化的事實，交給檢索。
本文講解每種方法做什麼、研究對"知識究竟如何進入模型"有哪些發現，以及在建構領域專用大語言模型時三者如何組合。
什麼是持續預訓練？
持續預訓練，通常稱為繼續預訓練（continued pretraining），是拿一個已經預訓練好的模型，繼續用新的無標註文本訓練它，目標仍是預測下一個 token。Sebastian Raschka 關於預訓練與微調的說明（2026 年 10 月 29 日查閱）指出，在法律、醫學或程式碼等原始資料上進行的這種訓練，"is often called continued pretraining or domain-adaptive pretraining"（常被稱為繼續預訓練或領域自適應預訓練）。
它有兩種常見用途。第一種是領域適配：根據 SaulLM-7B 的論文，它在一個已有開放模型的基礎上，用超過 300 億 token 的英文 法律語料繼續訓練。第二種是讓模型保持更新：Jindal 等人在其 2024 年的研究開篇就指出，面向公眾的大語言模型需要持續預訓練，才能跟上最新的資料。
什麼是預訓練和微調？
預訓練是用規模極大、來源多樣的語料打造一個通用基礎模型；微調是把這個預訓練好的模型調整到更具體的用途上。Raschka 把微調稱為"把預訓練模型調整到更窄用途"的統稱，指令微調是其中的一種。繼續預訓練介於兩者之間：它和微調一樣從預訓練模型出發，同時保留預訓練的目標。
| 預訓練 | 繼續預訓練 | 微調 | |
|---|---|---|---|
| 起點 | 隨機初始值 | 一個預訓練模型 | 一個預訓練模型 |
| 資料 | 廣泛的網頁文本、書籍、程式碼 | 某一領域的原始文本 | 範例輸入及目標輸出 |
| 目標 | 預測下一個 token | 預測下一個 token | 生成目標輸出 |
| 學到什麼 | 語言和通用知識 | 領域詞彙和慣例 | 一項任務、格式或行為 |
| 相對規模 | 最大 | 較大，常達數十億 token | 最小，常為數千個範例 |
資料這一列是 實踐中的關鍵區別。繼續預訓練需要大量領域原始文本，微調需要該工作的標註範例。
微調和訓練是一回事嗎？
微調是訓練的一種。訓練涵蓋所有更新模型參數的階段：預訓練、繼續預訓練、微調和偏好訓練。區分這些階段的主要是目的，而規模是次要的。用 Raschka 的話說："What matters is whether the process is creating a broad base model or adapting an existing checkpoint toward a target distribution or behavior."（關鍵在於，這個過程是在打造一個廣泛的基礎模型，還是把已有模型調整到某個目標分佈或行為上。）
日常所說的"訓練一個定製模型"，通常指對已有開放模型做微調，因為在大型實驗室之外，從零預訓練很少見。
領域知識如何進入模型？
領域知識最可靠的進入方式，是預訓練式的大量接觸，或者檢索；微調主要教模型如何使用它已經掌握的知識。以下三項研究（均於 2026 年 10 月 29 日在原始出處查閱）支援這一劃分。
微調很難教會新事實。 Gekhman 等人在"Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?"（2024）中發現，大語言模型很難透過微調獲得新的事實知識；而這些新事實一旦學會，模型產生幻覺的傾向會線性上升。作者的結論是：模型的事實知識主要來自預訓練，微調則教它更高效地使用這些知識。
在注入知識方面，檢索勝過無監督微調。 Ovadia 等人在"Fine-Tuning or Retrieval?"（2023）中，在多項知識密集型任務上比較了兩種方法，發現無論是訓練中見過的知識還是全新的知識，RAG 都穩定地勝出。他們還發現，訓練時讓模型接觸同一事實的多種表述，可以緩解這個問題。
繼續預訓練能增加知識，但可能削弱指令遵循能力。 Cheng 等人在"Adapting Large Language Models to Domains via Reading Comprehension"（2023）中發現，用領域原始文本訓練能讓模型獲得領域知識，但會嚴重削弱它根據提示詞回答問題的能力。把原始文本改寫成閱讀理解練習後，生物醫學、金融和法律三個領域的結果都有提升。
綜合起來，可以得到一條實用規則：事實交給檢索；如果領域知識穩定且量大，也可以交給繼續預訓練。行為、格式和任務能力 交給微調。這是我們每個專案都遵循的劃分。
什麼時候適合繼續預訓練？
當基礎模型讀不懂您的領域，而您又有大量該領域的原始文本時，適合繼續預訓練。需要它的跡象包括：
- 模型會切錯、混淆或誤用該領域的術語、程式碼或符號。
- 您有大量領域文件存檔，但標註範例很少。
- 該領域的許多不同任務將使用同一個模型。
它有兩個風險。模型可能失去部分通用能力和指令遵循能力，也就是 Cheng 等人測到的效應；而更廣泛的微調中的災難性遺忘問題，適用於任何進一步的訓練。已發表的專案有三種應對方法：在領域語料中混入通用文本（根據 BloombergGPT 的論文，它在 3,630 億 token 金融資料之外，還用了 3,450 億 token 通用資料）；把領域文本改寫成練習形式；在領域階段之後再做指令微調，SaulLM-7B 就是這樣做的。
什麼時候適合微調？
當一項任務大量重複、輸出可以核驗，而且每次提示詞裡都帶著同樣冗長的指令時，適合微調。這是讓模型在一項工作上做到可靠的最直接方式。
我們的 QMSum 研究（arXiv 2609.25028）測量了任務層面訓練的價值。固定一個基礎模型，給它更好的輸入，也就是用檢索出的會議記錄片段代替記錄開頭的文字，測試集上的 ROUGE-1 提高了 1.55。再用同樣形式的片段輸入訓練它，ROUGE-1 又提高了 5.29，95% 信賴區間為 +4.02 到 +6.56。一個第三方發布的專用模型在不重新訓練的情況下換成新的輸入形式，ROUGE-1 下降了 6.30，用新形式訓練之後，損失又補了回來。對任何專案來說，教訓都是：用模型在正式環境中會看到的輸入來訓練它。
微調還會從兩個方面改變成本：每 token 價格低於大型前沿模型；每項任務所用的 token 更少，因為每次提示詞裡重複的指令和上下文已經訓練進模型本身。單一任務成本計算器（英文）可以用您自己的提示詞長度算出這兩項。
什麼時候適合檢索？
當事實會變化、回答需要引用來源，或者每個請求都依賴某位客戶或某個使用者的記錄時，適合檢索。它不需要訓練，更新索引就能更新答案。
檢索和訓練也可以組合。在上文的 QMSum 研究中，用檢索輸入訓練過的模型，比讀取同樣輸入但未經訓練的同一個模型高出 5.29 ROUGE-1。檢索決定模型讀什麼，訓練教模型怎麼用。更全面的比較請見微調與 RAG。
| 您需要的是 | 方法 |
|---|---|
| 模型能正確理解您領域的詞彙 | 繼續預訓練 |
| 可靠完成一項重複任務 | 微調 |
| 穩定的 格式或語氣 | 微調 |
| 會變化或需要引用的事實 | 檢索 |
| 每位客戶或使用者的記錄 | 檢索 |
| 一個專業領域內的多種任務 | 繼續預訓練，再微調 |
大多數正式環境中的系統至少會用到這張表中的兩行。
Ertas 是一家應用型 AI 實驗室，自適應模型端點是這些工作投入正式環境的地方：一個用您的任務訓練的模型，透過相容 OpenAI 的 API 提供服務，會變化的事實由檢索提供。新版本在背景用您的 AI 代理流量訓練，按您的評估集評分，只有經您核准才會上線。如果新版本沒有達標，當前模型繼續提供服務。它可以由 Ertas 託管，也可以部署在您自己的雲端或地端。該端點目前僅限受邀企業使用，我們正在開發一個更精簡的版本，讓更多企業可以接入。
常見問題
微調被證偽了嗎？
沒有。OpenAI 和 Mistral 正在逐步停止自家模型的微調，這是關於託管什麼的決策；而用任務資料訓練開放模型，依然能帶來可測量的提升。我們的文章微調已死？梳理了這些停用安排和相關證據。
繼續預訓練和領域自適應預訓練是一回事嗎？
領域自適應預訓練就是在某一領域文本上做的繼續預訓練。這個術語出自 Gururangan 等人的"Don't Stop Pretraining"（2020），該文還定義了用任務本身無標註資料進行的任務自適應預訓練。
微調能教會模型新事實嗎？
能，但很慢，而且有代價。Gekhman 等人（2024）發現，模型學習新事實比學習熟悉的事實慢，學會之後產生幻覺的傾向還會上升。會變化的事實請交給檢索，微調用於行為、格式和任務能 力。
繼續預訓練會導致災難性遺忘嗎？
可能會。在範圍很窄的文本上繼續訓練，會削弱通用能力和指令遵循能力。在語料中混入通用文本、把領域文本改寫成練習形式、之後再做一次指令微調，都能減輕這種影響；再用保留的通用任務做一次評估，就能看出損失了多少。
RAG 比微調更好嗎？
在注入事實方面，Ovadia 等人 2023 年的比較中檢索表現更好。對於重複任務、穩定格式或更低的單任務成本，微調更好。兩者一起用效果最好：讓模型在它將要讀取的檢索輸入上訓練。
繼續預訓練和持續學習有什麼不同？
繼續預訓練是在新文本上進行的一個訓練階段。持續學習是一種長期做法：隨著新資料到來不斷訓練新的模型版本，同時保留早期版本學到的東西。我們關於AI 代理持續學習的文章從模型層講解了這一點。
簡短版
繼續預訓練用原始文本教模型掌握一個領域的語言；微調用範例教模型做一項工作；檢索在回答時把事實交給模型。會變化的事實交給檢索，重複的工作交給微調；當基礎模型讀不懂您的領域、而且許多任務要共用一個模型時，繼續預訓練才值得投入。無論選擇哪種方法，都請在它接入流量之前用您自己的領域做評估。
資料來源，均於 2026 年 10 月 29 日查閱：Sebastian Raschka，"Pretraining vs. finetuning vs. instruction finetuning"；Gururangan 等，"Don't Stop Pretraining"（2020）；Wu 等，"BloombergGPT"（2023）；Cheng 等，"Adapting Large Language Models to Domains via Reading Comprehension"（2023）；Ovadia 等，"Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs"（2023）；Colombo 等，"SaulLM-7B"（2024）；Gekhman 等，"Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?"（2024）；Jindal 等，"Balancing Continuous Pre-Training and Instruction Fine-Tuning"（2024）。我們的研究：QMSum 研究。