領域專用大語言模型(domain-specific LLM)是經過訓練、掌握某一領域的詞彙、事實和慣例的大語言模型,因此能處理該領域內的多種任務。金融、法律、醫學和晶片設計都有已發表的實例。任務專用模型的範圍更窄:它只為一項工作而訓練,比如按查詢總結一場會議,或者從發票中提取欄位,評估也只看這一項工作。
這兩個 概念常常被放在同一個定義裡。IBM 的說明文章(2026 年 10 月 29 日查閱)把領域專用大語言模型描述為"trained or fine-tuned to specialize in a specific field or subject area, allowing it to perform domain-specific tasks more accurately and efficiently than a general-purpose LLM"(經過訓練或微調、專精於某一領域,從而比通用大語言模型更準確、更高效地完成該領域任務的模型)。這句話把兩層意思都包含了進去。本文把它們分開講,因為兩者的訓練資料、建構方式和評估方法各不相同,而大多數實際系統會同時用到這兩種模型。
關於搜尋詞的一點說明:在軟體領域,"領域特定語言"(domain-specific language)指 SQL 這類小型程式語言,所以搜尋"domain-specific language models"時,結果會混雜兩個主題。本文討論的是大語言模型。
什麼是領域專用大語言模型?
領域專用大語言模型,是用某一領域的文本訓練、讓知識向該領域偏移的語言模型。它讀該領域的文件時誤解更少,術語用得準確,也遵循領域慣例,比如法律文書的引用格式或臨床記錄的結構。在領域之內它依然是通用的:同一個金融模型可以回答關於財報文件的問題,判斷新聞情緒,也能起草摘要。
建構這類模型有三條路線,按成本從高到低排列:
- 從零訓練,使用領域文本與通用文本的混合資料,BloombergGPT 就是這樣做的。
- 繼續預訓練,在已有模型上用領域原始文本繼續訓練,SaulLM-7B 和 BioMistral 就是這樣做的。
- 微調,用領域指令和範例訓練,通常放在繼續預訓練之後。
我們關於繼續預訓練、微調與 RAG的文章講解了每條路線適用的情形,以及在什麼情況下完全不需要訓練、靠檢索就能解決問題。
領域專用大語言模型與任務專用模型有什麼區別?
領域專用大語言模型掌握一個領域,能處理其中的多種任務;任務專用模型只做一項工作,也只按這項工作來衡量。區別體現在四個方面。
| 領域專用大語言模型 | 任務專用模型 | |
|---|---|---|
| 範圍 | 一個領域,多種任務 | 一項工作 |
| 訓練資料 | 領域原始文本,再加指令 | 該工作的輸入和輸出 |
| 常用方法 | 繼續預訓練,再微調 | 用任務範例微調 |
| 評估方式 | 一組領域基準 | 來自該工作的保留集 |
| 例子 | 法律大語言模型 | 合約條款抽取模型 |
最快的判斷辦法是看評估。如果一個保留集就能決定模型是否夠用,您在建構的是任務模型;如果需要一整套覆蓋多種任務的測試,您在建構的是領域模型。
學術 研究在 2020 年就劃出了同樣的界線。Gururangan 等人在"Don't Stop Pretraining"中,跨四個領域、八項分類任務發現:在領域內進行第二階段預訓練(領域自適應預訓練)能帶來提升;在此之後,再用任務本身的無標註資料做適配,表現還會進一步提高。領域知識和任務能力是兩種不同的提升,後者建立在前者之上。
我們的基礎模型與任務專用模型一文深入講解任務這一側:什麼是任務專用模型、它在什麼情況下勝出,以及一家企業的工作如何拆分給多個專用模型。
領域專用大語言模型有哪些實例?
已發表的領域專用大語言模型覆蓋金融、法律、醫學和工程。以下每個實例都於 2026 年 10 月 29 日在原始出處查閱。
| 模型 | 領域 | 路線 | 發布時間 |
|---|---|---|---|
| BloombergGPT | 金融 | 從零訓練 | 2023 年 3 月 |
| SaulLM-7B | 法律 | 繼續預訓練,再做指令微調 | 2024 年 3 月 |
| BioMistral | 醫學 | 在 PubMed Central 上繼續預訓練 | 2024 年 2 月 |
| Cheng 等人的模型 | 生物 醫學、金融、法律 | 用閱讀理解形式的文本繼續預訓練 | 2023 年 9 月 |
| Cadence Maestro | 晶片與系統設計 | 領域後訓練 | 2026 年 10 月 26 日 |
表中每條路線都有人在用,而最新的一例把領域模型和通用模型組合在了一起。
BloombergGPT 是一個 500 億參數的模型,訓練資料包括 3,630 億 token 的金融資料集和 3,450 億 token 的通用資料。其論文報告稱,它在金融任務上大幅領先現有模型,同時沒有犧牲在通用大語言模型基準上的表現。
SaulLM-7B 以 Mistral 7B 為基礎,在超過 300 億 token 的英文法律語料上訓練,之後再用法律資料集做指令微調,詳見其論文。
BioMistral 是在 PubMed Central 上繼續預訓練的 Mistral,並在 10 項醫學問答任務上做了評估,詳見其論文。
Cheng 等人在"Adapting Large Language Models to Domains via Reading Comprehension"中發現,用領域原始文本繼續預訓練能讓模型獲得領域知識,但會嚴重削弱它根據提示詞回答問題的能力。把這些文本改寫成閱讀理解練習後,三個領域的結果都有提升;作者稱他們的 7B 模型可以與 BloombergGPT-50B 等大得多的領域模型相競爭。
Cadence Maestro 於 2026 年 10 月 26 日發布,是一組經過領域後訓練的模型,由 Cadence 的 AI 代理與前沿模型、開放權重模型一起調度使用。Cadence 公佈的初步結果是:與通用基礎模型相比,品質最高提升 30%,token 效率最高提升 5 倍;首批模型將於 2026 年第四季度提供給部分搶先體驗客戶。
領域模型和任務模型如何組合?
組合方式有三種,正式環境中的系統通常不止用一種。
- 分層訓練。 先做領域預訓練,再在其上做任務微調。SaulLM-7B 就是這個順序,Gururangan 等人的結果說明了它為什麼有效:每個階段都帶來各自的提升。
- 路由。 通用模型或領域模型處理開放式請求,任務專用模型處理大量重複的工作。Cadence 的設計是一個公開的例子:AI 代理把目標拆解開,再把每一步交給領域模型、前沿模型或開放權重模型。
- 檢索。 會變化的事實放進檢索索引,行為、格式和任務能力訓練進模型。這是我們每個專案都遵循的原則。
在我們自己的研究中,最大的提升來自讓模型在它實際會看到的輸入上訓練。在我們的 QMSum 研究(arXiv 2609.25028)中,同一個基礎模型改為讀取檢索出的會議記錄片段後,僅憑更好的輸入,測試集上的 ROUGE-1 就提高了 1.55;再用同樣形式的片段輸入訓練它,ROUGE-1 又提高了 5.29,95% 信賴區間為 +4.02 到 +6.56。檢索和訓練一起用效果最好,而大部分提升來自訓練。
什麼情況下通用模型同樣夠用?
當領域知識是公開的,而且已經充分包含在通用模型的訓練資料裡時,通用模型同樣夠用。Manufacturers' Monthly 對領域專用模型與通用模型的比較(2026 年 10 月 20 日)指出,更新的通用模型出現後,BloombergGPT 的領先優勢縮小了;後來,一個提示詞寫得好的通用模型在執業醫師考試題上追平了一個經過醫學微調的模型。
這個規律說明了領域訓練的價值會保留在哪裡:通用模型從未見過的知識。您所在組織的文件、內部詞彙、決策和格式,都不在任何公開訓練集裡;您的團隊每天在做的具體工作也一樣。同一篇文章還提到企業自建模型的另一個原因:資料隱私和監管要求讓他們無法使用外部託管的 AI 服務。
| 情形 | 更合適的選擇 |
|---|---|
| 一個專業領域內的多種任務 | 領域專用大語言模型 |
| 大量重複的一項工作 | 任務專用模型 |
| 公開且覆蓋充分的領域知識 | 寫好提示詞的通用模型 |
| 每週都在變化的事實 | 檢索 |
| 基礎模型從未見過的內部詞彙 | 繼續預訓練或微調 |
| 必須留在自有基礎設施內的資料 | 訓練好的開放模型 |
大多數團隊最後會組合使用:一個能力強的模型處理開放式工作,訓練好的專用模型處理重複工作,檢索負責提供事實。
訓練好的模型對成本有什麼影響?
訓練好的模型,無論是領域模型還是任務模型,都從兩個方面降低帳單:每 token 價格低於大型前沿模型;每項任務所用的 token 也更少,因為每次提示詞裡重複的指令、術語表和上下文已經訓練進模型本身。第二項節省取決於每次提示詞中有多少是重複內容,所以在給出具體數字之前,請先在您自己的流量上測量這一比例。單一任務成本計算器(英文)可以用您自己的提示詞長度和用量算出這兩個維度。
Ertas 是一家應用型 AI 實驗室,自適應模型端點是我們把訓練好的模型投入正式環境的方式:一個用您的任務和您所在領域的資料訓練的模型,透過相容 OpenAI 的 API 提供服務。新版本在背景用您的 AI 代理流量訓練,按您的評估集評分,只有經您核准才會上線。如果新版本沒有達標,當前模型繼續提供服務。 它可以由 Ertas 託管,也可以部署在您自己的雲端或地端。該端點目前僅限受邀企業使用,我們正在開發一個更精簡的版本,讓更多企業可以接入。
常見問題
ChatGPT 是領域專用大語言模型嗎?
ChatGPT 背後是用廣泛資料訓練的通用模型。給它指令和文件,它可以藉助提示詞和檢索在某個領域內工作,而模型本身仍然是通用的。領域專用大語言模型的訓練則偏向某一個領域。
領域特定語言和領域專用大語言模型有什麼區別?
領域特定語言是為某一用途設計的小型程式語言,比如用於資料庫的 SQL。領域專用大語言模型是用某一領域的文本訓練的大語言模型。兩者只是名稱相近。
如何建構領域專用大語言模型?
從一個現有的開放模型出發;如果基礎模型缺少該領域的詞彙,就先用領域原始文本繼續預訓練,再用您需要的任務範例做微調。會變化的事實交給檢索。像 BloombergGPT 那樣用數千億 token 從零訓練,是成本最高的路線。
領域專用大語 言模型比通用模型更好嗎?
剛建構出來時,它們在本領域任務上往往更好,但隨著通用模型在公開知識上不斷進步,這種優勢可能縮小。持久的優勢來自私有知識和通用模型從未訓練過的重複工作,也來自能把模型部署在資料必須留存的地方。
如何評估領域專用大語言模型?
用取自該領域真實工作的保留集,在評分之前固定評估規程,並為每一項比較給出信賴區間。我們的領域專用大語言模型評估指南以 QMSum 研究為例,完整講解了這套方法。
什麼是領域適配?
領域適配是把通用模型調整到某一領域的統稱,方法包括繼續預訓練、微調,或兩者結合。術語表條目介紹了各個階段。
簡短版
領域專用大語言模型掌握一個領域,能處理其中的多種任務;任務專用模型只做一項工作。兩者很適合疊加:先打好領域知識的底子,再在上面訓練任務能力,會變化的事實交給檢索。各領域的公開知識會不斷進入通用模型,所以訓練的持久價值在於您自己的資料和您團隊反覆在做的工作。想深入了解知識如何進入模型,請讀繼續預訓練、微調與 RAG。
資料來源,均於 2026 年 10 月 29 日查閱:IBM,"What is a domain-specific LLM?";Gururangan 等,"Don't Stop Pretraining"(2020);Wu 等,"BloombergGPT"(2023);Colombo 等,"SaulLM-7B"(2024);Labrak 等,"BioMistral"(2024);Cheng 等,"Adapting Large Language Models to Domains via Reading Comprehension"(2023);Cadence,Maestro 發布公告(2026 年 10 月 26 日);Manufacturers' Monthly,"Choosing between domain-specific and general purpose AI models"(2026 年 10 月 20 日)。我們的研究:QMSum 研究。

