跳到正文
    Ertas
    Back to blog

    什么是领域专用大语言模型?附实例

    领域专用大语言模型掌握一个领域的词汇、事实和惯例,并能处理该领域内的多种任务。本文给出金融、法律、医学和芯片设计领域有出处的实例,说明它与只做一项工作的任务专用模型有什么区别,两者如何叠加组合,以及什么情况下通用模型同样够用、训练好的模型对成本有什么影响。

    A pale astronomical impression in graphite and copper, with a soft amber penumbra on warm paper.A flowing heliospheric ribbon in copper and ivory with a soft vermilion flare.

    领域专用大语言模型(domain-specific LLM)是经过训练、掌握某一领域的词汇、事实和惯例的大语言模型,因此能处理该领域内的多种任务。金融、法律、医学和芯片设计都有已发表的实例。任务专用模型的范围更窄:它只为一项工作而训练,比如按查询总结一场会议,或者从发票中提取字段,评估也只看这一项工作。

    这两个概念常常被放在同一个定义里。IBM 的说明文章(2026 年 10 月 29 日查阅)把领域专用大语言模型描述为"trained or fine-tuned to specialize in a specific field or subject area, allowing it to perform domain-specific tasks more accurately and efficiently than a general-purpose LLM"(经过训练或微调、专精于某一领域,从而比通用大语言模型更准确、更高效地完成该领域任务的模型)。这句话把两层意思都包含了进去。本文把它们分开讲,因为两者的训练数据、构建方式和评估方法各不相同,而大多数实际系统会同时用到这两种模型。

    关于搜索词的一点说明:在软件领域,"领域特定语言"(domain-specific language)指 SQL 这类小型编程语言,所以搜索"domain-specific language models"时,结果会混杂两个主题。本文讨论的是大语言模型。

    什么是领域专用大语言模型?

    领域专用大语言模型,是用某一领域的文本训练、让知识向该领域偏移的语言模型。它读该领域的文档时误解更少,术语用得准确,也遵循领域惯例,比如法律文书的引用格式或临床记录的结构。在领域之内它依然是通用的:同一个金融模型可以回答关于财报文件的问题,判断新闻情绪,也能起草摘要。

    构建这类模型有三条路线,按成本从高到低排列:

    • 从零训练,使用领域文本与通用文本的混合数据,BloombergGPT 就是这样做的。
    • 继续预训练,在已有模型上用领域原始文本继续训练,SaulLM-7B 和 BioMistral 就是这样做的。
    • 微调,用领域指令和示例训练,通常放在继续预训练之后。

    我们关于继续预训练、微调与 RAG的文章讲解了每条路线适用的情形,以及在什么情况下完全不需要训练、靠检索就能解决问题。

    领域专用大语言模型与任务专用模型有什么区别?

    领域专用大语言模型掌握一个领域,能处理其中的多种任务;任务专用模型只做一项工作,也只按这项工作来衡量。区别体现在四个方面。

    领域专用大语言模型任务专用模型
    范围一个领域,多种任务一项工作
    训练数据领域原始文本,再加指令该工作的输入和输出
    常用方法继续预训练,再微调用任务示例微调
    评估方式一组领域基准来自该工作的留出集
    例子法律大语言模型合同条款抽取模型

    最快的判断办法是看评估。如果一个留出集就能决定模型是否够用,您在构建的是任务模型;如果需要一整套覆盖多种任务的测试,您在构建的是领域模型。

    学术研究在 2020 年就划出了同样的界线。Gururangan 等人在"Don't Stop Pretraining"中,跨四个领域、八项分类任务发现:在领域内进行第二阶段预训练(领域自适应预训练)能带来提升;在此之后,再用任务本身的无标注数据做适配,表现还会进一步提高。领域知识和任务能力是两种不同的提升,后者建立在前者之上。

    我们的基础模型与任务专用模型一文深入讲解任务这一侧:什么是任务专用模型、它在什么情况下胜出,以及一家企业的工作如何拆分给多个专用模型。

    领域专用大语言模型有哪些实例?

    已发表的领域专用大语言模型覆盖金融、法律、医学和工程。以下每个实例都于 2026 年 10 月 29 日在原始出处查阅。

    模型领域路线发布时间
    BloombergGPT金融从零训练2023 年 3 月
    SaulLM-7B法律继续预训练,再做指令微调2024 年 3 月
    BioMistral医学在 PubMed Central 上继续预训练2024 年 2 月
    Cheng 等人的模型生物医学、金融、法律用阅读理解形式的文本继续预训练2023 年 9 月
    Cadence Maestro芯片与系统设计领域后训练2026 年 10 月 26 日

    表中每条路线都有人在用,而最新的一例把领域模型和通用模型组合在了一起。

    BloombergGPT 是一个 500 亿参数的模型,训练数据包括 3,630 亿 token 的金融数据集和 3,450 亿 token 的通用数据。其论文报告称,它在金融任务上大幅领先现有模型,同时没有牺牲在通用大语言模型基准上的表现。

    SaulLM-7B 以 Mistral 7B 为基础,在超过 300 亿 token 的英文法律语料上训练,之后再用法律数据集做指令微调,详见其论文。

    BioMistral 是在 PubMed Central 上继续预训练的 Mistral,并在 10 项医学问答任务上做了评估,详见其论文。

    Cheng 等人在"Adapting Large Language Models to Domains via Reading Comprehension"中发现,用领域原始文本继续预训练能让模型获得领域知识,但会严重削弱它根据提示词回答问题的能力。把这些文本改写成阅读理解练习后,三个领域的结果都有提升;作者称他们的 7B 模型可以与 BloombergGPT-50B 等大得多的领域模型相竞争。

    Cadence Maestro 于 2026 年 10 月 26 日发布,是一组经过领域后训练的模型,由 Cadence 的智能体与前沿模型、开放权重模型一起调度使用。Cadence 公布的初步结果是:与通用基础模型相比,质量最高提升 30%,token 效率最高提升 5 倍;首批模型将于 2026 年第四季度提供给部分抢先体验客户。

    领域模型和任务模型如何组合?

    组合方式有三种,生产系统通常不止用一种。

    1. 分层训练。 先做领域预训练,再在其上做任务微调。SaulLM-7B 就是这个顺序,Gururangan 等人的结果说明了它为什么有效:每个阶段都带来各自的提升。
    2. 路由。 通用模型或领域模型处理开放式请求,任务专用模型处理大量重复的工作。Cadence 的设计是一个公开的例子:智能体把目标拆解开,再把每一步交给领域模型、前沿模型或开放权重模型。
    3. 检索。 会变化的事实放进检索索引,行为、格式和任务能力训练进模型。这是我们每个项目都遵循的原则。

    在我们自己的研究中,最大的提升来自让模型在它实际会看到的输入上训练。在我们的 QMSum 研究(arXiv 2609.25028)中,同一个基础模型改为读取检索出的会议记录片段后,仅凭更好的输入,测试集上的 ROUGE-1 就提高了 1.55;再用同样形式的片段输入训练它,ROUGE-1 又提高了 5.29,95% 置信区间为 +4.02 到 +6.56。检索和训练一起用效果最好,而大部分提升来自训练。

    什么情况下通用模型同样够用?

    当领域知识是公开的,而且已经充分包含在通用模型的训练数据里时,通用模型同样够用。Manufacturers' Monthly 对领域专用模型与通用模型的比较(2026 年 10 月 20 日)指出,更新的通用模型出现后,BloombergGPT 的领先优势缩小了;后来,一个提示词写得好的通用模型在执业医师考试题上追平了一个经过医学微调的模型。

    这个规律说明了领域训练的价值会保留在哪里:通用模型从未见过的知识。您所在组织的文档、内部词汇、决策和格式,都不在任何公开训练集里;您的团队每天在做的具体工作也一样。同一篇文章还提到企业自建模型的另一个原因:数据隐私和监管要求让他们无法使用外部托管的 AI 服务。

    情形更合适的选择
    一个专业领域内的多种任务领域专用大语言模型
    大量重复的一项工作任务专用模型
    公开且覆盖充分的领域知识写好提示词的通用模型
    每周都在变化的事实检索
    基础模型从未见过的内部词汇继续预训练或微调
    必须留在自有基础设施内的数据训练好的开放模型

    大多数团队最后会组合使用:一个能力强的模型处理开放式工作,训练好的专用模型处理重复工作,检索负责提供事实。

    训练好的模型对成本有什么影响?

    训练好的模型,无论是领域模型还是任务模型,都从两个方面降低账单:每 token 价格低于大型前沿模型;每项任务所用的 token 也更少,因为每次提示词里重复的指令、术语表和上下文已经训练进模型本身。第二项节省取决于每次提示词中有多少是重复内容,所以在给出具体数字之前,请先在您自己的流量上测量这一比例。单一任务成本计算器(英文)可以用您自己的提示词长度和用量算出这两个维度。

    Ertas 是一家应用型 AI 实验室,自适应模型端点是我们把训练好的模型投入生产的方式:一个用您的任务和您所在领域的数据训练的模型,通过兼容 OpenAI 的 API 提供服务。新版本在后台用您的智能体流量训练,按您的评估集打分,只有经您批准才会上线。如果新版本没有达标,当前模型继续提供服务。它可以由 Ertas 托管,也可以部署在您自己的云上或本地。该端点目前仅限受邀企业使用,我们正在开发一个更简化的版本,让更多企业可以接入。

    常见问题

    ChatGPT 是领域专用大语言模型吗?

    ChatGPT 背后是用广泛数据训练的通用模型。给它指令和文档,它可以借助提示词和检索在某个领域内工作,而模型本身仍然是通用的。领域专用大语言模型的训练则偏向某一个领域。

    领域特定语言和领域专用大语言模型有什么区别?

    领域特定语言是为某一用途设计的小型编程语言,比如用于数据库的 SQL。领域专用大语言模型是用某一领域的文本训练的大语言模型。两者只是名称相近。

    如何构建领域专用大语言模型?

    从一个现有的开放模型出发;如果基础模型缺少该领域的词汇,就先用领域原始文本继续预训练,再用您需要的任务示例做微调。会变化的事实交给检索。像 BloombergGPT 那样用数千亿 token 从零训练,是成本最高的路线。

    领域专用大语言模型比通用模型更好吗?

    刚构建出来时,它们在本领域任务上往往更好,但随着通用模型在公开知识上不断进步,这种优势可能缩小。持久的优势来自私有知识和通用模型从未训练过的重复工作,也来自能把模型部署在数据必须留存的地方。

    如何评估领域专用大语言模型?

    用取自该领域真实工作的留出集,在打分之前固定评估规程,并为每一项比较给出置信区间。我们的领域专用大语言模型评估指南以 QMSum 研究为例,完整讲解了这套方法。

    什么是领域适配?

    领域适配是把通用模型调整到某一领域的统称,方法包括继续预训练、微调,或两者结合。术语表条目介绍了各个阶段。

    简短版

    领域专用大语言模型掌握一个领域,能处理其中的多种任务;任务专用模型只做一项工作。两者很适合叠加:先打好领域知识的底子,再在上面训练任务能力,会变化的事实交给检索。各领域的公开知识会不断进入通用模型,所以训练的持久价值在于您自己的数据和您团队反复在做的工作。想深入了解知识如何进入模型,请读继续预训练、微调与 RAG。


    资料来源,均于 2026 年 10 月 29 日查阅:IBM,"What is a domain-specific LLM?";Gururangan 等,"Don't Stop Pretraining"(2020);Wu 等,"BloombergGPT"(2023);Colombo 等,"SaulLM-7B"(2024);Labrak 等,"BioMistral"(2024);Cheng 等,"Adapting Large Language Models to Domains via Reading Comprehension"(2023);Cadence,Maestro 发布公告(2026 年 10 月 26 日);Manufacturers' Monthly,"Choosing between domain-specific and general purpose AI models"(2026 年 10 月 20 日)。我们的研究:QMSum 研究。