领域专用大语言模型评估，衡量的是一个模型能否胜任某一领域的工作：样本取自这项工作，打分规则在任何人看到结果之前就已固定。一套可靠的评估包含四个部分：取自真实工作的留出集、冻结的评估规程、事先声明的通过阈值，以及每项比较的置信区间。本指南借助我们 QMSum 研究（arXiv 2609.25028）的方法逐一讲解。在该研究中，我们在同一套规程下重新评分或生成了 15 个摘要系统。
QMSum 是一个公开的按查询生成会议摘要的基准。它的结论仅限于该基准和自动指标。本指南把这套方法推广到其他领域，而研究中的具体数字只适用于 QMSum。
什么是领域专用大语言模型评估？
领域专用大语言模型评估，是用某一领域的输入、输出和失败案例测试模型，并以该领域专家认可的参考答案为标准。它回答的问题比排行榜更具体：这个模型在这项工作上，能否达到您团队需要的水准。
公开的领域基准是存在的，可以作为有用的底线。LegalBench（2023）收集了 162 项由法律专业人士设计并手工编写的法律推理任务。FinanceBench（2023）包含 10,231 个关于上市公司的问题；作者报告称，在 150 个抽样案例上，配备检索系统的 GPT-4-Turbo 有 81% 的问题答错 或拒绝回答。两者都于 2026 年 10 月 29 日在原始出处查阅。公开基准告诉您各个模型在一个领域里的总体表现；您自己的留出集告诉您某个模型在您的工作上的表现。
为什么通用基准测不出领域表现？
通用基准抽样的是广泛的知识，而一家企业的工作有自己的输入、格式和边缘情况。Raju 等人之所以构建领域专用评估集（2024），是因为他们考察的通用评估框架在法律、医学和多语言等领域缺乏多样性。
输入的形式和主题同样重要。在 QMSum 研究中，一个第三方发布的摘要专用模型，当同样的会议改以 2,000 词的检索片段输入、而不是它训练时用的长文本输入时，ROUGE-1 下降了 6.30；用片段输入训练之后，损失又补了回来。在干净的基准输入上得分不错的模型，面对您的系统实际产生的输入时，可能达不到要求。所以，请用实际提供给模型的输入来评估。
如何构建领域评估集？
用真实工作构建，请领域专家审核，并在任何模型接触之前完成划分。
- 从生产环境中取样。 日志、工单、文档和过往决策，保持您的系统接收它们时的形式。我们关于用真实对话构建评估集的指南介绍了取样和标注方法。
- 覆盖任务构成和疑难案例。 让每类任务的占比与其在流量中的占比一致，再补上那些一旦出错代价最大的少见案例。
- 请领域专家编写或审核参考答案。 在专业领域里，参考答案是成本最高的部分，评估的质量也取决于它。
- 划分验证集和测试集。 构建过程中的每个决定都依据验证集。测试集对每个要报告的系统只评分一次。
- 不让它进入训练。 任何进入训练集的样本，都会失去衡量作用。
领域评估集需要多大？
要大到让您关心的差异超过噪声，而噪声通常比团队预想的大。QMSum 论文在一个包含 281 个查询的测试集上直接测量了这一点。
| 样本 | 95% 置信区间宽度（ROUGE-1） |
|---|---|
| 从测试集中抽取 50 个查询 | 约 5.6 分 |
| 全部 281 个测试查询，配对比较 | 约 1.8 到 2.8 分 |
只用 50 个样本时，仅凭偶然就可能打乱研究结果表中大多数相邻系统的排序。在完整测试集上，低于约 1 个 ROUGE-1 分的差异无法检测，论文把这称为该基准的检测下限。请对您自己的分数做 bootstrap 重抽样，找出您的评估集的检测下限，再按您需要识别的最小差异来确定评估集规模。
冻结的评估规程是什么意思？
冻结的评估规程，是在第一次比较之前就固定所有可能影响分数的设置，让结果反映模型本身，而不受评估者选择的影响。在 QMSum 研究中，一个提交到代码库的模块固定了随机种子、生成长度上限、解码方式、检索设置和提示词。已发布代码中的一项测试会逐字节核对提示词，被改动的副本在产生结果之前就会测试失败。
有两条规则保证了测试集的干净。所有选择都依据验证集，每个报告的系统只接触测试集一次。最终采用的系统在一处偏离了冻结规程，即检索窗口和片段预算；论文标明了这一偏离，并同时报告了严格遵循规程的结果（ROUGE-1 33.39）和最终采用的结果（35.41）。
在您自己的评估中，请把规程写下来，和评估集一起做版本管理，任何改动都视为一套新规程。
通过阈值该如何设定？
在打分之前声明：使用哪项指标、新模型必须 超出多少，以及哪些退化无论平均分如何都会一票否决。看过结果之后才定的阈值，会不自觉地向结果靠拢。
每个阈值都要高于您测得的噪声。在 QMSum 研究中，仅更换训练随机种子，验证集 ROUGE-1 就变动了 1.59 分，单凭这一点就足以抹掉论文测得的一项配置提升。如果通过阈值小于这个范围，一次运气好的训练就可能蒙混过关。一个实用的默认做法是：阈值同时高于评估集的检测下限和随机种子带来的波动范围，另外准备一个由过往失败案例组成的回归测试集，必须继续全部通过。
如何判断差异是真实的？
为每项比较给出置信区间，区间跨过零的，一律视为尚无定论。QMSum 论文使用配对 bootstrap：对测试查询有放回地重抽样 10,000 次，在同一次重抽样上为两个系统打分，取差值的第 2.5 和第 97.5 百分位数。配对可以抵消每个查询共有的难度，所以区间比分别比较两个平均值要窄。
实践中有三点值得注意：
- 样本同源时，按组重抽样。 QMSum 的 281 个测试查询来自 35 场会议，按整场会议重抽样后，区间变宽了。一个更小的专用模型 ROUGE-1 为 36.33，我们的系统为 35.41，按会议聚类计算的差值区间为 -0.27 到 +2.22，跨过了零，因此该基准无法区分两者。
- 手动加入训练带来的波动。 对查询做 bootstrap 无法反映换一个训练随机种子会得到什么分数，所以上文的随机种子波动范围应该和每个差值一起报告。
- 撤回没有通过检验的结论。 论文早先报告的一个相对托管模型 +0.96 ROUGE-1 的优势，因区间（-0.30 到 +2.24）跨过零而被撤回。
领域评估应该衡量什么？
衡量业务真正需要的结果，再确认这项指标不会被长度或风格钻空子。QMSum 研究说明了原因。五个托管的专有模型以零样本方式、在同一条简洁提示词下运行；在基于参考答案重叠度的评分下，一个已发布的专用模型对每一个都领先至少 6.2 ROUGE-1。论文对这一排序设了限定：托管模型的输出更长，而且没有做人工评估或事实性评估。基于重叠度的分数会奖励与参考答案长度相近的输出，所以评估开放式回答时，需要同时检查输出长度，并配合专家审核或事实性检查。
用大语言模型当评审也有自身的偏差。Zheng 等人在"Judging LLM-as-a-Judge"（2023）中报告了位置偏差、冗长偏差和自我偏好偏差，同时指出能力强的评审模型与人类偏好的一致率超过 80%。EvalSense（2026 年 2 月）提供了自动化的元评估工具，用扰动数据检验不同评估方法的可靠性，并在临床记录上做了测试。在信任 一个评审模型之前，请先在您自己的样本上把它与专家标注做对比。
| 衡量什么 | 如何打分 |
|---|---|
| 任务准确率 | 完全匹配或按字段匹配 |
| 回答或摘要质量 | 参考指标加专家审核 |
| 事实错误 | 对照原始文档核查 |
| 输出格式 | 结构校验 |
| 输出长度 | 与参考答案长度之比 |
| 退化 | 固定的过往失败案例集 |
| 单任务成本 | 每任务 token 数乘以每 token 价格 |
最后一行之所以属于评估，是因为它决定一个通过评估的模型是否值得投入运行。训练好的模型从两个方面降低成本：每 token 价格更低，每项任务所用的 token 更少。单一任务成本计算器（英文）可以把这两项和质量结果放在一起看。
评估如何把关模型上线？
评估集、规程和阈值一旦固定，评估就成了每个新模型版本必须通过的关口。候选版本先在冻结的评估集上打分，用配对区间与正在服务的模型比较，再通过回归测试集检查，最后由负责这项工作的人审核。继续训练可能在不知不觉中削弱模型原有的能力，这正是我们关于微调中的灾难性遗忘一文讨论的问题，而回归测试集就是用来发现它的。
Ertas 是一家应用型 AI 实验室，自适应模型端点在生产环境中执行的正是这道关口。一个用您的任务训练的模型通过兼容 OpenAI 的 API 提供服务。新版本在后台用您的智能体流量训练，按您的评估集打分，只有经您批准才会上线。如果新版本没有达标，当前模型继续提供服务。它可以由 Ertas 托管，也可以部署在您自己的云上或本地。该端点目前仅限受邀企业使用，我们正在开发一个更简化的版本，让更多企业可以接入。
常见问题
什么是大语言模型评估框架？
大语言模型评估框架，是由评估集、打分方法、评估规程和判定规则组成的固定组合，共同决定一个模型是否够用。EvalSense 等开源工具提供了其中的一部分。 规程和阈值需要由您来设定。
评估一个大语言模型需要多少样本？
要足以让您需要识别的差异超过噪声。在 QMSum 研究中，50 个样本的 95% 置信区间宽约 5.6 个 ROUGE-1 分，即使用全部 281 个样本，低于约 1 分的差异仍无法检测。请对您自己的分数做 bootstrap，找出检测下限。
领域评估可以用大语言模型当评审吗？
可以，但要先检验。在 Zheng 等人 2023 年的研究中，能力强的评审模型与人类偏好的一致率超过 80%，同一研究也发现了位置偏差、冗长偏差和自我偏好偏差。请先在您自己的样本上把评审模型与专家标注做对比。
应该使用公开的领域基准吗？
把它们当作底线和基本检查。LegalBench、FinanceBench 等评估集能显示模型在一个领域里的总体表现。由您的工作构建的留出集，才能决定一个模型是否可以用于这项工作。
领域评估应该多久重跑一次？
每个新模型版本都要跑，工作本身发生变化时也要跑。新的失败案例一出现就加入回归测试集，规程有任何改动都视为新的基线。
简短版
用真实工作构建评估集，请领域专家审核，在训练之前完成划分，并冻结评估规程。通过阈值要高于测得的噪声，每项比较都给出区间，跨过零的区间视为尚无定论。确认指标奖励的是正确的东西，并把单任务成本和质量放在一起看。想了解领域模型在评估之前是如何构建的，请读什么是领域专用大语言模型。
资料来源，均于 2026 年 10 月 29 日查阅：Guha 等，"LegalBench"（2023）；Islam 等，"FinanceBench"（2023）；Raju 等，"Constructing Domain-Specific Evaluation Sets for LLM-as-a-judge"（2024）；Zheng 等，"Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena"（2023）；Dejl 等，"EvalSense"（2026）。我们的研究：QMSum 研究、其论文和代码。