領域專用大語言模型評估，衡量的是一個模型能否勝任某一領域的工作：樣本取自這項工作，評分規則在任何人看到結果之前就已固定。一套可靠的評估包含四個部分：取自真實工作的保留集、凍結的評估規程、事先聲明的通過閾值，以及每項比較的信賴區間。本指南藉助我們 QMSum 研究（arXiv 2609.25028）的方法逐一講解。在該研究中，我們在同一套規程下重新評分或生成了 15 個摘要系統。
QMSum 是一個公開的按查詢生成會議摘要的基準。它的結論僅限於該基準和自動指標。本指南把這套方法推廣到其他領域，而研究中的具體數字只適用於 QMSum。
什麼是領域專用大語言模型評估？
領域專用大語言模型評估，是用某一領域的輸入、輸出和失敗案例測試模型，並以該領域專家認可的參考答案為標準。它回答的問題比排行榜更具體：這個模型在這項工作上，能否達到您團隊需要的水準。
公開的領域基準是存在的，可以作為有用的底線。LegalBench（2023）收集了 162 項由法律專業人士設計並手工編寫的法律推理任務。FinanceBench（2023）包含 10,231 個關於上市公司的問題；作者報告稱，在 150 個抽樣案例上，配備檢索系統的 GPT-4-Turbo 有 81% 的問題答錯 或拒絕回答。兩者都於 2026 年 10 月 29 日在原始出處查閱。公開基準告訴您各個模型在一個領域裡的總體表現；您自己的保留集告訴您某個模型在您的工作上的表現。
為什麼通用基準測不出領域表現？
通用基準抽樣的是廣泛的知識，而一家企業的工作有自己的輸入、格式和邊緣情況。Raju 等人之所以建構領域專用評估集（2024），是因為他們考察的通用評估框架在法律、醫學和多語言等領域缺乏多樣性。
輸入的形式和主題同樣重要。在 QMSum 研究中，一個第三方發布的摘要專用模型，當同樣的會議改以 2,000 詞的檢索片段輸入、而不是它訓練時用的長文本輸入時，ROUGE-1 下降了 6.30；用片段輸入訓練之後，損失又補了回來。在乾淨的基準輸入上得分不錯的模型，面對您的系統實際產生的輸入時，可能達不到要求。所以，請用實際提供給模型的輸入來評估。
如何建構領域評估集？
用真實工作建構，請領域專家審核，並在任何模型接觸之前完成劃分。
- 從正式環境中取樣。 日誌、工單、文件和過往決策，保持您的系統接收它們時的形式。我們關於用真實對話建構評估集的指南介紹了取樣和標註方法。
- 覆蓋任務構成和疑難案例。 讓每類任務的佔比與其在流量中的佔比一致，再補上那些一旦出錯代價最大的少見案例。
- 請領域專家編寫或審核參考答案。 在專業領域裡，參考答案是成本最高的部分，評估的品質也取決於它。
- 劃分驗證集和測試集。 建構過程中的每個決定都依據驗證集。測試集對每個要報告的系統只評分一次。
- 不讓它進入訓練。 任何進入訓練集的樣本，都會失去衡量作用。
領域評估集需要多大？
要大到讓您關心的差異超過噪聲，而噪聲通常比團隊預想的大。QMSum 論文在一個包含 281 個查詢的測試集上直接測量了這一點。
| 樣本 | 95% 信賴區間寬度（ROUGE-1） |
|---|---|
| 從測試集中抽取 50 個查詢 | 約 5.6 分 |
| 全部 281 個測試查詢，配對比較 | 約 1.8 到 2.8 分 |
只用 50 個樣本時，僅憑偶然就可能打亂研究結果表中大多數相鄰系統的排序。在完整測試集上，低於約 1 個 ROUGE-1 分的差異無法檢測，論文把這稱為該基準的檢測下限。請對您自己的分數做 bootstrap 重抽樣，找出您的評估集的檢測下限，再按您需要識別的最小差異來確定評估集規模。
凍結的評估規程是什麼意思？
凍結的評估規程，是在第一次比較之前就固定所有可能影響分數的設置，讓結果反映模型本身，而不受評估者選擇的影響。在 QMSum 研究中，一個提交到程式碼庫的模塊固定了隨機種子、生成長度上限、解碼方式、檢索設置和提示詞。已發布程式碼中的一項測試會逐字節核對提示詞，被改動的副本在產生結果之前就會測試失敗。
有兩條規則保證了測試集的乾淨。所有選擇都依據驗證集，每個報告的系統只接觸測試集一次。最終採用的系統在一處偏離了凍結規程，即檢索窗口和片段預算；論文標明了這一偏離，並同時報告了嚴格遵循規程的結果（ROUGE-1 33.39）和最終採用的結果（35.41）。
在您自己的評估中，請把規程寫下來，和評估集一起做版本管理，任何改動都視為一套新規程。
通過閾值該如何設定？
在評分之前聲明：使用哪項指標、新 模型必須超出多少，以及哪些退化無論平均分如何都會一票否決。看過結果之後才定的閾值，會不自覺地向結果靠攏。
每個閾值都要高於您測得的噪聲。在 QMSum 研究中，僅更換訓練隨機種子，驗證集 ROUGE-1 就變動了 1.59 分，單憑這一點就足以抹掉論文測得的一項配置提升。如果通過閾值小於這個範圍，一次運氣好的訓練就可能矇混過關。一個實用的預設做法是：閾值同時高於評估集的檢測下限和隨機種子帶來的波動範圍，另外準備一個由過往失敗案例組成的迴歸測試集，必須繼續全部通過。
如何判斷差異是真實的？
為每項比較給出信賴區間，區間跨過零的，一律視為尚無定論。QMSum 論文使用配對 bootstrap：對測試查詢有放回地重抽樣 10,000 次，在同一次重抽樣上為兩個系統評分，取差值的第 2.5 和第 97.5 百分位數。配對可以抵消每個查詢共有的難度，所以區間比分別比較兩個平均值要窄。
實踐中有三點值得注意：
- 樣本同源時，按組重抽樣。 QMSum 的 281 個測試查詢來自 35 場會議，按整場會議重抽樣後，區間變寬了。一個更小的專用模型 ROUGE-1 為 36.33，我們的系統為 35.41，按會議聚類計算的差值區間為 -0.27 到 +2.22，跨過了零，因此該基準無法區分兩者。
- 手動加入訓練帶來的波動。 對查詢做 bootstrap 無法反映換一個訓練隨機種子會得到什麼分數，所以上文的隨機種子波動範圍應該和每個差值一起報告。
- 撤回沒有通過檢驗的結論。 論文早先報告的一個相對託管模型 +0.96 ROUGE-1 的優勢，因區間（-0.30 到 +2.24）跨過零而被撤回。
領域評估應該衡量什麼？
衡量業務真正需要的結果，再確認這項指標不會被長度或風格鑽空子。QMSum 研究說明了原因。五個託管的專有模型以零樣本方式、在同一條簡潔提示詞下執行；在基於參考答案重疊度的評分下，一個已發布的專用模型對每一個都領先至少 6.2 ROUGE-1。論文對這一排序設了限定：託管模型的輸出更長，而且沒有做人工評估或事實性評估。基於重疊度的分數會獎勵與參考答案長度相近的輸出，所以評估開放式回答時，需要同時檢查輸出長度，並配合專家審核或事實性檢查。
用大語言模型當評審也有自身的偏差。Zheng 等人在"Judging LLM-as-a-Judge"（2023）中報告了位置偏差、冗長偏差和自我偏好偏差，同時指出能力強的評審模型與人類偏好的一致率超過 80%。EvalSense（2026 年 2 月）提供了自動化的元評估工具，用擾動資料檢驗不同評估方法的可靠性，並在臨床記錄上做了測試 。在信任一個評審模型之前，請先在您自己的樣本上把它與專家標註做對比。
| 衡量什麼 | 如何評分 |
|---|---|
| 任務準確率 | 完全匹配或按欄位匹配 |
| 回答或摘要品質 | 參考指標加專家審核 |
| 事實錯誤 | 對照原始文件核查 |
| 輸出格式 | 結構校驗 |
| 輸出長度 | 與參考答案長度之比 |
| 退化 | 固定的過往失敗案例集 |
| 單任務成本 | 每任務 token 數乘以每 token 價格 |
最後一行之所以屬於評估，是因為它決定一個通過評估的模型是否值得投入執行。訓練好的模型從兩個方面降低成本：每 token 價格更低，每項任務所用的 token 更少。單一任務成本計算器（英文）可以把這兩項和品質結果放在一起看。
評估如何把關模型上線？
評估集、規程和閾值一旦固定，評估就成了每個新模型版本必須通過的關口。候選版本先在凍結的評估集上評分，用配對區間與正在服務的模型比較，再通過迴歸測試集檢查，最後由負責這項工作的人審核。繼續訓練可能在不知不覺中削弱模型原有的能力，這正是我們關於微調中的災難性遺忘一文討論的問題，而回歸測試集就是用來發現它的。
Ertas 是一家應用型 AI 實驗室，自適應模型端點在正式環境中執行的正是這道關口。一個用您的任務訓練的模型透過相容 OpenAI 的 API 提供服務。新版本在背景用您的 AI 代理流量訓練，按您的評估集評分，只有經您核准才會上線。如果新版本沒有達標，當前模型繼續提供服務。它可以由 Ertas 託管，也可以部署在您自己的雲端或地端。該端點目前僅限受邀企業使用，我們正在開發一個更精簡的版本，讓更多企業可以接入。
常見問題
什麼是大語言模型評估框架？
大語言模型評估框架，是由評估集、評分方法、評估規程和判定規則組成的固定組合，共同決定一個模型是否夠用。EvalSense 等開源工具提供了其中的一部分。規程和閾值需要由您來設定。
評估一個大語言模型需要多少樣本？
要足以讓您需要識別的差異超過噪聲。在 QMSum 研究中，50 個樣本的 95% 信賴區間寬約 5.6 個 ROUGE-1 分，即使用全部 281 個樣本，低於約 1 分的差異仍無法檢測。請對您自己的分數做 bootstrap，找出檢測下限。
領域評估可以用大語言模型當評審嗎？
可以，但要先檢驗。在 Zheng 等人 2023 年的研究中，能力強的評審模型與人類偏好的一致率超過 80%，同一研究也發現了位置偏差、冗長偏差和自我偏好偏差。請先在您自己的樣本上把評審模型與專家標註做對比。
應該使用公開的領域基準嗎？
把它們當作底線和基本檢查。LegalBench、FinanceBench 等評估集能顯示模型在一個領域裡的總體表現。由您的工作建構的保留集，才能決定一個模型是否可以用於這項工作。
領域評估應該多久重跑一次？
每個新模型版本都要跑，工作本身發生變化時也要跑。新的失敗案例一出現就加入迴歸測試集，規程有任何改動都視為新的基線。
簡短版
用真實工作建構評估集，請領域專家審核，在訓練之前完成劃分，並凍結評估規程。通過閾值要高於測得的噪聲，每項比較都給出區間，跨過零的區間視為尚無定論。確認指標獎勵的是正確的東西，並把單任務成本和品質放在一起看。想了解領域模型在評估之前是如何建構的，請讀什麼是領域專用大語言模型。
資料來源，均於 2026 年 10 月 29 日查閱：Guha 等，"LegalBench"（2023）；Islam 等，"FinanceBench"（2023）；Raju 等，"Constructing Domain-Specific Evaluation Sets for LLM-as-a-judge"（2024）；Zheng 等，"Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena"（2023）；Dejl 等，"EvalSense"（2026）。我們的研究：QMSum 研究、其論文和程式碼。