基礎模型與特定任務模型的差異,歸根究柢是廣度與專注之間的取捨。基礎模型用廣泛的資料訓練,可以適配許多任務。特定任務模型只為一項工作而訓練,而且大多數一開始就是一個基礎模型,之後再用這項工作的範例繼續訓練。工作還開放、還在變化,或者用量不大時,基礎模型是更好的選擇。一旦同一項工作大量重複、輸 出可以核對,特定任務模型就會勝出,因為它每項任務的成本更低,也更容易穩定在既定的品質標準上。
本文介紹兩類模型各是什麼、各自在什麼時候勝出、今天就能下載的特定任務模型範例,以及它們與領域專用模型的差異。最後談談我們實驗室的出發點:一家企業的工作可以拆分給多個專用模型,每個只為一項工作訓練,再透過路由組合起來。
什麼是基礎模型?
基礎模型是用廣泛資料訓練、可以適配各種任務的大型模型。這個術語出自 Rishi Bommasani 等人 2021 年在史丹佛基礎模型研究中心(CRFM)發表的報告 "On the Opportunities and Risks of Foundation Models"。報告把這類模型描述為「在大規模的廣泛資料上訓練,並能適配各種下游任務」的模型,當時舉的例子是 BERT、DALL-E 和 GPT-3。如今這個標籤涵蓋 GPT、Claude、Gemini 系列,以及 Llama、Qwen、Gemma 等開放權重模型系列。
適配基礎模型有兩種方式:一是寫提示詞,在每次請求裡放入指令和範例;二是用自己的資料繼續訓練它。同一份報告也點出了其中的隱憂:「基礎模型的缺陷會被下游所有適配模型繼承。」每個建立在基礎模型之上的特定任務模型,都會同時帶著底座的長處和短處出發,所以專用模型需要有自己的評估。
什麼是特定任務模型?
特定任務模型是為一項明確工作而訓練的模型,輸入類型固定,輸出類型也固定。替客服工單分類、從發票中擷取欄位、決定代理該呼叫哪個工具、替搜尋結果排序、針對某個問題摘要一場會議,這些都各是一項任務。因為工作範圍窄,它就有測試集:您可以說清楚正確答案長什麼樣子,並衡量模型給出正確答案的頻率。
如今大多數特定任務模型,是在基礎模型之上用任務範例繼續訓練而來,方法是微調,或者從更大的模型蒸餾。模型大小取決於任務。我們 QMSum 研究中的檢索模型只有 33M 參數,而一項困難的推理任務可能需要大型模型。更貼切的說法是「大小合適」:能守住任務品質標準的最小模型。
| 基礎模型 | 特定任務模型 | |
|---|---|---|
| 訓練資料 | 大規模的廣泛資料 | 單一任務的範例 |
| 能做什麼 | 許多任務,由提示詞引導 | 一項工作,輸入輸出固定 |
| 規模 | 通常很大 | 依任務決定合適大小 |
| 每次請求的提示詞 | 每次都帶指令和範例 | 很短,指令已訓練進模型 |
| 任務上的品質 | 不經任務訓練也不錯 | 由訓練決定,用保留範例核對 |
| 每項任務成本 | 每 token 價格較高,token 較多 | 每 token 價格較低,token 較少 |
| 典型失誤 | 格式漂移、回答冗長 | 遇到所學任務之外的輸入 |
| 最適合 | 開放、多變或用量小的工作 | 穩定、重複 、可核對的工作 |
哪種 AI 系統只能完成特定任務?
特定任務模型,在較早的術語裡稱為弱人工智慧(narrow AI)。IBM 把弱人工智慧描述為「可以被訓練來執行單一或狹窄任務」的 AI,而且無法在其限定任務之外運作。IBM 也認為,如今在用的所有 AI 系統都屬於弱人工智慧,聊天助理也包括在內,所以實際的分界在模型這一層。垃圾郵件過濾器、段落排序模型、內容安全分類器都是為一項工作而建,也只做這一項工作。聊天助理背後的基礎模型,則是提示詞要它做什麼,它就做什麼。
特定任務模型什麼時候勝過基礎模型?
當同一項任務大量重複、輸出可以核對、同樣的指令在每個提示詞裡重複出現時。用量能攤薄建構模型的成本,可核對的輸出提供了訓練所對照的評估,而重複的指令正是訓練能從每次請求中省掉的部分。我們已發表的結果在一項任務上呈現了這個規律。
針對任務訓練,比改進輸入更能提升品質。 在我們的 QMSum 研究

