What is Domain Adaptation(領域適應)?

    調整在通用資料上訓練的模型以在特定領域(如醫療、法律或金融)中表現良好的過程。

    Definition

    領域適應是把一個通用模型調整為在某個領域(如法律、金融或醫療)中表現良好的工作。它可以結合多種訓練:以該領域未標註的文本做持續預訓練,以該領域任務的標註範例做監督式微調,以及依據專家判斷做偏好訓練,並在整個過程中以該領域自己的測試集評估。

    面向語言模型的現代做法由 Gururangan 等人在《Don't Stop Pretraining》(2020)中提出。他們在四個領域、八項分類任務上發現,第二階段的領域內預訓練能提升成效,而在任務本身的未標註資料上持續預訓練還能再進一步提升。

    經過領域適應的模型熟悉一個領域,可以服務其中的多項任務。特定任務模型只為一項工作訓練。兩者可以很好地結合:領域適應提供詞彙和慣例,任務訓練確定每項工作的行為。

    Why It Matters

    在有自己詞彙、慣例和專家推理的領域,通用模型最常力有未逮。已發表的領域模型呈現了投入的規模與收益。BloombergGPT 以 3,630 億 token 的金融資料加上 3,450 億 token 的通用資料訓練,報告指出它在金融任務上優於既有模型,同時在通用基準上沒有退步(Wu 等,2023)。SaulLM-7B 在一個開放的 7B 模型上,以超過 300 億 token 的英文法律文本持續預訓練(Colombo 等,2024)。

    適應同樣會形塑行為:正確使用領域術語,遵循領域的引用和文件格式,並加上受監管產業所要求的限定說明。在受監管產業的正式環境中,這些行為與準確率同樣重要,而領域自己的評估集是檢驗它們的方法。

    How It Works

    多數流程最多分為三個階段。持續預訓練在領域的未標註文本上沿用原本的下一個 token 預測目標,通常使用較低的學習率,讓模型吸收詞彙和事實。它可能削弱遵循指令的能力:Cheng 等(2023)發現,原始領域文本「endows the model with domain knowledge, but drastically hurts its prompting ability for question answering」,並透過把文本改寫成閱讀理解練習恢復了這項能力。把通用文本重新混入語料,是另一種常見的防遺忘做法。

    接著,監督式微調以來自該領域實際任務的指令與回答配對進行訓練。它能可靠地教會行為和格式,卻不擅長加入新事實:Gekhman 等(2024)發現模型「struggle to acquire new factual knowledge through fine-tuning」。經常變動的知識通常更適合放在檢索中;Ovadia 等(2023)發現,在知識密集型任務上,檢索優於非監督式微調。選用的偏好階段(如 DPO)再依據專家在不同輸出之間的選擇進行訓練。

    Example Use Case

    一個法律科技團隊需要一個審閱商業合約的模型。它從一個已針對法律文本做過適應的開放模型出發(類似 SaulLM-7B 的做法),省去了持續預訓練階段。接著以自己數千份已審閱、依條款類型和風險標註的合約進行微調,並把判例庫放在檢索中,讓回答引用最新文件。發布前,模型要在團隊律師審閱過的一組保留合約上評分,只有達到他們的品質標準才上線。

    Key Takeaways

    • 領域適應讓通用模型在一個領域及其中的多項任務上表現良好。
    • 它可以結合持續預訓練、監督式微調和偏好訓練,並以檢索承載經常變動的知識。
    • 持續預訓練能加入知識,但可能削弱遵循指令的能力;閱讀理解式改寫和混入通用文本可以保護這項能力。
    • 微調形塑行為和格式,比加入新事實更可靠。
    • 領域自己的保留評估集,是判斷適應是否成功的標準。

    How Ertas Helps

    Ertas Studio 涵蓋持續訓練和監督式微調。純文字資料集格式可在未標註的領域文本上訓練,instruction 與對話格式則涵蓋標註範例,這些範例可在 Studio 的資料集編輯器 Data Craft 中建立和精修。DPO 等偏好最佳化已列入產品路線圖。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.