What is Adapter（適配器）?

Definition

在大型語言模型的背景下，適配器是一種輕量級模組——通常是一對小矩陣或低秩分解——被注入到預訓練模型的特定層中。在微調過程中，原始（基礎）模型的權重被凍結，只有適配器的參數透過反向傳播進行更新。這種方法稱為參數高效微調（PEFT），將可訓練參數的數量從數十億減少到僅數百萬，使記憶體需求和訓練時間降低一個數量級。

最廣泛使用的適配器架構是 LoRA（低秩適應），它將權重更新分解為兩個小矩陣，其乘積近似完整秩的更新。其他適配器設計包括前綴調優（在注意力鍵和值前添加學習向量）、提示調優（學習軟提示嵌入）和瓶頸適配器（在 Transformer 區塊之間插入小型前饋層）。每種方法在表達能力、記憶體效率和與基礎模型合併的容易程度之間提供不同的權衡。

適配器的一個關鍵優勢是可組合性。由於適配器與基礎模型分離，組織可以維護單一基礎模型，在推論時為不同任務——客戶支援、內容生成、程式碼審查——換入換出不同的適配器，而無需為每個用例複製完整的模型權重。適配器還可以共享、合併或堆疊，實現建立在共同基礎上的專業化能力模組化生態系統。

Why It Matters

對大型模型進行完整微調需要儲存和更新每個參數，對於 70B 模型而言，這意味著數百 GB 的 GPU 記憶體，以及每個任務需要一份完整大小的模型副本。適配器優雅地解決了這個擴展問題：基礎模型只需載入一次，每個任務只需要一個小型適配器檔案（通常只有 10-100 MB）。這使多任務部署在經濟上可行，並允許快速實驗不同的微調策略。對於硬體預算有限的團隊，適配器往往是能否進行微調的關鍵差異。

How It Works

在基於適配器的微調過程中，訓練框架識別模型中的目標層（通常是每個注意力區塊中的查詢、鍵、值和輸出投影矩陣），並在其旁邊或內部注入適配器模組。對於 LoRA，兩個小矩陣 A 和 B 被初始化為使其乘積 B×A 從零開始，這意味著適配器最初對模型的輸出沒有影響。隨著訓練進行，梯度更新 A 和 B 以捕獲特定任務的知識。訓練完成後，適配器權重可以保持分離（用於推論時的熱切換）或合併到基礎模型權重中進行單一檔案部署。

Example Use Case

一個客戶支援平台維護一個 Mistral 7B 基礎模型和三個 LoRA 適配器：一個針對帳單查詢微調、一個針對技術故障排除微調、一個針對帳戶管理微調。當支援工單到達時，路由系統分類其主題並載入相應的適配器，提供專業化回應，而不會將託管三個獨立微調模型的基礎設施成本增加三倍。

Key Takeaways

• 適配器是小型可訓練模組，能在不修改基礎模型權重的情況下實現微調。
• LoRA 是最受歡迎的適配器架構，將可訓練參數減少 100-1000 倍。
• 多個適配器可以共享單一基礎模型，實現高性價比的多任務部署。
• 適配器可以合併到基礎模型中或保持分離，用於推論時的熱切換。
• 透過適配器的參數高效微調使大型模型客製化在普通硬體上成為可能。