企業 AI 代理的微調模型 vs RAG：各自的使用時機

「我們應該使用 RAG 還是微調？」是企業團隊在構建 AI 代理時最常問的問題。它也是錯誤的框架，因為它呈現了一個二元選擇，而正確答案通常是「兩者都用，用於不同目的。」

但這個問題持續存在，因為兩種方法在工作方式、成本和擅長方面確實不同。理解權衡對任何企業代理部署都是必不可少的——特別是在本地部署中，你做的是比切換 API 密鑰更難以撤銷的基礎設施決策。

本指南對兩種方法進行頭對頭比較，提供決策框架，並解釋大多數生產企業代理實際使用的混合模式。

每種方法的工作原理

檢索增強生成（RAG）

RAG 在生成之前增加了一個檢索步驟。當用戶向代理發送查詢時：

1. 查詢被嵌入到向量表示中
2. 向量儲存被搜索以查找類似的文件塊
3. 前 k 個最相關的塊被檢索
4. 檢索到的塊與查詢一起添加到模型的上下文視窗中
5. 模型生成以檢索到的內容為依據的回應

模型本身不從企業資料中學習。它在推理時動態使用資料。知識存在於向量儲存中，而不是模型的權重中。

優勢：

• 適用於快速變化的資料——更新向量儲存，下一個查詢使用新資訊
• 資料更改時無需模型重新訓練
• 內置來源歸因——你知道模型使用了哪些文件
• 可以按每次查詢控制資料訪問（按用戶權限、部門、分類篩選）

弱點：

• 檢索品質不穩定——不相關的塊導致錯誤答案
• 上下文視窗限制了模型可以考慮的資訊量
• 無法內化領域模式——模型獨立處理每個查詢
• 塊化碎片——跨塊分割的資訊可能無法完全捕獲
• 增加延遲——檢索步驟需要 5–50ms，取決於向量儲存大小和配置

微調

微調在特定領域資料上訓練模型，修改模型的權重以內化模式、術語和行為規則。

1. 準備訓練資料——展示所需行為的輸入/輸出對
2. 在此資料上訓練模型（通常使用 LoRA 或 QLoRA 以提高效率）
3. 模型的權重被更新以反映訓練模式
4. 在推理時，模型從其內部知識生成——無需檢索

優勢：

• 一致的行為——模型每次對類似查詢以相同方式回應
• 更快的推理——沒有檢索步驟，只有生成
• 不需要向量儲存——更簡單的推理架構
• 內化領域知識——術語、格式、推理模式成為模型的一部分
• 更擅長遵循複雜的行為規則——語氣、格式、決策標準

弱點：

• 知識在不重新訓練的情況下會過時（重新訓練需要幾小時到幾天）
• 沒有內置的來源歸因——模型不引用它在哪裡學到某些東西
• 需要訓練資料準備——展示正確行為的標記範例
• 過擬合風險——範例太少或 epoch 太多可能使模型變脆
• 在不重新訓練的情況下無法輕易更新單個事實

決策框架

企業代理應該在什麼時候使用 RAG、微調或兩者？以下是決策表：

RAG 是正確選擇的場景

快速變化的知識

如果底層資訊每週或每月更改——藥物資料庫、監管指導、定價資訊、政策文件——RAG 是唯一可行的方法。在如此頻繁更改的資料上進行微調意味著持續重新訓練，這成本高昂且操作複雜。

範例： 根據當前監管指導核查交易的合規代理。法規每季度更新。RAG 檢索當前版本。微調需要每季度重新訓練。

來源歸因要求

在受監管的行業，代理的回應必須可追溯到特定的來源文件。「政策規定 X（來源：員工手冊 v3.2，第 4.1 節，2026 年 1 月更新）」是可審計的。「政策規定 X」（來自沒有引用的微調模型）則不是。

RAG 本質上提供了這一點：檢索步驟記錄了使用了哪些文件，可以指示模型引用它們。

訪問受控的知識

如果不同用戶應該訪問不同資訊——特定部門政策、基於角色的機密文件訪問——RAG 允許在檢索時進行篩選。向量儲存查詢可以包含元資料篩選器，將檢索限制為用戶有權訪問的文件。

微調無法執行訪問控制，因為知識在模型的權重中，每個查詢模型的用戶都可以訪問。

微調是正確選擇的場景

一致的輸出格式

如果代理必須每次以特定格式產生輸出——SOAP 筆記、合約風險摘要、結構化事故報告——微調比 RAG 更可靠。格式要求是行為的（模型如何寫作），而不是事實的（它使用什麼資訊）。微調編碼行為模式；RAG 不能。

範例： 必須以設施特定模板生成 SOAP 筆記的臨床文件代理。在 1,000 個正確格式化筆記範例上微調，告訴模型模板。RAG 可能檢索範例筆記，但模型的輸出格式仍然會有所不同。

工具呼叫可靠性

對於企業代理，工具呼叫是核心能力——代理需要用正確的參數呼叫正確的函數。在 500 個以上工具呼叫範例上微調，告訴模型你的特定工具 schema、參數格式和決策邏輯。模型內化何時呼叫每個工具、使用什麼參數以及如何處理邊緣案例。

RAG 無法可靠地教授工具呼叫行為，因為工具呼叫是行為模式，而不是事實知識查找。

領域術語和推理

如果代理在專業領域操作——法律、醫療、金融、工程——微調內化了領域的詞彙、縮寫、推理模式和慣例。模型不需要被告知「NKDA」的含義或「重大不利影響」具有特定的法律含義——它從訓練中知道。

RAG 可以檢索包含領域術語的文件，但如果模型沒有受過這些術語的訓練，可能仍然誤解或誤用術語。

RAG 失敗的場景

有一些企業場景，即使資料準備充分，RAG 也表現不佳：

複雜的多文件綜合

當答案需要從 5–10 個不同文件中綜合資訊——每個貢獻整體圖景的一部分——RAG 難以應對。檢索步驟返回塊，但模型必須弄清楚塊如何相互關聯。如果關係在檢索到的文字中不明顯，模型可能不正確地綜合。

範例： 需要將財務報表中的負債與訴訟披露中的未決訴訟以及收購協議中的相關賠償條款聯繫起來的盡職調查分析。三種不同的文件類型，三個不同的塊，一個連接的分析。RAG 檢索塊；模型可能正確也可能不正確地連接它們。

微調在這裡有幫助，因為模型在訓練期間見過這種多文件綜合類型的範例，並學習了推理模式。

內化判斷

某些企業任務需要無法查找的判斷——它必須從經驗中學習。看過 1,000 份合約的合約審查員對哪些條款是標準的還是不尋常的形成了直覺。那種直覺不在任何文件中；它是從接觸中學習的模式。

微調編碼這種經驗性判斷。RAG 不能，因為沒有文件可以檢索，其中包含判斷本身。

臨床推理鏈

在醫療領域，臨床推理通常遵循長邏輯鏈：症狀 → 鑑別診斷 → 診斷測試 → 縮小鑑別 → 治療選擇。這條鏈依賴於臨床醫師將整個推理上下文保持在心中。為 RAG 將臨床指南分塊破壞了這些推理鏈——模型在沒有完整邏輯上下文的情況下檢索個別建議。

在完整的臨床推理範例上微調在模型的權重中保留了這些鏈。

混合方法（大多數生產代理實際使用的）

最有效的企業代理結合了兩種方法：

微調提供：

• 領域語言和術語
• 輸出格式一致性
• 工具呼叫行為
• 決策制定模式
• 行為規則（語氣、風格、升級標準）

RAG 提供：

• 當前的事實資訊
• 來源引用
• 訪問受控的知識
• 頻繁更新的資料
• 特定政策和程序細節

混合如何工作

1. 基礎模型在領域資料上微調——工具呼叫範例、格式範例、行為範例
2. 在推理時，微調模型從向量儲存接收檢索到的上下文
3. 模型使用其內化的領域知識正確解釋檢索到的上下文
4. 輸出結合了習得的行為（格式、語氣、工具呼叫）和當前事實（來自 RAG）

範例： 法律合約審查代理：

• 在 500 個合約審查範例上微調 → 知道公司的風險標準、首選條款語言和輸出格式
• RAG 覆蓋合約手冊和條款庫 → 檢索特定的當前標準和批准的替代方案
• 結果：帶來源引用的一致、格式良好的分析，應用當前公司標準

沒有微調，模型可能檢索到正確的手冊部分，但應用不一致。沒有 RAG，模型可能應用過時的手冊標準。兩者結合，產生可靠、最新、格式良好的輸出。

每條路徑的資料準備

兩條路徑都從相同的原始企業文件開始。分歧發生在準備階段。

RAG 資料準備管道

原始文件 → 解析 → 清理 → 去重 → 分塊（語義） → 添加元資料 → 嵌入 → 在向量儲存中索引

關鍵品質指標：

• 檢索準確率（hits@10）： 對於一組測試查詢，正確的來源文件是否在前 10 個結果中？目標：85% 以上
• 塊相關性： 對於每個檢索到的塊，它是否確實包含回答查詢所需的資訊？目標：70% 以上
• 去重率： 刪除了多少百分比的重複或近似重複的塊？目標：超過 95% 的重複被消除

微調資料準備管道

原始文件 → 解析 → 清理 → 選擇訓練範例 → 用領域專家標記 → 格式化為訓練對 → 驗證 → 訓練

關鍵品質指標：

• 標記準確率： 對於標記範例的樣本，根據第二位審查員有多少百分比是正確的？目標：95% 以上
• 覆蓋率： 訓練集是否涵蓋代理將遇到的場景範圍？目標：80% 以上的常見場景
• 一致性： 對於類似的輸入，標記是否一致？目標：標記人員之間 90% 以上的一致性

共享的資料準備

兩條路徑都受益於相同的上游準備：

這個共享管道是 Ertas Data Suite 等工具提供最大價值的地方——相同的資料準備工作流程為你的 RAG 知識庫和微調資料集提供支援。

做出決定

對於大多數企業代理部署，答案不是「RAG 還是微調」，而是「微調用於行為，RAG 用於知識」。

如果你必須從一個開始：

• 從 RAG 開始如果你的主要需求是回答關於企業文件的問題，且你的資料頻繁更改
• 從微調開始如果你的主要需求是可靠的工具呼叫和一致的輸出格式
• 計劃兩者如果你正在構建每天由員工使用的生產代理

本地部署的基礎設施投資支援兩種方法。無論哪種方式，模型都在本地運行。RAG 需要向量儲存。微調需要訓練管道。資料準備管道為兩者提供支援。

問題不是使用哪種方法。問題是首先準備哪些資料。