如何使用微調本地模型驅動 OpenClaw（無 API 費用）

OpenClaw 席捲了 AI 代理世界——超過 180,000 個 GitHub Star，一週內超過兩百萬訪客。它連接到您的消息應用（WhatsApp、Telegram、Slack、Discord），執行 Shell 命令，管理文件，控制瀏覽器，通常充當每個人都希望 Siri 能成為的 AI 助理。

但在炒作背後隱藏著一個費用問題。

默認情況下，OpenClaw 通過雲端 API 路由每一次交互——OpenAI、Anthropic 或 Google。每個提示詞、它讀取的每個文件、它執行的每個瀏覽器操作都會產生 Token。而 Token 需要花錢。如果您將 OpenClaw 作為日常生產力工具使用，每個月可以輕鬆消耗 $50-150 的 API 費用。對於為客戶部署它的代理商，這個數字要乘以每個客戶。

解決方法很簡單：在本地模型上運行 OpenClaw。而性能提升更好：在微調本地模型上運行它。

為什麼本地模型對 OpenClaw 有意義

OpenClaw 的架構已經支援本地模型後端。它可以連接到任何暴露 OpenAI 相容 API 的推理伺服器——包括 Ollama、vLLM、LM Studio 和 LiteLLM。配置只需要在您的 openclaw.json 文件中添加幾行。

經濟邏輯很簡單：

但費用只是故事的一半。真正的優勢在於針對您特定任務的性能。

通用模型 vs. 代理工作的微調模型

OpenClaw 的好壞取決於驅動它的模型。通用的 GPT-4o 或 Claude 能很好地處理廣泛任務，但大多數人使用 OpenClaw 處理一套狹窄的重複工作流程——排程、電子郵件分類、報告生成、資料提取、客戶溝通。

對於這些重複性的、特定領域的任務，微調的 7B 模型始終優於通用的前沿模型：

• 支援分類：微調後 94% 的準確率 vs. 提示詞工程的 GPT-4 的 71%
• 文件分類：微調模型學習您的特定分類體系，而不是一般性近似
• 電子郵件草稿：在幾百個示例上訓練後匹配您的語氣和風格
• 資料提取：學習您的架構和邊緣情況，而不是從指令中猜測

關鍵洞察：OpenClaw 對大多數任務不需要前沿模型的智慧。它需要在您的任務上可靠、一致的性能。這正是微調所提供的。

使用 Ollama 和微調模型設置 OpenClaw

以下是分步流程：

第 1 步：微調您的模型

從適合代理工作的基礎模型開始——Llama 3.3 8B 或 Qwen 2.5 7B 是遵循指令和使用工具的強力選擇。在與您的 OpenClaw 工作流程相關的示例上進行微調：

• 如果您使用 OpenClaw 處理電子郵件：在您的已發送郵件上訓練（輸入：上下文/線程，輸出：您的回覆）
• 如果您用於報告：在您的報告模板和資料模式上訓練
• 如果您用於客戶支援：在您的工單歷史和解決方案上訓練

您需要 500-2,000 個高質量示例才能獲得有意義的改進。將訓練好的模型導出為 GGUF 格式。

使用 Ertas Studio，這個過程大約需要 30 分鐘——上傳您的資料集，選擇基礎模型，配置微調運行，訓練完成後下載 GGUF。無需 Python、無需 CLI、無需 GPU 設置。

第 2 步：通過 Ollama 部署

一旦您擁有 GGUF 文件和附帶的 Modelfile：

# 從您的微調 GGUF 創建 Ollama 模型
ollama create my-openclaw-model -f ./Modelfile

# 驗證它正在運行
ollama run my-openclaw-model "Summarize this meeting transcript"

Ollama 在 http://127.0.0.1:11434/v1 上使用 OpenAI 相容 API 在本地提供模型服務。

第 3 步：配置 OpenClaw

通過更新模型提供商配置，將 OpenClaw 指向您的本地 Ollama 實例：

{
  "models": {
    "providers": [
      {
        "name": "local-finetuned",
        "api": "openai-completions",
        "baseUrl": "http://127.0.0.1:11434/v1",
        "models": ["my-openclaw-model"]
      }
    ]
  }
}

就這樣。OpenClaw 現在通過您的本地微調模型路由所有推理。沒有 API 金鑰，沒有按 Token 計費，沒有資料離開您的機器。

對於代理商：每客戶 OpenClaw 代理

如果您運營一家 AI 代理商，經濟邏輯變得更加引人注目。您可以：

1. 為每個客戶微調 LoRA 適配器——每個適配器 50-200MB，在該客戶的特定資料上訓練
2. 在一台機器上運行單個基礎模型（Mac Studio、RTX 4090 伺服器或雲端 GPU）
3. 在推理時交換適配器——Ollama 支援動態加載不同的適配器
4. 向客戶收取固定月費，沒有可變 API 費用侵蝕您的利潤率

管理 15 個客戶的代理商從每月 AU$4,200 的 API 費用降至推理費用實際上是 AU$0。硬體在不到一個月內就能回收成本。

代理工作負載的性能調整

以下是從本地模型與 OpenClaw 獲得最佳結果的一些技巧：

量化很重要。 對於需要推理和工具使用的代理任務，Q5_K_M 或 Q6_K 量化在速度和質量之間取得了正確的平衡。對於複雜的多步驟工作流程，避免使用 Q4_K_S——質量損失在連鎖行動中會累積。

上下文視窗大小。 OpenClaw 在組合對話歷史、文件內容和工具輸出時可能生成很長的提示詞。選擇至少有 8K 上下文的基礎模型，如果您的工作流程涉及大型文件，考慮 32K 以上。

系統提示詞對齊。 使用 OpenClaw 使用的相同系統提示詞結構進行微調。這確保模型的訓練資料與其運行時環境匹配。

定時和心跳任務。 OpenClaw 的計劃任務（收件箱監控、指標檢查）會產生穩定的 Token 吞吐量。本地模型將這些從持續的費用變為免費操作。

何時堅持使用雲端 API

本地微調模型並不適合所有情況。以下情況繼續使用雲端 API：

• 新穎的一次性任務，您的微調模型尚未見過
• 真正受益於前沿智慧的複雜多步驟推理
• 多語言任務，您的微調資料只涵蓋一種語言
• 快速原型設計，在您擁有足夠的微調示例之前

實際方法是混合使用：將常規任務路由到您的本地模型，對於邊緣情況則回退到雲端 API。OpenClaw 的模型提供商配置支援多個後端，因此您可以使用條件路由進行設置。

入門

從雲端 API 費用到本地推理的最快路徑：

1. 導出您的 OpenClaw 對話歷史樣本（它最常處理的任務）
2. 格式化為訓練資料（JSONL 格式的指令/回應對）
3. 在 Ertas Studio 上進行微調——上傳、配置、訓練、下載 GGUF
4. 通過 Ollama 部署並更新您的 OpenClaw 配置

大多數團隊在第一週內就看到了顯著的費用節省，在第一次微調迭代後獲得了更好的特定領域性能。隨著您在實際使用中添加更多示例，每一輪微調後模型都會改進。

您的 AI 代理應該為您工作——而不是為 OpenAI 產生賬單。