如何使用微調本地模型驅動 OpenClaw（無 API 費用）

OpenClaw 席捲了 AI 代理世界——超過 180,000 個 GitHub Star，一週內超過兩百萬訪客。它連接到您的消息應用（WhatsApp、Telegram、Slack、Discord），執行 Shell 命令，管理文件，控制瀏覽器，通常充當每個人都希望 Siri 能成為的 AI 助理。

但在炒作背後隱藏著一個費用問題。

默認情況下，OpenClaw 通過雲端 API 路由每一次交互——OpenAI、Anthropic 或 Google。每個提示詞、它讀取的每個文件、它執行的每個瀏覽器操作都會產生 Token。而 Token 需要花錢。如果您將 OpenClaw 作為日常生產力工具使用，每個月可以輕鬆消耗 $50-150 的 API 費用。對於為客戶部署它的代理商，這個數字要乘以每個客戶。

解決方法很簡單：在本地模型上運行 OpenClaw。而性能提升更好：在微調本地模型上運行它。

為什麼本地模型對 OpenClaw 有意義

OpenClaw 的架構已經支援本地模型後端。它可以連接到任何暴露 OpenAI 相容 API 的推理伺服器——包括 Ollama、vLLM、LM Studio 和 LiteLLM。配置只需要在您的 openclaw.json 文件中添加幾行。

經濟邏輯很簡單：

	雲端 API（GPT-4o）	本地微調模型
每 1K Token 費用	$0.005-0.03	$0（硬體購置後）
月費用（大量使用）	$50-150	僅電費
資料隱私	發送到第三方伺服器	保留在您的機器上
定制化	僅限提示詞工程	針對您的領域進行微調

但費用只是故事的一半。真正的優勢在於針對您特定任務的性能。

通用模型 vs. 代理工作的微調模型

OpenClaw 的好壞取決於驅動它的模型。通用的 GPT-4o 或 Claude 能很好地處理廣泛任務，但大多數人使用 OpenClaw 處理一套狹窄的重複工作流程——排程、電子郵件分類、報告生成、資料提取、客戶溝通。

對於這些重複性的、特定領域的任務，微調的 7B 模型始終優於通用的前沿模型：

支援分類：微調後 94% 的準確率 vs. 提示詞工程的 GPT-4 的 71%
文件分類：微調模型學習您的特定分類體系，而不是一般性近似
電子郵件草稿：在幾百個示例上訓練後匹配您的語氣和風格
資料提取：學習您的架構和邊緣情況，而不是從指令中猜測

關鍵洞察：OpenClaw 對大多數任務不需要前沿模型的智慧。它需要在您的任務上可靠、一致的性能。這正是微調所提供的。

使用 Ollama 和微調模型設置 OpenClaw

以下是分步流程：

第 1 步：微調您的模型

從適合代理工作的基礎模型開始——Llama 3.3 8B 或 Qwen 2.5 7B 是遵循指令和使用工具的強力選擇。在與您的 OpenClaw 工作流程相關的示例上進行微調：

如果您使用 OpenClaw 處理電子郵件：在您的已發送郵件上訓練（輸入：上下文/線程，輸出：您的回覆）
如果您用於報告：在您的報告模板和資料模式上訓練
如果您用於客戶支援：在您的工單歷史和解決方案上訓練

您需要 500-2,000 個高質量示例才能獲得有意義的改進。將訓練好的模型導出為 GGUF 格式。

使用 Ertas Studio，這個過程大約需要 30 分鐘——上傳您的資料集，選擇基礎模型，配置微調運行，訓練完成後下載 GGUF。無需 Python、無需 CLI、無需 GPU 設置。

第 2 步：通過 Ollama 部署

一旦您擁有 GGUF 文件和附帶的 Modelfile：

# 從您的微調 GGUF 創建 Ollama 模型
ollama create my-openclaw-model -f ./Modelfile

# 驗證它正在運行
ollama run my-openclaw-model "Summarize this meeting transcript"

Ollama 在 http://127.0.0.1:11434/v1 上使用 OpenAI 相容 API 在本地提供模型服務。

第 3 步：配置 OpenClaw

通過更新模型提供商配置，將 OpenClaw 指向您的本地 Ollama 實例：

{
  "models": {
    "providers": [
      {
        "name": "local-finetuned",
        "api": "openai-completions",
        "baseUrl": "http://127.0.0.1:11434/v1",
        "models": ["my-openclaw-model"]
      }
    ]
  }
}

就這樣。OpenClaw 現在通過您的本地微調模型路由所有推理。沒有 API 金鑰，沒有按 Token 計費，沒有資料離開您的機器。

對於代理商：每客戶 OpenClaw 代理

如果您運營一家 AI 代理商，經濟邏輯變得更加引人注目。您可以：

為每個客戶微調 LoRA 適配器——每個適配器 50-200MB，在該客戶的特定資料上訓練
在一台機器上運行單個基礎模型（Mac Studio、RTX 4090 伺服器或雲端 GPU）
在推理時交換適配器——Ollama 支援動態加載不同的適配器
向客戶收取固定月費，沒有可變 API 費用侵蝕您的利潤率

管理 15 個客戶的代理商從每月 AU$4,200 的 API 費用降至推理費用實際上是 AU$0。硬體在不到一個月內就能回收成本。

代理工作負載的性能調整

以下是從本地模型與 OpenClaw 獲得最佳結果的一些技巧：

量化很重要。 對於需要推理和工具使用的代理任務，Q5_K_M 或 Q6_K 量化在速度和質量之間取得了正確的平衡。對於複雜的多步驟工作流程，避免使用 Q4_K_S——質量損失在連鎖行動中會累積。

上下文視窗大小。 OpenClaw 在組合對話歷史、文件內容和工具輸出時可能生成很長的提示詞。選擇至少有 8K 上下文的基礎模型，如果您的工作流程涉及大型文件，考慮 32K 以上。

系統提示詞對齊。 使用 OpenClaw 使用的相同系統提示詞結構進行微調。這確保模型的訓練資料與其運行時環境匹配。

定時和心跳任務。 OpenClaw 的計劃任務（收件箱監控、指標檢查）會產生穩定的 Token 吞吐量。本地模型將這些從持續的費用變為免費操作。

何時堅持使用雲端 API

本地微調模型並不適合所有情況。以下情況繼續使用雲端 API：

新穎的一次性任務，您的微調模型尚未見過
真正受益於前沿智慧的複雜多步驟推理
多語言任務，您的微調資料只涵蓋一種語言
快速原型設計，在您擁有足夠的微調示例之前

實際方法是混合使用：將常規任務路由到您的本地模型，對於邊緣情況則回退到雲端 API。OpenClaw 的模型提供商配置支援多個後端，因此您可以使用條件路由進行設置。

Ship AI that runs on your users' devices.

Free plan with 30 credits/mo, no card required. Paid plans from $25/mo USD.

or view pricing →

入門

從雲端 API 費用到本地推理的最快路徑：

導出您的 OpenClaw 對話歷史樣本（它最常處理的任務）
格式化為訓練資料（JSONL 格式的指令/回應對）
在 Ertas Studio 上進行微調——上傳、配置、訓練、下載 GGUF
通過 Ollama 部署並更新您的 OpenClaw 配置

大多數團隊在第一週內就看到了顯著的費用節省，在第一次微調迭代後獲得了更好的特定領域性能。隨著您在實際使用中添加更多示例，每一輪微調後模型都會改進。

您的 AI 代理應該為您工作——而不是為 OpenAI 產生賬單。