AI 自動化代理機構
AI 自動化代理機構可以用自己擁有的微調模型,取代逐客戶轉售 API 的模式。在 Ertas Studio 中為每個客戶訓練專屬模型,匯出後在你或客戶自己掌控的硬體上執行。按 token 計費的 API 帳單因此變成可預期的託管成本,推論也留在你選定的基礎設施上。
The Challenge
建構聊天機器人、語音代理和工作流程自動化的 AI 自動化代理機構面臨嚴峻的利潤問題。每一個客戶專案都意味著另一個 OpenAI 或 Anthropic API 金鑰,另一筆按 token 計費的可變支出——隨使用量而非交付價值增長。一家管理 10-20 個以上客戶的代理機構在 GPT-4 或 Claude 上每月輕鬆燒掉 AU$3,000-5,000 的純 API 轉嫁成本,而且這些成本完全不可預測。單一客戶的使用量暴增就能吞噬整個帳戶的利潤。Make.com、n8n、Voiceflow 和 Stammer.ai 等工具讓搭建 AI 驅動的工作流程變得容易,但它們都將推論導向同樣的商業 API,使代理機構對最大的可變成本毫無控制力。
除了成本之外,差異化問題更加攸關存亡。當每家代理機構都在略有不同的提示模板背後轉售相同的 GPT-4 或 Claude API 時,根本沒有護城河。客戶最終會意識到他們可以繞過中間人直接呼叫 API。與此同時,客戶資料——客戶對話、專有商業脈絡、敏感營運細節——隨著每次 API 呼叫流經第三方基礎設施。企業客戶越來越多地對此提出質疑,要求了解其資料在哪裡被處理和儲存。無法回答「您的資料絕不離開我們的基礎設施」的代理機構正在將訂單輸給能做到這一點的競爭對手。
The Solution
Ertas 讓代理機構從 API 轉售商轉型為自訂 AI 供應商。代理機構不必再為每個客戶各自訂閱 API,而是在 Ertas Studio 中用每個客戶自己的資料訓練專屬模型:語氣風格、產品目錄、常見問題解答與過往對話。Studio 透過視覺化畫布,在 Ertas 的雲端 GPU 上對 Qwen、Llama、Gemma、Mistral 等開放模型進行 LoRA 微調,團隊裡沒有人需要撰寫訓練腳本或租用 GPU。多個訓練可以平行執行,上線前逐一比較。
訓練完成的模型可從 Hub 匯出為 GGUF (用於 llama.cpp、Ollama 或 LM Studio),或匯出為完整的 safetensors(用於 vLLM 等伺服器執行環境)。代理機構可以在自己的伺服器上執行,也可以交給希望部署在自家場所的客戶。之後模型的執行不依賴 Ertas,也沒有按 token 計費的帳單:服務一個客戶的成本,就是代理機構原本就編列預算的硬體與託管費用,模型處理的對話也留在這套基礎設施上。訓練資料需要上傳到 Ertas 才能訓練模型,因此上傳前請先移除對話紀錄中的個人資訊。
以客戶真實對話訓練出的模型,在該客戶的領域裡通常比靠冗長提示詞驅動的通用模型表現更好,代理機構在切換前可以用自己保留的測試樣本驗證。需要提升品質時,代理機構在 Studio 中重新訓練,將新結果與目前版本比較,再替換匯出的模型檔案。
Key Features
逐客戶微調
以 JSONL 格式上傳客戶的對話紀錄、產品資料或知識庫,或從 Hugging Face 匯入資料集,再於視覺化畫布上設定 LoRA 微調。Studio 在 Ertas 的雲端 GPU 上完成訓練,產出掌握該客戶領域與語氣的模型,不必撰寫訓練腳本,也不必管理 GPU 基礎設施。
基礎模型選擇
從 Studio 的開放模型目錄中挑選基礎模型,包括 Qwen 2.5、Llama 3.2 與 3.1、Gemma、Mistral 7B 和 Phi-4 Mini。用同一份客戶資料平行訓練較小與較大的候選模型,比較結果後再決定每個服務層級需要多大的模型。
在 Data Craft 中由客戶審核
在 Studio 的引導式資料集建構工具 Data Craft 中建立或整理每個客戶的資料集。新增與編輯 USER 和 ASSISTANT 對話輪次,替範例做版本管理,並追蹤哪些範例已獲客戶核准,讓模型學到的是客戶認可的回答。
每個客戶一個獨立模型
Hub 列出代理機構訓練過的所有模型。每個模型都可下載為 GGUF(用於 Ollama、llama.cpp 或 LM Studio)或 safetensors(用於 vLLM),部署在代理機構或客戶的伺服器上。每個客戶的模型只以該客戶的資料訓練,執行時不需連線到 Ertas。
Example Workflow
墨爾本一家 AI 自動化代理機構為房地產、牙科與技術工班產業的 15 個中小企業客戶管理聊天機器人和語音代理。目前所有推論都透過 Make.com 與 Voiceflow 整合呼叫 GPT-4,每月 API 費用 AU$4,200,其中三個高流量客戶就佔了 AU$1,800。代理機構先從支出最高的客戶著手:一家房地產仲介,其聊天機器人每月處理 12,000 次關於物件、看屋預約與資格預審的對話。團隊匯出六個月的對話紀錄(45,000 組訊息),刪除姓名與電話號碼,再以 JSONL 格式上傳到 Ertas Studio。他們在 Data Craft 中修正品質不佳的回答,並標記客戶已核准的範例。接著在 Qwen 2.5 3B、Qwen 2.5 7B 和 Llama 3.1 8B 上平行訓練三個 LoRA,用一組保留的真實問題逐一比較,同時對照現有 GPT-4 設定給出的回答。達到客戶品質標準的最小模型從 Hub 匯出為 GGUF,在代理機構辦公室的一台 Mac Mini 上以 Ollama 執行。代理機構先將該客戶的部分流量導向新模型,檢查回答後再移轉其餘流量。之後每個客戶都以同樣方式取得自己的模型,代理機構的 AI 支出也從隨每次對話增加的按 token 帳單,轉為 Ertas 訂閱費加上自有硬體。
Compliance & Security
匯出的模型在代理機構的伺服器或客戶的場所執行時,它處理的對話會留在這套基礎設施上,不會傳送給任何第三方 AI 供應商。面對企業採購問卷中關於資料處理的問題,代理機構因此能給出具體答覆。訓練環節則不同:Studio 在 Ertas 的雲端 GPU 上訓練,訓練集需要上傳到 Ertas。上傳前請刪除或遮蔽對話紀錄中的個人資訊,只保留模型需要的範例,專案結束後從 Studio 刪除資料集。《澳洲隱私法》、GDPR 或客戶合約規定的義務,仍需由代理機構與客戶自行評估。
Related Resources
Fine-Tuning(微調)
LoRA
GGUF
Inference(推論)
Adapter(適配器)
How to Cut Your AI Agency Costs by 90% with Fine-Tuned Local Models
Per-Token AI Pricing Costs 3-5x Your Estimate
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
How to Fine-Tune an LLM Locally: 6 Steps (2026)
Ollama
Hugging Face
llama.cpp
Ertas for SaaS Product Teams
Ertas for Customer Support
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.