AI 自動化代理機構

    AI 自動化代理機構可以用自己擁有的微調模型,取代逐客戶轉售 API 的模式。在 Ertas Studio 中為每個客戶訓練專屬模型,匯出後在你或客戶自己掌控的硬體上執行。按 token 計費的 API 帳單因此變成可預期的託管成本,推論也留在你選定的基礎設施上。

    The Challenge

    建構聊天機器人、語音代理和工作流程自動化的 AI 自動化代理機構面臨嚴峻的利潤問題。每一個客戶專案都意味著另一個 OpenAI 或 Anthropic API 金鑰,另一筆按 token 計費的可變支出——隨使用量而非交付價值增長。一家管理 10-20 個以上客戶的代理機構在 GPT-4 或 Claude 上每月輕鬆燒掉 AU$3,000-5,000 的純 API 轉嫁成本,而且這些成本完全不可預測。單一客戶的使用量暴增就能吞噬整個帳戶的利潤。Make.com、n8n、Voiceflow 和 Stammer.ai 等工具讓搭建 AI 驅動的工作流程變得容易,但它們都將推論導向同樣的商業 API,使代理機構對最大的可變成本毫無控制力。

    除了成本之外,差異化問題更加攸關存亡。當每家代理機構都在略有不同的提示模板背後轉售相同的 GPT-4 或 Claude API 時,根本沒有護城河。客戶最終會意識到他們可以繞過中間人直接呼叫 API。與此同時,客戶資料——客戶對話、專有商業脈絡、敏感營運細節——隨著每次 API 呼叫流經第三方基礎設施。企業客戶越來越多地對此提出質疑,要求了解其資料在哪裡被處理和儲存。無法回答「您的資料絕不離開我們的基礎設施」的代理機構正在將訂單輸給能做到這一點的競爭對手。

    The Solution

    Ertas 讓代理機構從 API 轉售商轉型為自訂 AI 供應商。代理機構不必再為每個客戶各自訂閱 API,而是在 Ertas Studio 中用每個客戶自己的資料訓練專屬模型:語氣風格、產品目錄、常見問題解答與過往對話。Studio 透過視覺化畫布,在 Ertas 的雲端 GPU 上對 Qwen、Llama、Gemma、Mistral 等開放模型進行 LoRA 微調,團隊裡沒有人需要撰寫訓練腳本或租用 GPU。多個訓練可以平行執行,上線前逐一比較。

    訓練完成的模型可從 Hub 匯出為 GGUF(用於 llama.cpp、Ollama 或 LM Studio),或匯出為完整的 safetensors(用於 vLLM 等伺服器執行環境)。代理機構可以在自己的伺服器上執行,也可以交給希望部署在自家場所的客戶。之後模型的執行不依賴 Ertas,也沒有按 token 計費的帳單:服務一個客戶的成本,就是代理機構原本就編列預算的硬體與託管費用,模型處理的對話也留在這套基礎設施上。訓練資料需要上傳到 Ertas 才能訓練模型,因此上傳前請先移除對話紀錄中的個人資訊。

    以客戶真實對話訓練出的模型,在該客戶的領域裡通常比靠冗長提示詞驅動的通用模型表現更好,代理機構在切換前可以用自己保留的測試樣本驗證。需要提升品質時,代理機構在 Studio 中重新訓練,將新結果與目前版本比較,再替換匯出的模型檔案。

    Key Features

    Studio

    逐客戶微調

    以 JSONL 格式上傳客戶的對話紀錄、產品資料或知識庫,或從 Hugging Face 匯入資料集,再於視覺化畫布上設定 LoRA 微調。Studio 在 Ertas 的雲端 GPU 上完成訓練,產出掌握該客戶領域與語氣的模型,不必撰寫訓練腳本,也不必管理 GPU 基礎設施。

    Studio

    基礎模型選擇

    從 Studio 的開放模型目錄中挑選基礎模型,包括 Qwen 2.5、Llama 3.2 與 3.1、Gemma、Mistral 7B 和 Phi-4 Mini。用同一份客戶資料平行訓練較小與較大的候選模型,比較結果後再決定每個服務層級需要多大的模型。

    Studio

    在 Data Craft 中由客戶審核

    在 Studio 的引導式資料集建構工具 Data Craft 中建立或整理每個客戶的資料集。新增與編輯 USER 和 ASSISTANT 對話輪次,替範例做版本管理,並追蹤哪些範例已獲客戶核准,讓模型學到的是客戶認可的回答。

    Hub

    每個客戶一個獨立模型

    Hub 列出代理機構訓練過的所有模型。每個模型都可下載為 GGUF(用於 Ollama、llama.cpp 或 LM Studio)或 safetensors(用於 vLLM),部署在代理機構或客戶的伺服器上。每個客戶的模型只以該客戶的資料訓練,執行時不需連線到 Ertas。

    Example Workflow

    墨爾本一家 AI 自動化代理機構為房地產、牙科與技術工班產業的 15 個中小企業客戶管理聊天機器人和語音代理。目前所有推論都透過 Make.com 與 Voiceflow 整合呼叫 GPT-4,每月 API 費用 AU$4,200,其中三個高流量客戶就佔了 AU$1,800。代理機構先從支出最高的客戶著手:一家房地產仲介,其聊天機器人每月處理 12,000 次關於物件、看屋預約與資格預審的對話。團隊匯出六個月的對話紀錄(45,000 組訊息),刪除姓名與電話號碼,再以 JSONL 格式上傳到 Ertas Studio。他們在 Data Craft 中修正品質不佳的回答,並標記客戶已核准的範例。接著在 Qwen 2.5 3B、Qwen 2.5 7B 和 Llama 3.1 8B 上平行訓練三個 LoRA,用一組保留的真實問題逐一比較,同時對照現有 GPT-4 設定給出的回答。達到客戶品質標準的最小模型從 Hub 匯出為 GGUF,在代理機構辦公室的一台 Mac Mini 上以 Ollama 執行。代理機構先將該客戶的部分流量導向新模型,檢查回答後再移轉其餘流量。之後每個客戶都以同樣方式取得自己的模型,代理機構的 AI 支出也從隨每次對話增加的按 token 帳單,轉為 Ertas 訂閱費加上自有硬體。

    Compliance & Security

    匯出的模型在代理機構的伺服器或客戶的場所執行時,它處理的對話會留在這套基礎設施上,不會傳送給任何第三方 AI 供應商。面對企業採購問卷中關於資料處理的問題,代理機構因此能給出具體答覆。訓練環節則不同:Studio 在 Ertas 的雲端 GPU 上訓練,訓練集需要上傳到 Ertas。上傳前請刪除或遮蔽對話紀錄中的個人資訊,只保留模型需要的範例,專案結束後從 Studio 刪除資料集。《澳洲隱私法》、GDPR 或客戶合約規定的義務,仍需由代理機構與客戶自行評估。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.