Ertas 助力 AI 自动化代理商
AI 自动化代理商可以用自己拥有的微调模型,取代按客户转售 API 的模式。在 Ertas Studio 中为每个客户训练专属模型,导出后运行在你或客户自己掌控的硬件上。按 token 计费的 API 账单由此变成可预测的托管成本,推理也留在你选定的基础设施上。
The Challenge
为客户构建聊天机器人、语音代理和工作流自动化的 AI 自动化代理商面临严峻的利润问题。每次客户合作都意味着又一个 OpenAI 或 Anthropic API 密钥,又一行随使用量而非交付价值同步增长的可变按 token 支出。一家管理 10–20 个以上客户的代理商在 GPT-4 或 Claude 上每月可以轻松消耗 3,000–5,000 澳元的纯 API 转发成本,而且这些成本完全不可预测。单个客户的使用量激增就能吞噬整个账户的利润。Make.com、n8n、Voiceflow 和 Stammer.ai 等工具使搭建 AI 驱动的工作流变得简单,但它们都将推理引导至相同的商业 API,使代理商对其最大的可变成本毫无控制力。
除了成本之外,差异化问题更加致命。当每家代理商都在略有不同的提示模板背后转售相同的 GPT-4 或 Claude API 时,就没有任何护城河。客户最终会意识到他们可以绕过中间商直接调用 API。与此同时,客户数据——客户对话、专有业务背景、敏感运营细节——随着每次 API 调用流经第三方基础设施。企业客户越来越多地对此提出质疑,要求了解其数据在哪里处理和存储。无法回答「您的数据从未离开我们的基础设施」的代理商正在将订单输给能做出这种承诺的竞争对手。
The Solution
Ertas 让代理商从 API 转售商变成定制 AI 提供商。代理商不必再为每个客户单独订阅 API,而是在 Ertas Studio 中用每个客户自己的数据训练专属模型:语气风格、产品目录、常见问题解答和历史对话。Studio 通过可视化画布,在 Ertas 的云端 GPU 上对 Qwen、Llama、Gemma、Mistral 等开放模型进行 LoRA 微调,团队里没人需要写训练脚本或租用 GPU。多个训练任务可以并行运行,上线前逐一对比。
训练好的模型从 Hub 导出为 GGUF(用于 llama.cpp、Ollama 或 LM Studio),或导出为完整的 safetensors(用于 vLLM 等服务器运行时)。代理商可以在自己的服务器上运行,也可以交给希望在自有场所部署的客户。此后模型运行不依赖 Ertas,也没有按 token 计费的账单:服务一个客户的成本就是代理商本来就有预算的硬件和托管费用,模型处理的对话也留在这套基础设施上。训练数据需要上传到 Ertas 才能训练模型,因此上传前请先去除对话日志中的个人信息。
用客户真实对话训练出来的模型,在该客户的领域里往往比靠长提示词驱动的通用模型表现更好,代理商在切换前可以用自己预留的测试样本验证这一点。需要提升质量时,代理商在 Studio 中重新训练,把新结果与当前版本对比,再替换导出的模型文件。
Key Features
按客户微调
以 JSONL 格式上传客户的对话日志、产品数据或知识库,或从 Hugging Face 导入数据集,然后在可视化画布上配置 LoRA 微调任务。Studio 在 Ertas 的云端 GPU 上完成训练,生成掌握该客户领域与语气的模型,无需编写训练脚本,也无需管理 GPU 基础设施。
基础模型选择
从 Studio 的开放模型目录中选择基础模型,包括 Qwen 2.5、Llama 3.2 与 3.1、Gemma、Mistral 7B 和 Phi-4 Mini。用同一份客户数据并行训练较小和较大的候选模型,对比结果后再决定每个服务层级需要多大的模型。
在 Data Craft 中由客户审核
在 Studio 的引导式数据集构建器 Data Craft 中创建或整理每个客户的数据集。添加和编辑 USER 与 ASSISTANT 轮次,为示例做版本管理,并跟踪哪些示例已获客户批准,让模型学到的是客户认可的回答。
每个客户一个独立模型
Hub 列出代理商训练过的所有模型。每个模型都可以下载为 GGUF(用于 Ollama、llama.cpp 或 LM Studio)或 safetensors(用于 vLLM),部署在代理商或客户的服务器上。每个客户的模型只用该客户的数据训练,运行时无需连接 Ertas。
Example Workflow
墨尔本一家 AI 自动化代理商为房地产、牙科和技工行业的 15 个中小企业客户管理聊天机器人和语音代理。目前所有推理都通过 Make.com 和 Voiceflow 集成调用 GPT-4,每月 API 费用 4,200 澳元,其中三个高流量客户就占了 1,800 澳元。代理商先从支出最高的客户入手:一家房地产代理,其聊天机器人每月处理 12,000 次关于房源、看房预约和资格预审的对话。团队导出六个月的对话日志(45,000 个消息对),删除姓名和电话号码,再以 JSONL 格式上传到 Ertas Studio。他们在 Data Craft 中修正质量不佳的回答,并标记客户已批准的示例。随后在 Qwen 2.5 3B、Qwen 2.5 7B 和 Llama 3.1 8B 上并行训练三个 LoRA 任务,用一组预留的真实问题逐一对比,同时参照现有 GPT-4 设置给出的回答。达到客户质量标准的最小模型从 Hub 导出为 GGUF,在代理商办公室的一台 Mac Mini 上用 Ollama 运行。代理商先把该客户的一部分流量切到新模型,检查回答后再迁移其余流量。之后每个客户都按同样方式获得自己的模型,代理商的 AI 支出也从随每次对话增长的按 token 账单,变成 Ertas 订阅费加上自己拥有的硬件。
Compliance & Security
导出的模型在代理商的服务器或客户的场所运行时,它处理的对话会留在这套基础设施上,不会发送给任何第三方 AI 提供商。面对企业采购问卷中有关数据处理的问题,代理商因此可以给出具体答复。训练环节则不同:Studio 在 Ertas 的云端 GPU 上训练,训练集需要上传到 Ertas。上传前请删除或遮盖对话日志中的个人信息,只保留模型需要的示例,项目结束后从 Studio 删除数据集。《澳大利亚隐私法》、GDPR 或客户合同规定的义务,仍需由代理商和客户自行评估。
Related Resources
微调
LoRA
GGUF
推理
适配器
How to Cut Your AI Agency Costs by 90% with Fine-Tuned Local Models
Per-Token AI Pricing Costs 3-5x Your Estimate
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
How to Fine-Tune an LLM Locally: 6 Steps (2026)
Ollama
Hugging Face
llama.cpp
Ertas for SaaS Product Teams
Ertas for Customer Support
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.