Ertas 助力 AI 自动化代理商

    AI 自动化代理商可以用自己拥有的微调模型,取代按客户转售 API 的模式。在 Ertas Studio 中为每个客户训练专属模型,导出后运行在你或客户自己掌控的硬件上。按 token 计费的 API 账单由此变成可预测的托管成本,推理也留在你选定的基础设施上。

    The Challenge

    为客户构建聊天机器人、语音代理和工作流自动化的 AI 自动化代理商面临严峻的利润问题。每次客户合作都意味着又一个 OpenAI 或 Anthropic API 密钥,又一行随使用量而非交付价值同步增长的可变按 token 支出。一家管理 10–20 个以上客户的代理商在 GPT-4 或 Claude 上每月可以轻松消耗 3,000–5,000 澳元的纯 API 转发成本,而且这些成本完全不可预测。单个客户的使用量激增就能吞噬整个账户的利润。Make.com、n8n、Voiceflow 和 Stammer.ai 等工具使搭建 AI 驱动的工作流变得简单,但它们都将推理引导至相同的商业 API,使代理商对其最大的可变成本毫无控制力。

    除了成本之外,差异化问题更加致命。当每家代理商都在略有不同的提示模板背后转售相同的 GPT-4 或 Claude API 时,就没有任何护城河。客户最终会意识到他们可以绕过中间商直接调用 API。与此同时,客户数据——客户对话、专有业务背景、敏感运营细节——随着每次 API 调用流经第三方基础设施。企业客户越来越多地对此提出质疑,要求了解其数据在哪里处理和存储。无法回答「您的数据从未离开我们的基础设施」的代理商正在将订单输给能做出这种承诺的竞争对手。

    The Solution

    Ertas 让代理商从 API 转售商变成定制 AI 提供商。代理商不必再为每个客户单独订阅 API,而是在 Ertas Studio 中用每个客户自己的数据训练专属模型:语气风格、产品目录、常见问题解答和历史对话。Studio 通过可视化画布,在 Ertas 的云端 GPU 上对 Qwen、Llama、Gemma、Mistral 等开放模型进行 LoRA 微调,团队里没人需要写训练脚本或租用 GPU。多个训练任务可以并行运行,上线前逐一对比。

    训练好的模型从 Hub 导出为 GGUF(用于 llama.cpp、Ollama 或 LM Studio),或导出为完整的 safetensors(用于 vLLM 等服务器运行时)。代理商可以在自己的服务器上运行,也可以交给希望在自有场所部署的客户。此后模型运行不依赖 Ertas,也没有按 token 计费的账单:服务一个客户的成本就是代理商本来就有预算的硬件和托管费用,模型处理的对话也留在这套基础设施上。训练数据需要上传到 Ertas 才能训练模型,因此上传前请先去除对话日志中的个人信息。

    用客户真实对话训练出来的模型,在该客户的领域里往往比靠长提示词驱动的通用模型表现更好,代理商在切换前可以用自己预留的测试样本验证这一点。需要提升质量时,代理商在 Studio 中重新训练,把新结果与当前版本对比,再替换导出的模型文件。

    Key Features

    Studio

    按客户微调

    以 JSONL 格式上传客户的对话日志、产品数据或知识库,或从 Hugging Face 导入数据集,然后在可视化画布上配置 LoRA 微调任务。Studio 在 Ertas 的云端 GPU 上完成训练,生成掌握该客户领域与语气的模型,无需编写训练脚本,也无需管理 GPU 基础设施。

    Studio

    基础模型选择

    从 Studio 的开放模型目录中选择基础模型,包括 Qwen 2.5、Llama 3.2 与 3.1、Gemma、Mistral 7B 和 Phi-4 Mini。用同一份客户数据并行训练较小和较大的候选模型,对比结果后再决定每个服务层级需要多大的模型。

    Studio

    在 Data Craft 中由客户审核

    在 Studio 的引导式数据集构建器 Data Craft 中创建或整理每个客户的数据集。添加和编辑 USER 与 ASSISTANT 轮次,为示例做版本管理,并跟踪哪些示例已获客户批准,让模型学到的是客户认可的回答。

    Hub

    每个客户一个独立模型

    Hub 列出代理商训练过的所有模型。每个模型都可以下载为 GGUF(用于 Ollama、llama.cpp 或 LM Studio)或 safetensors(用于 vLLM),部署在代理商或客户的服务器上。每个客户的模型只用该客户的数据训练,运行时无需连接 Ertas。

    Example Workflow

    墨尔本一家 AI 自动化代理商为房地产、牙科和技工行业的 15 个中小企业客户管理聊天机器人和语音代理。目前所有推理都通过 Make.com 和 Voiceflow 集成调用 GPT-4,每月 API 费用 4,200 澳元,其中三个高流量客户就占了 1,800 澳元。代理商先从支出最高的客户入手:一家房地产代理,其聊天机器人每月处理 12,000 次关于房源、看房预约和资格预审的对话。团队导出六个月的对话日志(45,000 个消息对),删除姓名和电话号码,再以 JSONL 格式上传到 Ertas Studio。他们在 Data Craft 中修正质量不佳的回答,并标记客户已批准的示例。随后在 Qwen 2.5 3B、Qwen 2.5 7B 和 Llama 3.1 8B 上并行训练三个 LoRA 任务,用一组预留的真实问题逐一对比,同时参照现有 GPT-4 设置给出的回答。达到客户质量标准的最小模型从 Hub 导出为 GGUF,在代理商办公室的一台 Mac Mini 上用 Ollama 运行。代理商先把该客户的一部分流量切到新模型,检查回答后再迁移其余流量。之后每个客户都按同样方式获得自己的模型,代理商的 AI 支出也从随每次对话增长的按 token 账单,变成 Ertas 订阅费加上自己拥有的硬件。

    Compliance & Security

    导出的模型在代理商的服务器或客户的场所运行时,它处理的对话会留在这套基础设施上,不会发送给任何第三方 AI 提供商。面对企业采购问卷中有关数据处理的问题,代理商因此可以给出具体答复。训练环节则不同:Studio 在 Ertas 的云端 GPU 上训练,训练集需要上传到 Ertas。上传前请删除或遮盖对话日志中的个人信息,只保留模型需要的示例,项目结束后从 Studio 删除数据集。《澳大利亚隐私法》、GDPR 或客户合同规定的义务,仍需由代理商和客户自行评估。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.