Ertas 助力语音代理微调

    微调语音代理背后的 LLM,让语音交互更快、更准确,具备领域理解能力和一致的对话模式。

    The Challenge

    语音代理——处理电话、免下车订餐、预约安排和客户服务对话的 AI 系统——正在快速取代传统的 IVR 系统。语言模型是每个语音代理的大脑,负责理解来电者意图、生成自然回复、做出关于呼叫路由的决策以及维持连贯的多轮对话。然而大多数语音代理构建者依赖通用语言模型,这些模型不理解其服务业务的特定领域、词汇或对话模式。

    使用通用模型的后果对来电者来说立即显而易见。代理误解行业特定术语,因为无法推断上下文而提出多余问题,生成对自然语音节奏来说太长的回复,无法遵循业务要求的特定呼叫脚本和升级程序。延迟是另一个关键因素——语音对话需要亚秒级响应时间,而向大型云模型发送请求会引入可感知的延迟,使对话感觉不自然。这些问题加剧了来电者的沮丧并推高了放弃率,削弱了语音 AI 的商业论证。

    The Solution

    Ertas 让语音代理开发者用领域对话数据微调小巧快速的语言模型。在 Ertas Studio 中,团队用已去标识化的成功通话转录、经批准的通话脚本以及体现来电者预期模式的对话流程进行训练,也可以在 Studio 的引导式数据集构建器 Data Craft 中编写或修改示例对话。微调后的模型掌握业务术语,遵循通话处理流程,给出简短自然、适合说出口的回复。

    Hub 可将模型导出为 GGUF 或完整的 safetensors,因此它可以运行在您自己的 GPU 上,紧挨着您的电话系统。在本地运行的小模型省去了访问大型云端模型的网络往返,有助于保持自然的对话节奏,每次对话的计算成本通常也低于调用大型托管模型的 API。用 Ollama、llama.cpp 或 vLLM 部署后,模型可以作为 Retell、Vapi、Bland 等语音平台或自建电话集成背后的语言模型。通话录音和转录受同意和隐私规则约束,因此上传训练前请先对转录做去标识化处理;模型在您自己的服务器上运行后,实时通话内容都留在您这里。

    Key Features

    Studio

    对话式微调

    使用 Studio 在通话转录、经批准的脚本和多轮对话流程上训练模型。用简短的回复和自然的轮流发言来训练,让回复更适合口头表达。

    Studio

    紧凑型语音优化模型

    从 Studio 模型目录中的小型开源模型起步,例如 LFM2.5 1.2B、Qwen 2.5 3B、Llama 3.2 3B 或 Gemma 3 4B,它们在普通硬件上也跑得很快。较小的微调模型能让响应时间短到足以支撑实时对话。

    Hub

    低延迟自托管推理

    从 Hub 把训练好的模型导出为 GGUF 供 llama.cpp 或 Ollama 使用,或导出为 safetensors 供 vLLM 使用,运行在您自己的 GPU 或边缘服务器上。部署规模由您根据并发通话量调整,运行时不依赖 Ertas。

    Hub

    通话数据留在您手中

    自托管模型处理的实时通话转录都留在您的基础设施上。训练数据会上传到 Ertas 的云端 GPU,因此上传前请从转录中去除支付信息、健康信息和来电者身份信息。录音同意、PCI DSS 和健康隐私方面的义务仍需您自己落实。

    Example Workflow

    一家牙科诊所管理公司为 500 家牙科诊所打造处理预约排期的语音代理。他们收集了 100,000 份成功排期通话的转录,涵盖预约类型、保险核实问题、时间协商和取消处理,去除患者姓名和身份信息后上传到 Ertas Studio。在 Studio 中,他们在牙科排期领域微调 Qwen 2.5 7B,让它理解牙科术语(洁牙、牙周维护、牙冠预备)、保险计划名称以及不同治疗项目的排期逻辑,同时并行训练一个更小的 Llama 3.2 3B,比较速度和质量。他们用一组预留的真实通话测试这两个模型,检查每个模型能否约对预约类型,回复是否短到适合说出口。选定的模型从 Hub 导出,用 vLLM 部署在自家数据中心的 GPU 服务器上,接在语音平台后面。团队对照之前使用的通用模型,衡量响应延迟、端到端完成率和通话时长,并把模型处理不好的通话转给工作人员,同时收集示例用于下一轮训练。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.