每个 Lovable 应用最终都需要客户支持。标准做法是接入 GPT-4 并在系统提示中塞满文档。将温度设低,告诉它要有帮助,然后祈求好运。它能工作,但只是勉强。但每次对话花费 0.03 至 0.06 美元,它每周至少会幻觉一次您的定价页面,而且它完全不知道您三个月前把"Pro Plan"改名为"Growth Plan"了。有 更好的方法。
如果您的客服机器人真正了解您的产品,达到"我在 500 个真实客服对话上训练过,我知道您的用户遇到的每一个边缘情况"的程度呢?这就是微调给您的。当您使用 Ollama 本地部署微调模型时,每次对话的费用从 0.04 美元降到正好 0.00 美元。
本指南介绍整个过程:收集训练数据、使用 Ertas 微调模型、本地部署以及集成到 Lovable 构建的应用中。无需 ML 背景。无需 GPU 集群。无需持续 API 账单。
为什么通用 LLM 做不好客服机器人
让我们诚实地看看当您把 GPT-4 指向产品文档并告诉它回答客户问题时会发生什么。
**它会幻觉产品细节。**问它定价,它会自信地报出六个月前的数字,或者从来就不是真的数字。问功能限制,它会发明一个不存在的变通方案。通用 LLM 不了解您的产品。它们知道"回答 SaaS 产品问题"的一般模式,然后用听起来合理的编造来填空。
**语调不一致。**一次对话听起来像硅谷营销页面,下一次听起来像维基百科文章。您的客服机器人应该听起来像您的品牌。通用模型听起来像它们自己。
**大规模使用费用高昂。**以下是 GPT-4o 客服对话的费用计算:
| 月对话量 | 平均 Token/对话 | 月 API 费用 |
|---|---|---|
| 500 | ~2,000 | $15 - $30 |
| 2,000 | ~2,000 | $60 - $120 |
| 5,000 | ~2,000 | $150 - $300 |
| 10,000 | ~2,000 | $300 - $600 |
| 25,000 | ~2,000 | $750 - $1,500 |
在 10,000 次对话/月时,您仅在客服机器人推理上就花费 300 至 600 美元。对于收费 9.99 美元/月的独立应用,这是一个巨大的利润打击。
**它不会随时间改善。**您的人工客服会学习。他们看到关于 CSV 导出 bug 的同一工单十二次后会变得更快。GPT-4 机器人从一次对话到下一次什么都学不到。每次交互都从零开始。
微调解决了所有四个问题。基于实际客服数据训练的模型了解产品细节、保持一致语调、本地运行零按 token 费用,并且可以随产品更新重新训练。
收集训练数据
您需要输入-输出对:客户问题和理想的客服回复。以下是来源。
**来源 1:之前的客服工单。**如果您一直在手动做客服(邮件、Intercom、Crisp 等),您坐在金矿上。导出工单历史。每个已解决的工单都是潜在的训练示例。
**来源 2:帮助文档。**将每篇帮助文章转化为问答对。
**来源 3:FAQ。**已经是问答格式,展开为对话式客服回复。
**来源 4:合成生成。**当历史工单数据不多时的秘密武器。使用 GPT-4 生成真实的客户问题,然后手动编写理想回复。
**来源 5:更新日志和已知问题。**用户经常询问最近的变更和已知 bug。
构建数据集
训练数据需要 JSONL 格式:
{"input": "I upgraded to the Growth plan but I'm still seeing the free plan limits. It's been 24 hours.", "output": "Thanks for reaching out! Plan upgrades can take up to 10 minutes to propagate, but 24 hours definitely isn't right. Let me check a few things: First, can you try logging out and back in? This forces a session refresh that picks up plan changes. If that doesn't fix it, go to Settings > Billing and confirm the plan shows as 'Growth' there. If it still shows 'Free,' the payment may not have completed — check your email for a receipt from Stripe. Let me know what you see and I'll get this sorted."}**需要多少示例?**针对专注型客服机器人,目标是 300 到 500 个高质量示例。
使用 Ertas 微调
**步骤 1:上传数据集。**登录 Ertas,上传 JSONL 文件。
**步骤 2:选择基础模型。**推荐 Qwen 2.5 7B。
**步骤 3:配置训练。**使用 LoRA 微调,Epochs:3-5,LoRA rank:16。
**步骤 4:训练。**点击开始。500 个示例的 7B 模型 LoRA 训练通常需要 20-40 分钟。
**步骤 5:评估。**测试 20-30 个实际客服队列中的问题,关注事实准确性、语调一致性 和边缘情况处理。
部署客服机器人
导出为 GGUF 文件,使用 Ollama 部署:
curl -fsSL https://ollama.com/install.sh | shollama create my-support-bot -f Modelfile
