为 Lovable 应用微调客服机器人（生产环境零 API 费用）

每个 Lovable 应用最终都需要客户支持。标准做法是接入 GPT-4 并在系统提示中塞满文档。将温度设低，告诉它要有帮助，然后祈求好运。它能工作——勉强。但每次对话花费 0.03 至 0.06 美元，它每周至少会幻觉一次您的定价页面，而且它完全不知道您三个月前把"Pro Plan「改名为」Growth Plan"了。有更好的方法。

如果您的客服机器人真正了解您的产品呢？不是"我抓取了您的 FAQ「的那种了解，而是」我在 500 个真实客服对话上训练过，我知道您的用户遇到的每一个边缘情况"的那种了解。这就是微调给您的。当您使用 Ollama 本地部署微调模型时，每次对话的费用从 0.04 美元降到正好 0.00 美元。

本指南介绍整个过程：收集训练数据、使用 Ertas 微调模型、本地部署以及集成到 Lovable 构建的应用中。无需 ML 背景。无需 GPU 集群。无需持续 API 账单。

为什么通用 LLM 做不好客服机器人

让我们诚实地看看当您把 GPT-4 指向产品文档并告诉它回答客户问题时会发生什么。

**它会幻觉产品细节。**问它定价，它会自信地报出六个月前的数字——或者从来就不是真的数字。问功能限制，它会发明一个不存在的变通方案。通用 LLM 不了解您的产品。它们知道"回答 SaaS 产品问题"的一般模式，然后用听起来合理的编造来填空。

**语调不一致。**一次对话听起来像硅谷营销页面，下一次听起来像维基百科文章。您的客服机器人应该听起来像您的品牌。通用模型听起来像它们自己。

**大规模使用费用高昂。**以下是 GPT-4o 客服对话的费用计算：

在 10,000 次对话/月时，您仅在客服机器人推理上就花费 300 至 600 美元。对于收费 9.99 美元/月的独立应用，这是一个巨大的利润打击。

**它不会随时间改善。**您的人工客服会学习。他们看到关于 CSV 导出 bug 的同一工单十二次后会变得更快。GPT-4 机器人从一次对话到下一次什么都学不到。每次交互都从零开始。

微调解决了所有四个问题。基于实际客服数据训练的模型了解产品细节、保持一致语调、本地运行零按 token 费用，并且可以随产品更新重新训练。

收集训练数据

您需要输入-输出对：客户问题和理想的客服回复。以下是来源。

**来源 1：之前的客服工单。**如果您一直在手动做客服（邮件、Intercom、Crisp 等），您坐在金矿上。导出工单历史。每个已解决的工单都是潜在的训练示例。

**来源 2：帮助文档。**将每篇帮助文章转化为问答对。

**来源 3：FAQ。**已经是问答格式，展开为对话式客服回复。

**来源 4：合成生成。**当历史工单数据不多时的秘密武器。使用 GPT-4 生成真实的客户问题，然后手动编写理想回复。

**来源 5：更新日志和已知问题。**用户经常询问最近的变更和已知 bug。

构建数据集

训练数据需要 JSONL 格式：

{"input": "I upgraded to the Growth plan but I'm still seeing the free plan limits. It's been 24 hours.", "output": "Thanks for reaching out! Plan upgrades can take up to 10 minutes to propagate, but 24 hours definitely isn't right. Let me check a few things: First, can you try logging out and back in? This forces a session refresh that picks up plan changes. If that doesn't fix it, go to Settings > Billing and confirm the plan shows as 'Growth' there. If it still shows 'Free,' the payment may not have completed — check your email for a receipt from Stripe. Let me know what you see and I'll get this sorted."}

**需要多少示例？**针对专注型客服机器人，目标是 300 到 500 个高质量示例。

使用 Ertas 微调

**步骤 1：上传数据集。**登录 Ertas，上传 JSONL 文件。

**步骤 2：选择基础模型。**推荐 Qwen 2.5 7B。

**步骤 3：配置训练。**使用 LoRA 微调，Epochs：3-5，LoRA rank：16。

**步骤 4：训练。**点击开始。500 个示例的 7B 模型 LoRA 训练通常需要 20-40 分钟。

**步骤 5：评估。**测试 20-30 个实际客服队列中的问题，关注事实准确性、语调一致性和边缘情况处理。

部署客服机器人

导出为 GGUF 文件，使用 Ollama 部署：

curl -fsSL https://ollama.com/install.sh | sh

ollama create my-support-bot -f Modelfile

集成到 Lovable 应用

选项 A：直接 API 调用。

// Before: OpenAI API
const response = await openai.chat.completions.create({
  model: "gpt-4o",
  messages: [{ role: "user", content: userQuestion }],
});

// After: Local Ollama
const response = await fetch("http://localhost:11434/api/chat", {
  method: "POST",
  body: JSON.stringify({
    model: "my-support-bot",
    messages: [{ role: "user", content: userQuestion }],
    stream: false,
  }),
});

选项 B：OpenAI 兼容端点。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://localhost:11434/v1",
  apiKey: "not-needed",
});

费用对比

盈亏平衡点在每月约 1,000 次对话。低于此数 API 方案更简单便宜。高于此数，节省每月都在累积。

本周末开始

最小可行计划：

1. **周六上午：**导出最近 3 个月的客服工单，清洗为 200-300 个 JSONL 示例
2. **周六下午：**上传到 Ertas，选择 Qwen 2.5 7B，使用默认 LoRA 训练
3. **周日上午：**导出 GGUF，部署到 VPS，测试 20 个示例问题
4. **周日下午：**替换 Lovable 应用中的 API 端点。部署。完成。

---

延伸阅读

• 使用应用数据微调模型——独立开发者微调完整入门指南
• 您的 Vibe 编码应用达到 10K 用户。现在 AI 账单是 3K/月。
• 无需编写代码微调 AI