如何创建用于微调的工具调用训练数据集

每个微调工具调用模型的指南都假设你已经有了数据。"只需准备 JSONL 格式的训练数据集"，然后直接跳到训练命令。

这跳过了最难的部分。构建高质量工具调用数据集是 80% 的工作。

目标：5 工具客服代理

• lookup_order — 按订单 ID 或邮箱查找订单
• check_status — 获取订单当前状态
• initiate_refund — 启动退款流程
• update_address — 更改配送地址
• escalate_to_human — 转接人工

步骤 1：记录工具模式

每个工具需要精确的 JSON 模式。描述比名称更重要——模型从描述学习何时调用工具。

步骤 2：生成种子示例

每个工具手写 10-20 条用户消息。手写这些。 不要为种子示例使用 LLM。

步骤 3：合成扩展

使用前沿模型将种子集扩展到每工具 50-100+ 变体。

步骤 4：添加负面示例

大多数人跳过这一步——这是大多数微调工具调用模型过度触发的原因。目标 20% 数据集为负面示例。包含近似消息（接近某工具但不完全触发）。

步骤 5：格式化为 JSONL

每行一个 JSON 对象。参数是 JSON 字符串而非嵌套对象。系统消息在所有示例中相同。

训练前质量检查

• 模式合规性
• 参数验证
• 平衡检查（每工具约 100 示例 + 125 负面）
• 边缘案例覆盖

多轮序列

包含 20-30 个多轮对话序列——客户查找订单、检查状态、然后请求退款——全在一个对话中。

总时间：5 工具代理 4-8 小时。总示例：500-750。7B 模型 LoRA 训练时间：20-40 分钟。

数据集就是模型。构建好它。

---

延伸阅读

• Synthetic Data for Fine-Tuning: The Complete Guide
• How Much Data Do You Actually Need for Fine-Tuning?
• Fine-Tuning for Tool Calling: How to Build Reliable AI Agents