tool-callingfunction-callingai-agentsfine-tuningloran8nstructured-output
微调小模型实现 AI 智能体工具调用
通用模型会幻觉函数名，也会写错参数。在你自己的工具 Schema 上微调小模型，即可获得可靠的工具调用，成本接近于零。
Edward Xi Yang
2026 年 AI 智能体无处不在。几乎所有都以相同方式工作：发送用户消息给 GPT-4，问它调用哪个工具，解析响应，执行工具。这个模式昂贵、在边缘不可靠，且完全依赖云 API。
解决方案：在特定工具 Schema 上微调小模型。更可靠的工具选择、一致的结构化输出、零查询成本。
微调如何修复
| 指标 | 通用 GPT-4 | 微调 8B |
|---|---|---|
| 工具选择准确率 | 85-90% | 92-97% |
| 参数格式合规 | 90-95% | 98-99% |
| 幻觉工具名 | 偶尔 | 接 近零 |
| 不必要工具调用 | ~5-10% | 低于 1% |
构建训练数据集
对于 5-10 个工具的智能体，需要 200-500 个总示例：
- 每个工具 20-40 个清晰调用示例
- 模糊情况（可能映射到多个工具）
- 无工具情况（应直接回答的问题），这一项关键
- 多工具情况
- 边缘情况
部署
导出为 GGUF，通过 Ollama 提供服务。支持 LangChain、CrewAI、n8n、Make.com，只需修改一行 URL。
参考文献：Weights & Biases、Hugging Face。
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.
Keep reading
结构化输出微调：JSON Schema 合规
JSON mode 给您有效的 JSON。微调给您有保障的 Schema 合规：每个字段、每个类型、每次都对。以下是训练模型的方法。
Edward Xi Yang
按用户 LoRA 适配器：大规模个性化 AI
LoRA 适配器每个仅 50-200MB。单一基础模型即可按用户请求热交换个性化适配器，无需倍增推理成本。
Edward Xi Yang
使用微调本地模型构建可靠 AI Agent：完整指南
大多数 AI Agent 只是 GPT-4 封装——在规模上昂贵、不可靠且依赖云 API。微调本地模型在你的特定工具上达到 98%+ 准确率，零查询成本。这是完整架构。
Edward Xi Yang