tool-callingfunction-callingai-agentsfine-tuningloran8nstructured-output
工具调用微调：如何用小模型构建可靠 AI 智能体
通用模型工具调用不可靠——幻觉函数名、错误参数、格式错误。在特定工具 Schema 上微调小模型可实现 90%+ 准确率且零查询成本。
EErtas Team·
2026 年 AI 智能体无处不在。几乎所有都以相同方式工作：发送用户消息给 GPT-4，问它调用哪个工具，解析响应，执行工具。这个模式昂贵、在边缘不可靠，且完全依赖云 API。
解决方案：在特定工具 Schema 上微调小模型。更可靠的工具选择、一致的结构化输出、零查询成本。
微调如何修复
| 指标 | 通用 GPT-4 | 微调 8B |
|---|---|---|
| 工具选择准确率 | 85-90% | 92-97% |
| 参数格式合规 | 90-95% | 98-99% |
| 幻觉工 具名 | 偶尔 | 接近零 |
| 不必要工具调用 | ~5-10% | 低于 1% |
构建训练数据集
对于 5-10 个工具的智能体，需要 200-500 个总示例：
- 每个工具 20-40 个清晰调用示例
- 模糊情况（可能映射到多个工具）
- 无工具情况（应直接回答的问题）——关键
- 多工具情况
- 边缘情况
部署
导出为 GGUF，通过 Ollama 提供服务。支持 LangChain、CrewAI、n8n、Make.com——一行 URL 修改。
参考文献：Weights & Biases、Hugging Face。
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $25/mo USD.
Keep reading
微调
结构化输出微调：超越 JSON Mode 实现有保障的 Schema
JSON mode 给您有效的 JSON。微调给您有保障的 Schema 合规——每个字段、每个类型、每次。以下是如何训练模型输出您应用期望的精确结构。
微调
按用户 LoRA 适配器：大规模个性化 AI 无需按 Token 计费
LoRA 适配器每个仅 50-200MB。你可以按用户请求热交换，从单一基础模型提供个性化 AI 体验——无需倍增推理成本。
指南
使用微调本地模型构建可靠 AI Agent：完整指南
大多数 AI Agent 只是 GPT-4 封装——在规模上昂贵、不可靠且依赖云 API。微调本地模型在你的特定工具上达到 98%+ 准确率，零查询成本。这是完整架构。