fine-tuningstructured-outputjsonschema
结构化输出微调：JSON Schema 合规
JSON mode 给您有效的 JSON。微调给您有保障的 Schema 合规：每个字段、每个类型、每次都对。以下是训练模型的方法。
Edward Xi Yang
您的应用期望一个有 8 个字段的 JSON 对象。GPT-4 大多数时候给您想要的。但在 95% Schema 合规率下，每 20 次 API 调用有 1 次产生解析器无法处理的输出。每天 10,000 次调用意味着每天 500 次失败。
微调后 Schema 合规从 95% 提示到 99.5%+ 微调。
结构化输出层级
| 级别 | 方案 | 合规率 |
|---|---|---|
| 1 | 基于提示 | 80-90% |
| 2 | JSON Mode | 95-98% |
| 3 | Function Calling API | 99%+ |
| 4 | 微调模型 | 99.5-99.9% |
| 5 | 微调 + 约束解码 | 100% |
构建 Schema 合规训练数据集
- 定义正式 JSON Schema
- 生成 500-1,000 个验证通过的训练示例
- 变化输入而非仅输出
- 显式包含边缘情况（空数组、null、长字符串）
- 格式化为训练对——助手回复必须是纯 JSON，无 markdown
常见错误
- 训练数据不一致——每个格式约定必须 100% 一致
- 未训练空/null 情况
- 输入过于同质
- 在美化 JSON 上训练（浪费 token）
- 未验证训练数据
对比指标
| 设置 | Schema 合规 | 平均延迟 | 每千次费用 |
|---|---|---|---|
| GPT-4o + 提示 | 93-96% | 1.8s | $2.50-8.00 |
| 微调 8B + 语法约束 | 100% | 0.35s | $0（本地） |
延伸阅读
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.
Keep reading
Gemma 3 4B 端侧延迟与部署
微调后的 Gemma 3 4B 在 iPhone、Pixel、树莓派和浏览器上的实测延迟与准确率，并附上 QLoRA 训练参数和 GGUF 量化档位的选择建议。
Edward Xi Yang
微调 Phi-4 14B：显存、速度与基准
如何用 QLoRA 在 12 GB 显存上微调 Phi-4 14B，包含各量化档位在 RTX 4090 上的每秒 token 数，以及与 Llama 3.1、Qwen 2.5 的准确率对比。
Edward Xi Yang
Qwen 2.5 多语言微调：29 种语言
Qwen 2.5 覆盖 29 种语言。微调一个模型即可处理多语言分类、客服支持和文档抽取，无需为每种语言单独训练模型。
Edward Xi Yang