fine-tuningjsonstructured-outputsmall-modelssegment:vibecoder
微调改善 JSON 输出：为什么小模型困难以及如何解决
微调如何显著提升小模型的 JSON 输出可靠性——从 60% 有效 JSON 到 99%+ 合规性，包含结构化输出任务的实用技术。
EErtas Team·
如果您尝试过让 7B 或 8B 参数模型产生可靠的 JSON，您知道问题所在。模型 60-70% 的时间产生有效 JSON。其余是尾随逗号、缺少闭合括号、未引号键等混合问题。
这不是提示问题，是训练数据问题。微调可以决定性地解决它。
微调前后
| 指标 | 基础模型 + 提示 | 微调后 |
|---|---|---|
| 有效 JSON | 64.2% | 99.2% |
| 正确 Schema | 58.1% | 98.7% |
| 正确字段值 | 71.3% | 94.6% |
构建训练数据集
- 精确定义 JSON Schema
- 生成 2,000+ 多样化示例
- 每个示例通过 JSON 验证器和 Schema 验证器验证
- 边缘情况占比 10-15%（空数组、null 字段、长字符串）
约束解码：完美补充
微调 + 约束解码组合实现 99.9%+ 有效 JSON 率。微调确保模型"意图"产生正确 JSON Schema；约束解码捕获剩余 0.8% 的语法错误。
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $25/mo USD.
延伸阅读
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $25/mo USD.
Keep reading
微调
结构化输出微调：超越 JSON Mode 实现有保障的 Schema
JSON mode 给您有效的 JSON。微调给您有保障的 Schema 合规——每个字段、每个类型、每次。以下是如何训练模型输出您应用期望的精确结构。
技术指南
检测微调模型中的模型漂移：何时重新训练
如何在用户注意到之前检测微调 LLM 中的模型漂移——涵盖输入分布偏移、词汇漂移、任务分布变化、监控仪表板、决策框架和实际维护节奏。
技术指南
微调LLM的模型风险管理：SR 11-7合规指南
将联邦储备委员会SR 11-7模型风险管理框架应用于银行业微调LLM的实用指南。涵盖文档要求、验证框架、审计员问题，以及为什么本地部署简化合规。