"微调 7B 模型在任何任务上都能打败 GPT-4o"这个说法是错误的。但更细致的版本——微调小模型在特定、定义明确的任务上击败 GPT-4o——既是正确的也是可重现的。
小模型胜出的领域
分类:94% vs 89%
| 模型 | 准确率 | 每千条成本 | 延迟 (p50) |
|---|---|---|---|
| GPT-4o(5-shot) | 89.2% | $1.24 | 680ms |
| Llama 3.1 8B(微调) | 94.1% | $0.00 | 85ms |
| Qwen 2.5 3B(微调) | 91.6% | $0.00 | 42ms |
提取:更快更一致
发票数据提取精确匹配率:GPT-4o 72.5% vs 微调 8B 88.0%。
格式化:微调后近乎完美
97-99% 精确匹配率 vs GPT-4o 的 88-93%。
GPT-4o 胜出的领域
- **开放式推理:**GPT-4o 78.2% vs 微调 8B 51.4%
- 多步规划、新颖问题解决、广泛世界知识
费用差距
100 万请求/月:GPT-4o $1,000/月 vs 本地 Llama 8B $0/月。
混合方案
80% 请求由本地模型处理(置信度大于 0.85),20% 路由到 GPT-4o。实现 80% 成本降低 + GPT-4o 质量保障困难案例。
决策标准
**用微调小模型:**任务定义明确、可创建 1,500+ 示例、一致性重于创意灵活性。
**用 GPT-4o:**任务需要跨领域推理、输入高度可变、无法精确定义输出格式。

