模型蒸馏详解：以$0推理账单运行Sonnet级别输出

你上个月的Claude Sonnet账单是$2,400。这个月会更高。下个月还会更高。趋势明确，只有一个方向：上升。

模型蒸馏打破这个循环。你将大型昂贵前沿模型中的知识压缩到一个在自有硬件上以零边际推理成本运行的小型本地模型中。

为什么小模型能在狭窄任务上匹配大模型

Claude Sonnet可以讨论量子物理、中世纪历史、TypeScript泛型和法式烹饪。大多数参数与你的分类任务无关。

当你在2,000个高质量特定任务示例上微调小模型时，你将该模型所有容量集中在一件事上。

成本计算

客服分类器每月50,000请求：

• Claude Sonnet API：$95/月，年**$1,140**
• 蒸馏Llama 8B本地运行：一次性**$10-15**，月推理成本**$0**

10个客户模型规模：API方式**$11,400/年**，蒸馏方式**$100-150一次性后$0/月**。

蒸馏效果好的任务

• 分类、提取、格式化转换、领域特定问答

蒸馏效果不好的任务

• 开放式生成、复杂多步推理、新颖问题求解

Ertas Studio简化管道

数据集管理、预配置LoRA模板、评估仪表板、一键GGUF导出。完整管道3-4小时。

---

进一步阅读：technical guide to distillation with LoRA、hidden costs of per-token pricing。