quantizationgguflocal-inferencedeploymenthardwaremodel-optimization
量化级别详解：Q4 vs Q5 vs Q8 及各自适用场景
为本地 AI 部署选择 GGUF 量化级别的实用指南。涵盖 Q4_K_M、Q5_K_M、Q8_0，以及硬件约束、微调和用例需求如何决定正确的量化。
Edward Xi YangUpdated
你微调了模型，导出为 GGUF。现在需要选择量化级别。本指南教你如何根据硬件、用例和质量要求选择正确的量化级别。
量化阶梯
| 量化 | 位 | 文件大小（8B 模型） | 质量 | 最适合 |
|---|---|---|---|---|
| IQ2_XXS | 2.06 | ~2.5 GB | 差 | 极端内存约束 |
| Q3_K_M | 3.44 | ~3.6 GB | 一般 | 预算边缘设备 |
| Q4_K_M | 4.83 | ~4.9 GB | 好 | 大多数部署的默认选择 |
| Q5_K_M | 5.69 | ~5.7 GB | 很好 | 质量重要的生产环境 |
| Q6_K | 6.57 | ~6.6 GB | 优秀 | 合理大小下的高质量 |
| Q8_0 | 8.50 | ~8.5 GB | 近乎无损 | 质量关键，内存充足 |
Q4_K_M、Q5_K_M 和 Q8_0 覆盖 90% 的实际用例。
按硬件选择
| 可用内存 | 推荐 |
|---|---|
| 8 GB | Q4_K_M 用于 7B 模型 |
| 12 GB | Q5_K_M 最佳质量/大小比 |
| 16 GB | Q5_K_M（为更长上下文留空间） |
| 24 GB+ | Q8_0（近乎无损） |
按用例选择
Q4_K_M：任务定义明确、模型已为领域微调、内存受限。
Q5_K_M：生产甜蜜点。质量重要且有内存空间时。"跟云 API 一样好吗「的比较开始回答」是"的级别。
Q8_0：质量关键。输出质量不可妥协时（医疗、法律、金融文档）。
微调与量化的交互
**微调后的模型在 Q4_K_M 上的领域专属任务通常优于通用模型在 Q8_0 上的表现。**微调教会模型特定模式，这些知识对量化更有韧性。
实用建议
- 开发测试：用 Q8_0 建立质量基线
- 生产（内存充足）：Q5_K_M
- 生产（内存受限）：Q4_K_M
- 边缘/移动：Q4_K_M 在满足准确率要求的最小模型上
- 评估对比：始终 Q8_0 或 F16
Ship AI that runs on your users' devices.
Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.
Keep reading
在 Apple Silicon 上运行微调模型：Ollama 与 MLX
各代 M 系列 Mac 分别能跑动多大的模型，以及如何用 Ollama、MLX 或 llama.cpp 在本地部署一个微调过的模型，让每次查询的推理成本真正降为零而无需依赖云端。
Edward Xi Yang
本地运行 AI 模型：本地 LLM 推理完全指南
关于在自己的硬件上运行大语言模型你需要知道的一切——从硬件要求和模型格式到 Ollama、LM Studio 和 llama.cpp 等工具。
Edward Xi Yang
使用微调本地模型构建可靠 AI Agent：完整指南
大多数 AI Agent 只是 GPT-4 封装——在规模上昂贵、不可靠且依赖云 API。微调本地模型在你的特定工具上达到 98%+ 准确率，零查询成本。这是完整架构。
Edward Xi Yang