量化级别详解：Q4 vs Q5 vs Q8 及各自适用场景
为本地 AI 部署选择 GGUF 量化级别的实用指南。涵盖 Q4_K_M、Q5_K_M、Q8_0，以及硬件约束、微调和用例需求如何决定正确的量化。
你微调了模型，导出为 GGUF。现在需要选择量化级别。本指南教你如何根据硬件、用例和质量要求选择正确的量化级别。
量化阶梯
| 量化 | 位 | 文件大小（8B 模型） | 质量 | 最适合 |
|---|---|---|---|---|
| IQ2_XXS | 2.06 | ~2.5 GB | 差 | 极端内存约束 |
| Q3_K_M | 3.44 | ~3.6 GB | 一般 | 预算边缘设备 |
| Q4_K_M | 4.83 | ~4.9 GB | 好 | 大多数部署的默认选择 |
| Q5_K_M | 5.69 | ~5.7 GB | 很好 | 质量重要的生产环境 |
| Q6_K | 6.57 | ~6.6 GB | 优秀 | 合理大小下的高质量 |
| Q8_0 | 8.50 | ~8.5 GB | 近乎无损 | 质量关键，内存充足 |
Q4_K_M、Q5_K_M 和 Q8_0 覆盖 90% 的实际用例。
按硬件选择
| 可用内存 | 推荐 |
|---|---|
| 8 GB | Q4_K_M 用于 7B 模型 |
| 12 GB | Q5_K_M 最佳质量/大小比 |
| 16 GB | Q5_K_M（为更长上下文留空间） |
| 24 GB+ | Q8_0（近乎无损） |
按用例选择
Q4_K_M：任务定义明确、模型已为领域微调、内存受限。
Q5_K_M：生产甜蜜点。质量重要且有内存空间时。"跟云 API 一样好吗「的比较开始回答」是"的级别。
Q8_0：质量关键。输出质量不可妥协时（医疗、法律、金融文档）。
微调与量化的交互
**微调后的模型在 Q4_K_M 上的领域专属任务通常优于通用模型在 Q8_0 上的表现。**微调教会模型特定模式，这些知识对量化更有韧性。
实用建议
- 开发测试：用 Q8_0 建立质量基线
- 生产（内存充足）：Q5_K_M
- 生产（内存受限）：Q4_K_M
- 边缘/移动：Q4_K_M 在满足准确率要求的最小模型上
- 评估对比：始终 Q8_0 或 F16
Ship AI that runs on your users' devices.
Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.
Keep reading
GGUF Explained: The Open Format That Runs AI Anywhere
GGUF is the file format that made running AI models on consumer hardware practical. Here's what it is, how it works, and why every AI builder should understand it.
Fine-Tuning for Apple Silicon: Running Custom Models on M-Series Macs
A practical guide to deploying fine-tuned AI models on Apple Silicon Macs. Covers M4 hardware capabilities, unified memory advantages, Ollama and MLX setup, quantization choices, and Core ML LoRA adapter support.
Running AI Models Locally: The Complete Guide to Local LLM Inference
Everything you need to know about running large language models on your own hardware — from hardware requirements and model formats to tools like Ollama, LM Studio, and llama.cpp.