量化是让 LLM 能在手机上运行的关键。一个 3B 参数模型在全精度(FP16)下占 6GB。量化到 Q4 后只需 1.7GB。模型大致相同,只是存储效率更高。
但"大致相同"隐藏了重要的细微差别。不同的量化级别在大小和速度与质量之间进行权衡。为你的移动应用选择正确的级别需要了解这些在真实硬件上的折衷。
Q4、Q5 和 Q8 的 GGUF 量化如何影响 iPhone 和 Android 上的模型大小、速度、质量和内存占用。全部基于真实设备实测。


量化是让 LLM 能在手机上运行的关键。一个 3B 参数模型在全精度(FP16)下占 6GB。量化到 Q4 后只需 1.7GB。模型大致相同,只是存储效率更高。
但"大致相同"隐藏了重要的细微差别。不同的量化级别在大小和速度与质量之间进行权衡。为你的移动应用选择正确的级别需要了解这些在真实硬件上的折衷。