量化是讓 LLM 能在手機上運行的關鍵技術。一個 3B 參數模型在全精度(FP16)下佔 6GB。量化到 Q4 後只佔 1.7GB。模型大致相同,只是以更高效率儲存。
但「大致相同」隱藏了重要的細微差異。不同的量化級別在大小和速度與品質之間進行權衡。為你的行動應用程式選擇正確的級別,需要在真實硬體上理解這些權衡。
Q4、Q5 和 Q8 的 GGUF 量化如何影響 iPhone 和 Android 上的模型大小、速度、品質和記憶體用量。全部基於真實裝置實測。


量化是讓 LLM 能在手機上運行的關鍵技術。一個 3B 參數模型在全精度(FP16)下佔 6GB。量化到 Q4 後只佔 1.7GB。模型大致相同,只是以更高效率儲存。
但「大致相同」隱藏了重要的細微差異。不同的量化級別在大小和速度與品質之間進行權衡。為你的行動應用程式選擇正確的級別,需要在真實硬體上理解這些權衡。