What is GGUF?
一種用於儲存量化大型語言模型的二進位檔案格式,針對透過 llama.cpp 和相容執行時進行快速載入和高效 CPU 及 GPU 推論而優化。
Definition
GGUF(GPT-Generated Unified Format)是由 llama.cpp 社群建立的單一檔案二進位格式,作為舊版 GGML 格式的繼任者。它將運行大型語言模型所需的一切——架構元資料、分詞器配置、超參數和量化權重張量——打包到一個獨立的檔案中。
該格式支援從完整 16 位元浮點到激進 2 位元方案(Q2_K)的廣泛量化級別。GGUF 已成為本地和離線 LLM 推論的事實標準,原生支援 llama.cpp、Ollama、LM Studio、GPT4All 等工具。
Why It Matters
隨著組織因延遲、成本和資料隱私原因轉向內部部署和邊緣部署,擁有緊湊、可攜的模型格式至關重要。GGUF 支援多種量化級別,讓團隊為特定部署目標找到品質和資源限制之間的平衡。
How It Works
GGUF 檔案以魔術數字和版本標頭開始,接著是以鍵值對儲存的元資料部分。檔案其餘部分包含權重張量。載入時,執行時讀取元資料配置模型圖形,然後直接從磁碟記憶體映射張量資料。量化在轉換步驟中應用。
# Convert a fine-tuned model to GGUF with Q4_K_M quantization
python convert_hf_to_gguf.py \
--model ./fine-tuned-mistral-7b \
--outfile ./models/clinical-assistant-q4km.gguf \
--outtype q4_k_m
# Run inference with llama.cpp
./llama-cli \
-m ./models/clinical-assistant-q4km.gguf \
-p "Summarize the following discharge note:" \
--ctx-size 4096 \
--threads 8Example Use Case
一家醫療新創公司在去識別化的臨床筆記上微調 Mistral 7B 模型,然後匯出為 Q4_K_M GGUF 檔案。4.1 GB 的檔案部署到醫院網路內的內部伺服器,患者資料永遠不離開設施。醫生透過本地網頁介面使用模型,回應時間不到一秒,也不依賴雲端,病患資料因此留在醫院自己的系統內,符合其隱私制度的要求。
Key Takeaways
- GGUF 是將模型權重、分詞器和元資料打包用於可攜推論的單一檔案格式。
- 支援從 FP16 到 Q2_K 的量化級別,實現在資源受限硬體上的部署。
- 原生支援 llama.cpp、Ollama、LM Studio 和許多其他本地推論工具。
- 記憶體映射載入允許快速啟動,無需將檔案完全反序列化到 RAM。
- GGUF 是資料隱私和低延遲至關重要的內部和邊緣部署的首選格式。
How Ertas Helps
GGUF 是 Ertas Studio 的一級匯出格式。啟用 GGUF 轉換的訓練任務會產出 Q4_K_M 量化模型,打包成附 Ollama Modelfile 的可安裝套件,可直接用於 llama.cpp、Ollama 或 LM Studio,不必自己撰寫轉換腳本。其他量化等級已列入產品路線圖。訓練好的模型會持續列在 Hub 中供下載,檔案在您自己的硬體上執行,不依賴 Ertas。
Related Resources
Fine-Tuning(微調)
Inference(推論)
LoRA
JSONL
Quantization(量化)
Base Model(基礎模型)
Context Window(上下文視窗)
Getting Started with Ertas: Fine-Tune and Deploy Custom AI Models
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
Running AI Models Locally: The Complete Guide to Local LLM Inference
Fine-Tuning Llama 3: A Practical Guide for Your Use Case
Self-Hosted AI for Indie Apps: Replace GPT-4 with Your Own Model
llama.cpp
Ollama
Hugging Face
LM Studio
KoboldCpp
Ertas for Healthcare
Ertas for SaaS Product Teams
Ertas for Customer Support
Ertas for Legal
Ertas for Finance
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.