最佳本地 LLM 推論

比較頂級本地 LLM 推論引擎和框架

Overview

在本地運行大型語言模型已從小眾愛好轉變為許多開發者和組織的實際需求。無論您需要將敏感資料隔離在第三方伺服器之外、降低 API 成本、在氣隔環境中運作，還是單純想在沒有速率限制的情況下進行實驗，本地推論框架都能實現這些需求。生態系統已迅速成熟，現在每個經驗等級都有絕佳的選擇——從一鍵安裝的桌面應用程式到高吞吐量的生產伺服器。

正確的框架取決於您的目標。如果您想在筆記型電腦上快速與模型對話，像 Ollama 或 LM Studio 這樣使用者友善的工具可以在幾分鐘內讓您上手運行。如果您需要以最大吞吐量服務數千個並發請求，像 vLLM 和 TensorRT-LLM 這樣的生產框架就是專為此工作負載而建的。本指南從設定便利性、原始效能、硬體需求、模型格式支援、API 相容性和多 GPU 擴展等方面比較主要的本地推論框架。

What We Evaluated

設定便利性
效能
硬體需求
模型格式支援
API 相容性
多 GPU 支援

The Tools

Ollama

免費且開源（MIT 授權）。無使用費——您提供硬體。

本地 LLM 的 Docker。Ollama 將模型封裝成可移植、有版本控制的套件，並提供簡單的 CLI 和 REST API。它自動處理量化、GPU 偵測和模型管理。

Strengths

極其簡易的設定——macOS、Linux 和 Windows 上的單一二進位安裝
內建模型庫，一個指令即可拉取（ollama pull llama3）
OpenAI 相容的 REST API 使整合變得輕而易舉
自動 GPU 偵測和記憶體管理

Weaknesses

吞吐量低於 vLLM 等最佳化的服務框架
與生產級工具相比，多 GPU 支援有限
進階配置（自訂量化、張量平行）受到限制

Best for: 想要從零到運行本地模型最快路徑的開發者，以及需要簡單 API 進行原型開發的團隊。

llama.cpp

免費且開源（MIT 授權）。

開創高效 CPU 和 GPU LLM 推論的基礎 C/C++ 推論引擎。llama.cpp 是許多高階工具背後的運行時，支援極其廣泛的硬體目標。

Strengths

可在幾乎任何硬體上運行——CPU、NVIDIA、AMD、Apple Silicon，甚至 Raspberry Pi
GGUF 格式是量化模型分發的事實標準
高度最佳化，支援 2 位元到 8 位元量化
積極開發中，新模型架構在發布後數天內即獲支援

Weaknesses

命令列介面對初學者不夠友善
使用最前沿功能有時需要從原始碼編譯
無內建模型管理——您需手動下載和管理 GGUF 檔案

Best for: 想要最大硬體靈活性和直接控制推論堆疊的進階使用者和研究人員。

vLLM

免費且開源（Apache 2.0）。基礎設施成本取決於您的 GPU 配置。

一個為生產服務設計的高吞吐量推論引擎。vLLM 的 PagedAttention 演算法大幅提升記憶體效率和批次處理，相比簡單實作可實現顯著更高的請求吞吐量。

Strengths

透過 PagedAttention 和連續批次處理實現業界領先的吞吐量
開箱即用的完整 OpenAI 相容 API 伺服器
原生張量平行用於多 GPU 服務
支援 HuggingFace 模型、AWQ、GPTQ 和 GGUF 格式

Weaknesses

需要 NVIDIA GPU——不支援 CPU 或 Apple Silicon
設定比 Ollama 或 LM Studio 更為複雜
記憶體開銷較高；不適合單一模型的桌面使用

Best for: 服務多個使用者且吞吐量和延遲最為重要的生產部署。

LM Studio

個人使用免費。企業部署提供商業授權。

一個精緻的桌面應用程式，用於發現、下載和運行本地 LLM。LM Studio 提供類似 ChatGPT 的介面以及本地 API 伺服器，是非技術使用者最易上手的入口。

Strengths

精美的 GUI，內建模型發現和一鍵下載
本地 API 伺服器與 OpenAI 用戶端函式庫相容
在 macOS、Windows 和 Linux 上運行，具有自動硬體偵測
非常適合需要在本地評估模型的非技術利害關係人

Weaknesses

閉源——對推論管道的可見性有限
不適合無頭或伺服器部署
進階調校選項（批次大小、量化參數）有限

Best for: 想要以圖形化、使用者友善方式探索和運行本地模型的個人和小型團隊。

LocalAI

免費且開源（MIT 授權）。

完全在本地運行的 OpenAI API 替代方案。LocalAI 在單一相容 API 背後支援文字生成、嵌入、影像生成、音訊轉錄等功能。

Strengths

跨文字、嵌入、影像和音訊的 OpenAI API 相容
支援多個後端，包括 llama.cpp、diffusers 和 whisper.cpp
Docker 優先部署使自架變得容易
在單一統一伺服器中具有多模態能力

Weaknesses

什麼都做的方法意味著沒有任何單一模態是最佳的
組合多個後端時配置可能變得複雜
文字生成效能落後於 vLLM 等專用工具

Best for: 想要一個涵蓋文字、嵌入、影像和音訊的單一自架 API 伺服器的團隊。

MLX

免費且開源（MIT 授權）。

Apple 為 Apple Silicon 最佳化的機器學習框架。MLX 提供類 NumPy 的 API 和不斷成長的模型實作生態系統，充分利用 M 系列晶片的統一記憶體架構。

Strengths

透過利用統一記憶體和 Neural Engine 在 Apple Silicon 上實現最佳效能
研究人員和 Python 開發者熟悉的類 NumPy API
不斷成長的社群，在 HuggingFace 上有即用的模型轉換（mlx-community）
延遲求值和統一記憶體意味著 CPU 和 GPU 之間零拷貝

Weaknesses

僅限 Apple Silicon——不支援 NVIDIA、AMD 或 Linux
生態系統比 llama.cpp 或 HuggingFace 更年輕且較小
與 GGUF 格式相比，可用的預量化模型較少

Best for: 想要在 Apple Silicon 硬體上實現最快原生推論的 Mac 開發者和研究人員。

ExLlamaV2

免費且開源（MIT 授權）。

一個高度最佳化的 CUDA 推論函式庫，專注於從 NVIDIA GPU 中壓榨最大速度。ExLlamaV2 支援 EXL2 量化格式，允許混合精度量化以實現精細的品質-大小權衡。

Strengths

在 NVIDIA GPU 上的推論速度名列前茅
EXL2 格式允許逐層量化，在任何目標大小下實現最佳品質
優秀的記憶體效率，使消費級 GPU 能運行更大的模型
支援推測性解碼以進一步提升速度

Weaknesses

僅限 NVIDIA——不支援 CPU、AMD 或 Apple Silicon
社群較小且文件較少
EXL2 格式的採用度不如 GGUF 廣泛

Best for: 擁有 NVIDIA GPU 且想要絕對最大推論速度的愛好者和開發者。

TensorRT-LLM

免費且開源（Apache 2.0）。需要 NVIDIA GPU 基礎設施。

NVIDIA 官方的 LLM 最佳化和部署函式庫，適用於 NVIDIA GPU。TensorRT-LLM 將模型編譯成高度最佳化的 TensorRT 引擎，支援即時批次處理、張量平行和 FP8 量化。

Strengths

在 NVIDIA 資料中心 GPU（A100、H100、H200）上實現最佳效能
原生多 GPU 和多節點張量平行
即時批次處理和分頁 KV 快取實現生產級吞吐量
Hopper GPU 上的 FP8 量化以最小品質損失實現速度提升

Weaknesses

複雜的設定，服務前需要模型編譯步驟
僅限 NVIDIA 資料中心 GPU——消費級 GPU 支援有限
學習曲線陡峭，配置選項繁多

Best for: 在 NVIDIA 資料中心硬體上的企業生產部署，其中最大吞吐量足以證明設定複雜性的合理性。

How Ertas Fits In

微調模型只是方程式的一半——您還需要將其部署到某處。Ertas 透過以 GGUF 格式匯出微調模型來彌補這個差距，GGUF 是本地推論生態系統中支援最廣泛的量化模型格式。在 Ertas 上訓練的模型可以直接載入 Ollama、llama.cpp、LM Studio、LocalAI 或任何其他讀取 GGUF 檔案的框架。

這意味著您的部署路徑很簡單：在 Ertas 上微調，下載 GGUF，然後用符合您需求的推論框架來服務它。使用 Ollama 進行快速本地測試，使用 vLLM 實現生產吞吐量，或使用 LM Studio 讓非技術團隊成員透過 GUI 與模型互動。無需格式轉換，無需相容性問題。

Conclusion

本地 LLM 推論生態系統為每個使用案例和技術等級提供了明確的選項。Ollama 和 LM Studio 使入門變得輕而易舉，llama.cpp 和 MLX 為您提供硬體靈活性和原生效能，而 vLLM 和 TensorRT-LLM 則提供生產服務所需的吞吐量。ExLlamaV2 在想要消費級硬體上極致速度的 NVIDIA 愛好者中佔據了一個引人注目的利基。

隨著模型透過更好的量化和蒸餾技術持續縮小，本地推論正在變得適用於越來越廣泛的應用範圍。將來自 Ertas 的微調模型與正確的推論框架配對，讓您能夠建構私密、快速且經濟高效的 AI 功能，而無需依賴任何雲端 API。