LM Studio + Ertas
從 Ertas Studio 匯出微調的 GGUF 模型並載入 LM Studio,實現具有直覺聊天介面、OpenAI 相容 API 和硬體感知效能調校的本地推理。
Overview
LM Studio 是一款桌面應用程式,讓在本地運行大型語言模型變得像使用原生聊天應用程式一樣簡單。它提供視覺化模型瀏覽器、自動硬體偵測和內建聊天介面,其可用性堪比雲端託管的 AI 助手。底層使用 llama.cpp 進行推理,支援廣泛的 GGUF 量化模型,在 CPU、NVIDIA GPU、AMD GPU 和 Apple Silicon 上提供自動 GPU 卸載和記憶體管理。