LM Studio + Ertas

從 Ertas Studio 匯出微調的 GGUF 模型並載入 LM Studio，實現具有直覺聊天介面、OpenAI 相容 API 和硬體感知效能調校的本地推理。

Overview

LM Studio 是一款桌面應用程式，讓在本地運行大型語言模型變得像使用原生聊天應用程式一樣簡單。它提供視覺化模型瀏覽器、自動硬體偵測和內建聊天介面，其可用性堪比雲端託管的 AI 助手。底層使用 llama.cpp 進行推理，支援廣泛的 GGUF 量化模型，在 CPU、NVIDIA GPU、AMD GPU 和 Apple Silicon 上提供自動 GPU 卸載和記憶體管理。

除了聊天介面外，LM Studio 還暴露本地 OpenAI 相容 API 伺服器，讓開發者可以使用與雲端 API 相同的 SDK 和函式庫來建構本地模型的應用程式。使用者友善的 GUI 用於探索，開發者就緒的 API 用於整合，這種組合使 LM Studio 成為本地 AI 生態系統中最多功能的工具之一，同時服務團隊中的技術和非技術使用者。

How Ertas Integrates

在 Ertas Studio 中微調模型後，您可以以 GGUF 格式下載訓練的權重及您偏好的量化級別。匯出的 GGUF 檔案完全自包含，包含嵌入的分詞器設定和聊天範本，因此 LM Studio 在匯入時立即識別模型的功能。只需將下載的 GGUF 檔案拖入 LM Studio 的模型目錄或使用檔案匯入對話框，模型就會出現在本地模型列表中，準備進行對話。

此工作流程在雲端微調和本地部署之間建立了無縫橋樑。團隊可以在 Ertas Studio 中使用雲端 GPU 迭代模型品質，匯出最佳檢查點，並將 GGUF 檔案分發給在 LM Studio 中本地運行的團隊成員，無需任何 ML 基礎設施。非技術利益相關者可以透過 LM Studio 的聊天 UI 評估微調模型，提供指導 Ertas 中下一次訓練迭代的回饋。

Getting Started

1
在 Ertas Studio 中微調您的模型
將 JSONL 訓練資料上傳到 Ertas Studio，在視覺化畫布上設定訓練運行，並在託管雲端 GPU 上啟動微調。
2
匯出為 GGUF
訓練完成後，以 GGUF 格式下載模型。選擇匹配您本地硬體的量化級別——Q4_K_M 適用於大多數消費級機器，Q8_0 適用於更強大硬體上的更高品質。
3
匯入 LM Studio
開啟 LM Studio 並將下載的 GGUF 檔案拖入模型目錄，或使用「檔案 → 匯入模型」。LM Studio 自動偵測架構、聊天範本和參數。
4
設定推理參數
在 LM Studio 的設定面板中調整上下文長度、溫度、GPU 層卸載和執行緒數。LM Studio 根據您系統的可用記憶體和運算提供硬體感知的預設值。
5
聊天和評估
透過 LM Studio 的聊天介面與微調模型開始對話。測試領域特定提示並將輸出與基準線進行比較，以驗證訓練品質。
6
啟用本地 API 伺服器
開啟 LM Studio 的本地伺服器以在 localhost:1234 暴露 OpenAI 相容端點。將您的應用程式指向此端點以實現完全本地的私密推理。

bash

# After downloading your GGUF model from Ertas Studio,
# copy it to LM Studio's models directory
cp ./my-model-Q4_K_M.gguf ~/.lmstudio/models/my-model/

# LM Studio auto-detects the model on next launch.
# Once loaded, the local API is available at:
curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-model",
    "messages": [{"role": "user", "content": "Summarize this report"}]
  }'

將 Ertas 匯出的 GGUF 模型複製到 LM Studio 的模型目錄中，並透過本地 OpenAI 相容 API 進行查詢。