Jan + Ertas

從 Ertas Studio 匯出微調的 GGUF 模型並匯入 Jan，獲得具有簡潔聊天介面和擴充生態系統的私密離線 AI 助手體驗。

Overview

Jan 是一個開源桌面 AI 助手，設計為完全在您的本地機器上運行大型語言模型。以隱私為核心原則，Jan 確保對話、文件和資料永遠不會離開您的裝置。其簡潔的 ChatGPT 風格介面讓任何人都能輕鬆使用本地 AI，同時其擴充系統和本地 API 伺服器為開發者提供所需的靈活性。Jan 原生支援 GGUF 模型，在 Windows、macOS 和 Linux 上運行，並針對 NVIDIA、AMD 和 Apple Silicon GPU 提供最佳化後端。

Jan 與其他本地 AI 工具的不同之處在於它專注於助手體驗。除了簡單聊天之外，Jan 支援對話線程、系統提示自訂、從本地檔案進行知識檢索，以及用於新增網頁搜尋和程式碼解析等功能的擴充市場。對於使用 Ertas 為特定領域微調模型的團隊，Jan 提供了一個精緻的終端使用者體驗，感覺就像完全在本地基礎設施上運行的商業 AI 產品。

How Ertas Integrates

從 Ertas 到 Jan 的工作流程非常簡單：在 Ertas Studio 中完成微調作業後，以 GGUF 格式下載模型，並透過模型管理介面匯入 Jan。Jan 從 GGUF 檔案中讀取嵌入的元資料——包括聊天範本、分詞器設定和模型架構——因此匯入的模型無需手動設定即可正確運作。您可以為每個模型設定自訂系統提示和推理參數，以根據您的特定使用場景調整助手行為。

此整合對於需要向非技術使用者分發微調模型的組織特別有價值。資料科學團隊可以在 Ertas Studio 中迭代模型品質，匯出最佳版本為 GGUF，並與只需在工作站上匯入 Jan 的業務使用者分享檔案。整個推理管線保持本地化，滿足醫療保健、法律和金融等行業的合規要求——這些行業的資料不能傳送到外部伺服器。

Getting Started

1
在 Ertas Studio 中完成微調
上傳訓練資料集，在 Ertas 畫布上設定 LoRA 或全參數訓練，並在託管雲端 GPU 上運行作業直到驗證指標收斂。
2
下載 GGUF 模型
從 Ertas Studio 以 GGUF 格式匯出微調模型。選擇適合目標硬體的量化級別——Q4_K_M 適用於大多數消費級裝置。
3
匯入 Jan
開啟 Jan，導航到模型中心，選擇「匯入模型」。選擇您下載的 GGUF 檔案。Jan 自動偵測模型架構並設定運行時。
4
設定模型參數
在 Jan 的模型設定面板中設定自訂系統提示、調整溫度、上下文長度和 GPU 卸載參數，以匹配您的使用場景需求。
5
開始本地聊天
從模型列表中選擇您匯入的模型並開始對話。所有推理在您的硬體上本地運行，零網路請求。

bash

# After downloading your GGUF model from Ertas Studio,
# import it into Jan via the models directory
cp ./my-model-Q4_K_M.gguf ~/jan/models/my-model/

# Or use Jan's built-in import dialog:
# Model Hub → Import Model → Select GGUF file

# Jan also exposes a local API server (enable in Settings → Advanced)
curl http://localhost:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-model",
    "messages": [{"role": "user", "content": "Hello, how can you help?"}]
  }'

將 Ertas 匯出的 GGUF 模型匯入 Jan，獲得完全本地的 AI 助手體驗，並可選擇啟用 API 伺服器。