GPT4All + Ertas

在 Ertas Studio 中微調模型，並透過 GPT4All 部署，實現具有桌面聊天介面、本地文件檢索和 Python API 的私密離線推理。

Overview

GPT4All 由 Nomic AI 開發，是一個注重隱私的桌面應用程式，用於在消費級硬體上完全本地運行大型語言模型。它原生支援 GGUF 模型，提供精選模型庫、聊天介面，以及名為 LocalDocs 的本地文件檢索系統，讓您無需上傳任何檔案即可與自己的文件對話。GPT4All 在 Windows、macOS 和 Linux 上運行，針對 CPU 和 Apple Silicon 進行了最佳化推理——使其成為本地 AI 最易上手的入口之一。

除了桌面應用程式外，GPT4All 還提供一個模擬 OpenAI API 的 Python SDK，讓開發者能夠以最少的程式碼變更將本地推理整合到腳本、管線和應用程式中。使用者友善的 GUI 用於日常使用，開發者就緒的 API 用於自動化，這種組合使 GPT4All 成為微調模型的多功能部署目標，特別適合資料隱私是硬性要求的組織。

How Ertas Integrates

在 Ertas Studio 中微調模型後，您可以將其匯出為 GGUF 格式並直接載入 GPT4All。過程很簡單：從 Ertas 下載 GGUF 檔案，放置在 GPT4All 的模型目錄中，模型就會出現在應用程式的模型選擇器中。GPT4All 讀取嵌入的 GGUF 元資料來設定聊天範本和推理參數，因此無需手動設定。然後您可以透過聊天介面或 Python API 進行程式化存取來使用模型。

與 GPT4All 的 LocalDocs 功能結合使用時，此工作流程特別強大。在 Ertas 中微調領域特定模型——例如醫學術語模型或法律分析模型——然後在 GPT4All 中將其與相關本地文件配對進行檢索增強生成。模型來自 Ertas 微調的領域專業知識與來自 LocalDocs 的即時文件上下文結合，在將所有資料保留在使用者機器上的同時提供高度準確的回應。

Getting Started

1
在 Ertas Studio 中微調
將您的 JSONL 資料集上傳到 Ertas Studio，使用 LoRA 或 QLoRA 運行微調作業。監控訓練指標並在匯出前根據驗證集進行評估。
2
匯出為 GGUF
從 Ertas Studio 以 GGUF 格式下載訓練好的模型。對於僅使用 CPU 的機器上的 GPT4All，Q4_K_M 量化提供速度和品質的最佳平衡。
3
將模型新增到 GPT4All
將下載的 GGUF 檔案放置在 GPT4All 的模型目錄中（Linux 上通常為 ~/.local/share/nomic.ai/GPT4All/ 或您作業系統上的等效路徑）。模型會在下次啟動時出現在模型選擇器中。
4
設定 LocalDocs（可選）
將 GPT4All 的 LocalDocs 功能指向相關文件的資料夾，以在微調模型的領域知識旁邊啟用檢索增強生成。
5
聊天或使用 Python API
透過桌面聊天介面與微調模型互動，或使用 GPT4All Python SDK 將本地推理整合到您的應用程式和腳本中。

python

# After downloading the GGUF model from Ertas Studio,
# use the GPT4All Python SDK for local inference
from gpt4all import GPT4All

# Point to your Ertas-exported GGUF model
model = GPT4All(
    model_name="my-model-Q4_K_M.gguf",
    model_path="./models/",
    allow_download=False,
)

with model.chat_session():
    response = model.generate(
        "Summarize the key findings from this clinical trial",
        max_tokens=512,
        temp=0.7,
    )
    print(response)

使用 GPT4All Python SDK 對您從 Ertas 匯出的 GGUF 模型進行程式化推理。