GPT4All + Ertas

在 Ertas Studio 中微调模型并通过 GPT4All 部署，实现私密、离线的推理，配备桌面聊天界面、本地文档检索和 Python API。

Overview

GPT4All 由 Nomic AI 开发，是一个注重隐私的桌面应用程序，可在消费级硬件上完全本地运行大语言模型。它开箱即用地支持 GGUF 模型，提供精选模型库、聊天界面和名为 LocalDocs 的本地文档检索系统，让您无需上传即可与自己的文件进行对话。GPT4All 在 Windows、macOS 和 Linux 上运行，针对 CPU 和 Apple Silicon 进行了推理优化——使其成为本地 AI 最易上手的入口之一。

除桌面应用外，GPT4All 还提供了一个镜像 OpenAI API 的 Python SDK，使开发者能够以最少的代码更改将本地推理集成到脚本、管道和应用程序中。用户友好的 GUI 用于日常使用，开发者就绪的 API 用于自动化，这种组合使 GPT4All 成为微调模型的通用部署目标，特别适合数据隐私是硬性要求的组织。

How Ertas Integrates

在 Ertas Studio 中微调模型后，您可以将其导出为 GGUF 格式并直接加载到 GPT4All 中。过程很简单：从 Ertas 下载 GGUF 文件，将其放入 GPT4All 的模型目录中，模型就会出现在应用的模型选择器中。GPT4All 读取嵌入的 GGUF 元数据来配置聊天模板和推理参数，因此无需手动设置。然后您可以通过聊天界面或 Python API 进行编程访问来使用模型。

当与 GPT4All 的 LocalDocs 功能结合使用时，这个工作流特别强大。在 Ertas 中微调一个领域特定模型——例如医学术语模型或法律分析模型——然后在 GPT4All 中将其与相关本地文档配对，进行检索增强生成。来自 Ertas 微调的模型领域专业知识与来自 LocalDocs 的实时文档上下文相结合，在所有数据保留在用户机器上的同时提供高度准确的回复。

Getting Started

1
在 Ertas Studio 中微调
将您的 JSONL 数据集上传到 Ertas Studio 并使用 LoRA 或 QLoRA 运行微调作业。监控训练指标并在导出前针对验证集进行评估。
2
导出为 GGUF
从 Ertas Studio 下载 GGUF 格式的训练模型。对于纯 CPU 的 GPT4All 机器，Q4_K_M 量化提供最佳的速度和质量平衡。
3
将模型添加到 GPT4All
将下载的 GGUF 文件放入 GPT4All 的模型目录（Linux 上通常为 ~/.local/share/nomic.ai/GPT4All/ 或您操作系统上的等效路径）。下次启动时模型将出现在模型选择器中。
4
配置 LocalDocs（可选）
将 GPT4All 的 LocalDocs 功能指向包含相关文档的文件夹，以在微调模型的领域知识之外启用检索增强生成。
5
聊天或使用 Python API
通过桌面聊天界面与您的微调模型交互，或使用 GPT4All Python SDK 将本地推理集成到您的应用和脚本中。

python

# After downloading the GGUF model from Ertas Studio,
# use the GPT4All Python SDK for local inference
from gpt4all import GPT4All

# Point to your Ertas-exported GGUF model
model = GPT4All(
    model_name="my-model-Q4_K_M.gguf",
    model_path="./models/",
    allow_download=False,
)

with model.chat_session():
    response = model.generate(
        "Summarize the key findings from this clinical trial",
        max_tokens=512,
        temp=0.7,
    )
    print(response)

使用 GPT4All Python SDK 对 Ertas 导出的 GGUF 模型进行编程式推理。