Jan + Ertas

从 Ertas Studio 导出微调的 GGUF 模型并导入 Jan，获得私密、离线的 AI 助手体验，配备简洁的聊天界面和扩展生态系统。

Overview

Jan 是一个开源桌面 AI 助手，设计为在您的本地机器上完全运行大语言模型。以隐私为核心原则构建，Jan 确保对话、文档和数据永远不会离开您的设备。其简洁的 ChatGPT 风格界面使本地 AI 对任何人都触手可及，而其扩展系统和本地 API 服务器为开发者提供了所需的灵活性。Jan 原生支持 GGUF 模型，在 Windows、macOS 和 Linux 上运行，并针对 NVIDIA、AMD 和 Apple Silicon GPU 进行了后端优化。

Jan 与其他本地 AI 工具的区别在于其对助手体验的关注。除了简单的聊天功能外，Jan 支持对话线程、系统提示自定义、从本地文件进行知识检索以及用于添加网络搜索和代码解释等功能的扩展市场。对于使用 Ertas 针对特定领域微调模型的团队，Jan 提供了一个精致的终端用户体验，感觉就像一个完全在本地基础设施上运行的商业 AI 产品。

How Ertas Integrates

从 Ertas 到 Jan 的工作流非常直接：在 Ertas Studio 中完成微调作业后，下载 GGUF 格式的模型并通过模型管理界面将其导入 Jan。Jan 读取 GGUF 文件中嵌入的元数据——包括聊天模板、分词器设置和模型架构——因此导入的模型无需手动配置即可正确工作。您可以为每个模型设置自定义系统提示和推理参数，以针对您的特定用例定制助手行为。

这种集成对于需要将微调模型分发给非技术用户的组织特别有价值。数据科学团队可以在 Ertas Studio 中迭代模型质量，将最佳版本导出为 GGUF，并与业务用户共享文件，业务用户只需在其工作站上将其导入 Jan。整个推理管道保持本地化，满足医疗、法律和金融等行业的合规要求，这些行业的数据不能发送到外部服务器。

Getting Started

1
在 Ertas Studio 中完成微调
上传您的训练数据集，在 Ertas 画布上配置 LoRA 或全参数训练，并在托管云 GPU 上运行作业，直到验证指标收敛。
2
下载 GGUF 模型
从 Ertas Studio 以 GGUF 格式导出您的微调模型。选择适合目标硬件的量化级别——Q4_K_M 推荐用于大多数消费设备。
3
导入到 Jan
打开 Jan，导航到 Model Hub，选择「导入模型」。选择下载的 GGUF 文件。Jan 自动检测模型架构并配置运行时。
4
配置模型设置
在 Jan 的模型设置面板中设置自定义系统提示，调整温度、上下文长度和 GPU 卸载参数，以匹配您的用例需求。
5
开始本地聊天
从模型列表中选择您导入的模型并开始对话。所有推理完全在您的本地硬件上运行，无任何网络请求。

bash

# After downloading your GGUF model from Ertas Studio,
# import it into Jan via the models directory
cp ./my-model-Q4_K_M.gguf ~/jan/models/my-model/

# Or use Jan's built-in import dialog:
# Model Hub → Import Model → Select GGUF file

# Jan also exposes a local API server (enable in Settings → Advanced)
curl http://localhost:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "my-model",
    "messages": [{"role": "user", "content": "Hello, how can you help?"}]
  }'

将 Ertas 导出的 GGUF 模型导入 Jan，获得完全本地的 AI 助手体验，并可选启用 API 服务器。