Open WebUI + Ertas

在 Ertas Studio 中微调模型，通过 Ollama 部署，并通过 Open WebUI 访问——一个自托管、功能丰富的聊天界面，支持多用户、RAG 和网络搜索。

Overview

Open WebUI（前身为 Ollama WebUI）是一个自托管、可扩展的 Web 界面，为本地运行的模型提供类似 ChatGPT 的体验。它连接到 Ollama 和兼容 OpenAI 的后端，提供一个精美的多用户聊天平台，组织可以部署在自己的基础设施上。功能包括对话历史、模型切换、文档上传进行检索增强生成 (RAG)、网络搜索集成、图像生成、自定义模型预设以及用于管理用户和权限的强大管理面板。

对于团队和组织来说，Open WebUI 解决了使本地 AI 对所有人可访问的最后一公里问题。不需要每个用户安装桌面应用或使用 CLI 工具，Open WebUI 提供了一个集中的 Web 界面，团队中的任何成员都可以通过浏览器访问。凭借基于角色的访问控制、使用监控和支持多个并发模型的能力，它将一组本地模型转变为一个可与商业产品媲美的托管 AI 服务，同时保持所有数据在本地。

How Ertas Integrates

Ertas 和 Open WebUI 之间的集成通过 Ollama 作为推理层流转。在 Ertas Studio 中微调模型后，以 GGUF 格式导出并使用提供的 Modelfile 注册到 Ollama。Open WebUI 自动检测连接的 Ollama 实例中所有可用的模型，因此您的 Ertas 训练模型立即出现在模型选择器中。用户可以与微调模型开始对话、上传文档获取 RAG 增强的回复，并将输出与其他模型进行比较——所有这些都通过熟悉的聊天界面完成。

这种三层架构——Ertas 用于训练、Ollama 用于服务、Open WebUI 用于用户界面——提供了一个完整的私有 AI 平台。机器学习团队在 Ertas Studio 中迭代模型质量，运维团队管理 Ollama 部署，终端用户通过 Open WebUI 与模型交互，无需理解底层基础设施。管理面板提供使用分析和访问控制，而 RAG 管道让用户在查询时用自己的文档增强微调模型的知识。

Getting Started

1
在 Ertas Studio 中微调
上传您的 JSONL 训练数据并在 Ertas 的托管云 GPU 上运行微调作业。在导出前针对测试集评估模型。
2
导出 GGUF 并注册到 Ollama
从 Ertas Studio 以 GGUF 格式下载微调模型。使用提供的 Modelfile 通过 'ollama create my-model -f Modelfile' 注册到 Ollama。
3
部署 Open WebUI
使用 Docker 一条命令运行 Open WebUI。将其指向您的 Ollama 实例以自动发现所有可用模型，包括您的 Ertas 训练模型。
4
配置用户和权限
在 Open WebUI 管理面板中设置用户账户和基于角色的访问控制。如有需要可按角色限制模型访问——例如将大型模型限制给特定团队。
5
上传文档用于 RAG
用户可以直接在聊天界面中上传 PDF、文本文件和其他文档。Open WebUI 在本地索引它们并使用检索增强生成将回复锚定在您的数据中。
6
监控使用并迭代
在管理面板中审查对话日志和使用分析。将洞察反馈到下一次 Ertas 微调迭代中，以改善模型在团队特定需求上的质量。

bash

# After exporting GGUF from Ertas Studio and registering with Ollama:
ollama create my-ertas-model -f ./Modelfile

# Deploy Open WebUI with Docker (connects to local Ollama automatically)
docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# Open WebUI is now available at http://localhost:3000
# Your Ertas-trained model appears in the model selector automatically

将 Ertas 导出的模型注册到 Ollama 并使用 Docker 部署 Open WebUI，获得自托管的多用户聊天界面。