Open WebUI + Ertas

在 Ertas Studio 中微調模型，透過 Ollama 部署，並透過 Open WebUI 存取——一個具有多使用者支援、RAG 和網頁搜尋的自託管功能豐富聊天介面。

Overview

Open WebUI（前身為 Ollama WebUI）是一個自託管、可擴展的網頁介面，為本地運行的模型提供 ChatGPT 般的體驗。它連接到 Ollama 和 OpenAI 相容後端，提供精緻的多使用者聊天平台，組織可以在自己的基礎設施上部署。功能包括對話歷史、模型切換、文件上傳進行檢索增強生成 (RAG)、網頁搜尋整合、圖像生成、自訂模型預設和強大的管理面板用於管理使用者和權限。

對於團隊和組織，Open WebUI 解決了讓本地 AI 對每個人都可及的最後一哩路問題。Open WebUI 不需要每個使用者安裝桌面應用程式或使用 CLI 工具，而是提供集中式網頁介面，任何團隊成員都可以透過瀏覽器存取。具有基於角色的存取控制、使用監控和對多個並行模型的支援，它將本地模型集合轉變為與商業產品媲美的託管 AI 服務，同時所有資料保留在本地。

How Ertas Integrates

Ertas 和 Open WebUI 之間的整合透過 Ollama 作為推理層來進行。在 Ertas Studio 中微調模型後，以 GGUF 格式匯出並使用提供的 Modelfile 在 Ollama 中註冊。Open WebUI 自動偵測連接的 Ollama 實例中所有可用的模型，因此您的 Ertas 訓練模型立即出現在模型選擇器中。使用者可以開始與微調模型的對話、上傳文件進行 RAG 增強回應，並與其他模型比較輸出——全部透過熟悉的聊天介面。

這種三層架構——Ertas 用於訓練、Ollama 用於服務、Open WebUI 用於使用者介面——提供了完整的私密 AI 平台。機器學習團隊在 Ertas Studio 中迭代模型品質，運維團隊管理 Ollama 部署，終端使用者透過 Open WebUI 與模型互動而無需了解底層基礎設施。管理面板提供使用分析和存取控制，RAG 管線讓使用者在查詢時用自己的文件增強微調模型的知識。

Getting Started

1
在 Ertas Studio 中微調
上傳 JSONL 訓練資料並在 Ertas 的託管雲端 GPU 上運行微調作業。在匯出前根據測試集評估模型。
2
匯出 GGUF 並在 Ollama 中註冊
從 Ertas Studio 以 GGUF 格式下載微調模型。使用提供的 Modelfile 透過 'ollama create my-model -f Modelfile' 在 Ollama 中註冊。
3
部署 Open WebUI
使用 Docker 單一命令運行 Open WebUI。將其指向您的 Ollama 實例以自動發現所有可用模型，包括 Ertas 訓練的模型。
4
設定使用者和權限
在 Open WebUI 管理面板中設定使用者帳號和基於角色的存取控制。如有需要按角色限制模型存取——例如，將昂貴的大型模型限制給特定團隊。
5
上傳文件進行 RAG
使用者可以直接在聊天介面中上傳 PDF、文字檔案和其他文件。Open WebUI 在本地索引它們，並使用檢索增強生成將回應紮根在您的資料中。
6
監控使用量並迭代
在管理面板中審查對話日誌和使用分析。將洞察回饋到下一次 Ertas 微調迭代中，以改善團隊特定需求的模型品質。

bash

# After exporting GGUF from Ertas Studio and registering with Ollama:
ollama create my-ertas-model -f ./Modelfile

# Deploy Open WebUI with Docker (connects to local Ollama automatically)
docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# Open WebUI is now available at http://localhost:3000
# Your Ertas-trained model appears in the model selector automatically

在 Ollama 中註冊 Ertas 匯出的模型，並使用 Docker 部署 Open WebUI，建立自託管的多使用者聊天介面。