AnythingLLM + Ertas

在 AnythingLLM 中使用 Ertas 训练的模型构建私有、文档驱动的 AI 助手，具备内置 RAG、多用户支持和智能体功能。

Overview

AnythingLLM 是一款一体化的桌面和服务器应用程序，用于运行基于 AI 的知识库和聊天助手。它将文档导入、向量存储、RAG 检索、对话管理和聊天界面整合到一个完全在您硬件上运行的应用程序中。用户可以上传 PDF、Word 文档、网页和其他内容类型，AnythingLLM 会自动将它们分块、嵌入并建立索引，用于检索增强对话。

AnythingLLM 的突出优势在于其易用性和隐私保护。它提供了一个精美的 GUI，非技术用户也能操作，支持带权限控制的多用户工作空间，并且在初始设置后可完全离线运行。它支持多种 LLM 后端——Ollama、LM Studio、OpenAI 以及任何兼容 OpenAI 的端点——使得在不改变文档管理或检索管道的情况下轻松替换微调模型。对于需要开箱即用的私有 AI 解决方案的组织，AnythingLLM 提供应用层，而 Ertas 提供模型质量层。

How Ertas Integrates

Ertas 训练的模型通过 AnythingLLM 的 LLM 提供商设置进行连接。在通过 Ollama 或任何兼容 OpenAI 的端点部署微调模型后，您可以在 AnythingLLM 的设置面板中将其选择为 LLM 提供商。该模型立即为每个工作空间的所有对话提供支持，将 Ertas 训练中的领域特定知识直接融入模型的回复中。结合 AnythingLLM 的文档检索功能，这意味着您的 AI 助手同时拥有训练知识和实时文档访问能力。

Ertas-AnythingLLM 组合非常适合部署内部知识库助手。一个法律团队可以在 Ertas Studio 中针对合同分析微调模型，将合同模板和政策上传到 AnythingLLM 工作空间，并为每个团队成员提供一个既理解一般合同法（来自微调）又了解其活跃文档中特定条款（来自 RAG）的 AI 助手。每个工作空间可以拥有不同的文档和权限，因此同一个模型可以通过适当的访问控制为多个团队提供服务。所有这些都在一台服务器上运行，组织的数据完全不会外泄。

Getting Started

1
在 Ertas Studio 中微调模型
使用 Ertas Studio 训练您的领域特定模型。专注于您的 AnythingLLM 工作空间将涵盖的知识领域——法律、医疗、技术支持或内部政策。
2
通过 Ollama 或兼容端点部署
将模型导出为 GGUF 格式并通过 Ollama 提供服务。AnythingLLM 具有原生 Ollama 集成，可自动发现可用模型。
3
配置 AnythingLLM 使用您的模型
在 AnythingLLM 的 LLM 偏好设置中，选择 Ollama 作为提供商，并从自动填充的模型列表中选择您的 Ertas 训练模型。
4
创建工作空间并上传文档
为不同的团队或主题设置工作空间。上传相关文档——合同、手册、政策——AnythingLLM 将使用它们进行检索增强回复。
5
邀请用户并开始对话
添加具有适当工作空间权限的团队成员。用户可以立即开始与基于微调知识和上传文档的 AI 助手进行对话。

bash

# 1. Deploy your Ertas-trained model with Ollama
ollama create ertas-hr-7b -f ./Modelfile

# 2. Verify the model is running
ollama list
# NAME              SIZE    MODIFIED
# ertas-hr-7b       4.1 GB  just now

# 3. Launch AnythingLLM (Docker)
docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v anythingllm_storage:/app/server/storage \
  mintplexlabs/anythingllm

# 4. Open http://localhost:3001
# → Settings → LLM Preference → Ollama
# → Select "ertas-hr-7b" from the model dropdown
# → Create a workspace and upload your HR policy documents

使用 Ollama 部署 Ertas 训练的模型并连接到 AnythingLLM，构建完全私有的知识库助手。