AnythingLLM + Ertas

在 AnythingLLM 中使用 Ertas 訓練的模型，建構具有內建 RAG、多使用者支援和代理功能的私密文件導向 AI 助手。

Overview

AnythingLLM 是一個一站式桌面和伺服器應用程式，用於運行 AI 驅動的知識庫和聊天助手。它將文件攝取、向量儲存、RAG 檢索、對話管理和聊天介面整合到一個完全在您硬體上運行的單一應用程式中。使用者可以上傳 PDF、Word 文件、網頁和其他內容類型，AnythingLLM 會自動進行分塊、嵌入和索引，以支援檢索增強對話。

AnythingLLM 的突出之處在於其對可及性和隱私的重視。它提供精緻的圖形介面，非技術使用者也能操作，支援帶有權限控制的多使用者工作區，並在初始設定後完全離線運行。它支援多種 LLM 後端——Ollama、LM Studio、OpenAI 和任何 OpenAI 相容的端點——使得替換微調模型變得簡單，無需更改文件管理或檢索管線的任何設定。對於需要即時可用的私密 AI 解決方案的組織，AnythingLLM 提供應用層，而 Ertas 提供模型品質層。

How Ertas Integrates

Ertas 訓練的模型透過 LLM 提供者設定連接到 AnythingLLM。在透過 Ollama 或任何 OpenAI 相容端點部署微調模型後，您可以在 AnythingLLM 的設定面板中選擇它作為 LLM 提供者。該模型立即為所有工作區的所有對話提供支援，Ertas 訓練中的領域特定知識直接融入模型的回應中。結合 AnythingLLM 的文件檢索功能，這意味著您的 AI 助手同時擁有訓練知識和即時文件存取能力。

Ertas-AnythingLLM 的組合非常適合部署內部知識庫助手。法律團隊可以在 Ertas Studio 中微調合約分析模型，將合約範本和政策上傳到 AnythingLLM 工作區，並讓每個團隊成員存取一個既了解一般合約法（來自微調）又了解其現有文件中特定條款（來自 RAG）的 AI 助手。每個工作區可以有不同的文件和權限，因此同一模型可以以適當的存取控制為多個團隊提供服務。所有這些都在單一伺服器上運行，沒有任何資料離開組織的網路。

Getting Started

1
在 Ertas Studio 中微調模型
使用 Ertas Studio 訓練您的領域特定模型。專注於 AnythingLLM 工作區將涵蓋的知識領域——法律、醫療、技術支援或內部政策。
2
透過 Ollama 或相容端點部署
以 GGUF 格式匯出模型並透過 Ollama 提供服務。AnythingLLM 具有原生 Ollama 整合功能，可自動發現可用的模型。
3
設定 AnythingLLM 使用您的模型
在 AnythingLLM 的 LLM 偏好設定中，選擇 Ollama 作為提供者，並從自動填充的模型列表中選擇您的 Ertas 訓練模型。
4
建立工作區並上傳文件
為不同的團隊或主題設定工作區。上傳相關文件——合約、手冊、政策——AnythingLLM 將使用這些文件進行檢索增強回應。
5
邀請使用者並開始對話
新增具有適當工作區權限的團隊成員。使用者可以立即開始與基於微調知識和上傳文件的 AI 助手對話。

bash

# 1. Deploy your Ertas-trained model with Ollama
ollama create ertas-hr-7b -f ./Modelfile

# 2. Verify the model is running
ollama list
# NAME              SIZE    MODIFIED
# ertas-hr-7b       4.1 GB  just now

# 3. Launch AnythingLLM (Docker)
docker run -d \
  --name anythingllm \
  -p 3001:3001 \
  -v anythingllm_storage:/app/server/storage \
  mintplexlabs/anythingllm

# 4. Open http://localhost:3001
# → Settings → LLM Preference → Ollama
# → Select "ertas-hr-7b" from the model dropdown
# → Create a workspace and upload your HR policy documents

使用 Ollama 部署 Ertas 訓練的模型並將其連接到 AnythingLLM，建立完全私密的知識庫助手。