Dify + Ertas

在 Dify 上使用 Ertas 訓練的模型建構、部署和管理 AI 應用程式，透過完整的視覺化協調實現領域特定智慧。

Overview

Dify 是一個開源 LLM 應用程式開發平台，將視覺化工作流程編輯器、提示 IDE、RAG 管線建構器和代理框架整合到一個統一的工具中。與簡單的聊天機器人建構器不同，Dify 提供了從原型到生產的完整堆疊——包括 API 管理、使用分析、標註和標記工具，以及多租戶存取控制。它同時支援雲端託管和自託管部署，適合有嚴格資料駐留要求的團隊。

Dify 的視覺化協調引擎讓團隊可以在畫布上連接模型節點、知識檢索節點、條件邏輯和外部工具呼叫來建構複雜的 AI 工作流程。每個工作流程可以作為獨立的網頁應用程式、嵌入式聊天機器人或具有內建速率限制和驗證的 REST API 發布。該平台還包括具有變數管理和版本歷史的提示 IDE，這使得提示工程的迭代比在傳統開發工作流程中編輯程式碼檔案快得多。

How Ertas Integrates

Ertas 訓練的模型透過自訂模型提供者介面與 Dify 整合。在 Ertas Studio 中微調後，您將模型部署到 OpenAI 相容的端點，並在 Dify 的設定中將其註冊為自訂模型提供者。註冊後，該模型會出現在 Dify 的模型選擇器中，涵蓋所有功能——工作流程節點、聊天助手、完成 API 和代理設定。這意味著您的微調模型可以驅動任何 Dify 應用程式類型，無需額外設定。

Ertas-Dify 的組合對建構內部 AI 工具的團隊特別有價值。Ertas 提供了解您公司術語、流程和資料格式的專業模型，而 Dify 提供應用層——包括使用者管理、對話歷史、回饋收集和分析。團隊可以部署面向客戶的知識庫、內部文件搜尋工具和資料擷取管線，全部在同一個 Ertas 訓練的模型上運行，從單一 Dify 儀表板管理。當需要改善模型時，透過 Dify 的標註工具收集的回饋可以匯出為訓練資料並回饋到 Ertas Studio。

Getting Started

1
在 Ertas Studio 中微調您的模型
使用您的 JSONL 資料集在 Ertas Studio 中訓練領域特定模型。為您的部署目標選擇適當的基礎模型和量化格式。
2
將模型部署到推理端點
透過 Ollama、vLLM 或 Ertas Cloud 提供您的 GGUF 模型服務。確保端點暴露 OpenAI 相容的 API 以進行 Dify 整合。
3
在 Dify 中註冊模型
在 Dify 的設定中，新增指向您推理端點的自訂模型提供者。設定模型名稱、上下文視窗和功能。
4
在 Dify 中建構您的應用程式
在 Dify 中建立聊天機器人、工作流程或代理應用程式。選擇您的 Ertas 訓練模型作為 LLM 提供者，並為 RAG 設定知識庫。
5
發布並收集回饋
將您的 Dify 應用程式部署為網頁應用程式或 API。使用 Dify 的內建標註工具收集使用者回饋，用於未來的 Ertas 重新訓練週期。

yaml

# Dify custom model provider configuration
model_providers:
  - provider: ertas-local
    label: "Ertas Fine-Tuned Models"
    provider_type: openai_api_compatible
    credentials:
      api_base: "http://localhost:11434/v1"
      api_key: "not-needed"
    models:
      - model: ertas-support-7b
        model_type: llm
        context_length: 8192
        max_tokens: 2048
      - model: ertas-legal-7b
        model_type: llm
        context_length: 8192
        max_tokens: 2048

在 Dify 中將透過 Ollama 提供服務的 Ertas 訓練模型註冊為自訂模型提供者，用於所有應用程式類型。