Dify + Ertas

在 Dify 上构建、部署和管理 AI 应用，使用 Ertas 训练的模型实现领域特定智能和完整的可视化编排。

Overview

Dify 是一个开源的 LLM 应用开发平台，将可视化工作流编辑器、提示 IDE、RAG 管道构建器和智能体框架整合到一个统一的工具中。与简单的聊天机器人构建器不同，Dify 提供了将 AI 应用从原型推向生产的完整技术栈——包括 API 管理、使用分析、标注和标签工具以及多租户访问控制。它支持云托管和自托管部署，适合有严格数据驻留要求的团队。

Dify 的可视化编排引擎让团队通过在画布上连接模型节点、知识检索节点、条件逻辑和外部工具调用来构建复杂的 AI 工作流。每个工作流都可以作为独立的 Web 应用、嵌入式聊天机器人或带有内置速率限制和认证的 REST API 发布。该平台还包括一个带有变量管理和版本历史的提示 IDE，使提示工程的迭代速度远超传统开发工作流中编辑代码文件的方式。

How Ertas Integrates

Ertas 训练的模型通过 Dify 的自定义模型提供商接口进行集成。在 Ertas Studio 中微调后，您将模型部署到兼容 OpenAI 的端点，并在 Dify 的设置中将其注册为自定义模型提供商。注册后，该模型会出现在 Dify 所有功能的模型选择器中——工作流节点、聊天助手、补全 API 和智能体配置。这意味着您的微调模型可以驱动任何 Dify 应用类型，无需额外配置。

Ertas-Dify 组合对于构建内部 AI 工具的团队特别有价值。Ertas 提供理解您公司术语、流程和数据格式的专业模型，而 Dify 提供应用层——配备用户管理、对话历史、反馈收集和分析功能。团队可以部署面向客户的知识库、内部文档搜索工具和数据提取管道，所有这些都运行在同一个 Ertas 训练的模型上，从单一 Dify 仪表板进行管理。当需要改进模型时，通过 Dify 标注工具收集的反馈可以导出为训练数据并反馈到 Ertas Studio 中。

Getting Started

1
在 Ertas Studio 中微调您的模型
使用您的 JSONL 数据集在 Ertas Studio 中训练领域特定模型。选择适合您部署目标的基础模型和量化格式。
2
将模型部署到推理端点
通过 Ollama、vLLM 或 Ertas Cloud 提供您的 GGUF 模型服务。确保端点暴露兼容 OpenAI 的 API 以集成 Dify。
3
在 Dify 中注册模型
在 Dify 的设置中，添加指向您推理端点的自定义模型提供商。配置模型名称、上下文窗口和功能。
4
在 Dify 中构建您的应用
在 Dify 中创建聊天机器人、工作流或智能体应用。选择您的 Ertas 训练模型作为 LLM 提供商，并配置知识库用于 RAG。
5
发布并收集反馈
将您的 Dify 应用部署为 Web 应用或 API。使用 Dify 内置的标注工具收集用户反馈，用于未来的 Ertas 重新训练周期。

yaml

# Dify custom model provider configuration
model_providers:
  - provider: ertas-local
    label: "Ertas Fine-Tuned Models"
    provider_type: openai_api_compatible
    credentials:
      api_base: "http://localhost:11434/v1"
      api_key: "not-needed"
    models:
      - model: ertas-support-7b
        model_type: llm
        context_length: 8192
        max_tokens: 2048
      - model: ertas-legal-7b
        model_type: llm
        context_length: 8192
        max_tokens: 2048

将通过 Ollama 提供服务的 Ertas 训练模型注册为 Dify 中的自定义模型提供商，可在所有应用类型中使用。