ComfyUI + Ertas

Integra modelos de lenguaje entrenados con Ertas en el sistema de flujo de trabajo basado en nodos de ComfyUI para generacion de texto, ingenieria de prompts y pipelines de IA multimodal.

Overview

ComfyUI es un poderoso motor de flujo de trabajo visual basado en nodos disenado originalmente para generacion de imagenes con Stable Diffusion, pero cada vez mas adoptado para tareas mas amplias de automatizacion con IA. Su interfaz basada en grafos permite a los usuarios conectar nodos de procesamiento — cargadores de modelos, muestreadores, procesadores de prompts y manejadores de salida — en pipelines de generacion complejos que son completamente reproducibles y compartibles. Cada flujo de trabajo es un grafo JSON que puede controlarse con versiones, compartirse con companeros de equipo y ejecutarse programaticamente a traves de la API de ComfyUI.

El ecosistema de extensiones de ComfyUI ha crecido rapidamente para soportar integracion de modelos de lenguaje junto con generacion de imagenes. Paquetes de nodos personalizados ahora proporcionan nodos de chat LLM, utilidades de procesamiento de texto y conectores API que permiten a los usuarios construir flujos de trabajo multimodales combinando generacion de imagenes con analisis de texto. Para equipos que construyen pipelines de contenido que involucran tanto IA visual como textual — generacion de descripciones de productos con imagenes coincidentes, copy de marketing con visuales consistentes con la marca, o procesamiento de documentos con extraccion de imagenes — ComfyUI proporciona un lienzo visual unificado donde todos los componentes se conectan.

How Ertas Integrates

Los modelos entrenados con Ertas se conectan a ComfyUI a traves de nodos de integracion LLM que soportan endpoints de API OpenAI-compatible. Despues de ajustar un modelo en Ertas Studio para una tarea de texto especifica — descripciones de productos, clasificacion de contenido o mejora de prompts — lo despliegas via Ollama o cualquier servidor compatible y agregas un nodo LLM en tu flujo de trabajo de ComfyUI. El texto generado por tu modelo Ertas puede entonces alimentar otros nodos: impulsando prompts de generacion de imagenes, poblando plantillas o activando ramas condicionales del flujo de trabajo.

Esta integracion es particularmente valiosa para pipelines de produccion de contenido. Considera un flujo de trabajo donde se suben imagenes de productos, un modelo entrenado con Ertas genera descripciones detalladas y metadatos SEO, y esas descripciones se usan para condicionar variaciones de imagenes — todo en un solo grafo de ComfyUI. El modelo ajustado asegura que las descripciones coincidan con la voz de tu marca e incluyan terminologia especifica del dominio que un modelo generico pasaria por alto. Debido a que los flujos de trabajo de ComfyUI son grafos JSON, todo el pipeline es reproducible y puede activarse via API para procesamiento por lotes, convirtiendo un prototipo visual en un pipeline de contenido en produccion.

Getting Started

1
Ajusta un modelo de texto en Ertas Studio
Entrena un modelo en tu tarea de texto especifica — descripciones de productos, mejora de prompts, clasificacion de contenido o cualquier caso de uso de generacion de texto.
2
Despliega el modelo via Ollama
Exporta el modelo GGUF y sirvelo a traves de Ollama. Los nodos LLM de ComfyUI se conectan al endpoint API de Ollama para generacion de texto.
3
Instala nodos LLM en ComfyUI
Agrega un paquete de nodos de integracion LLM a ComfyUI a traves del manager. Estos nodos proporcionan funcionalidad de chat completion, procesamiento de texto y conector API.
4
Construye tu flujo de trabajo multimodal
Conecta nodos LLM a tu pipeline de generacion de imagenes. Usa la salida del modelo Ertas para impulsar prompts, metadatos o logica condicional en tu flujo de trabajo.
5
Ejecuta via API para procesamiento por lotes
Usa la API de ComfyUI para activar flujos de trabajo programaticamente. Procesa cientos de elementos a traves de tu pipeline ajustado de texto e imagen en modo por lotes.

json

{
  "3": {
    "class_type": "LLM_ChatCompletion",
    "inputs": {
      "api_url": "http://localhost:11434/v1",
      "model": "ertas-product-7b",
      "system_prompt": "Generate a product description for the given image.",
      "user_prompt": "Describe this product in 150 words for an ecommerce listing.",
      "temperature": 0.7,
      "max_tokens": 256
    }
  },
  "4": {
    "class_type": "CLIPTextEncode",
    "inputs": {
      "text": ["3", 0],
      "clip": ["1", 1]
    }
  }
}

Configuracion de nodo de flujo de trabajo de ComfyUI usando un modelo entrenado con Ertas para generar descripciones de productos que alimentan prompts de generacion de imagenes.

Benefits

Interfaz visual basada en nodos que hace comprensibles y compartibles los pipelines complejos de IA
Combina generacion de texto de modelos ajustados con generacion de imagenes en un solo flujo de trabajo
Flujos de trabajo reproducibles almacenados como JSON para control de versiones y colaboracion
Ejecucion impulsada por API habilita procesamiento por lotes para pipelines de contenido en produccion
Ecosistema activo de extensiones con soporte creciente de integracion LLM
Autoalojado y completamente privado — toda la generacion ocurre en tu hardware