LangChain + Ertas

Integra modelos entrenados con Ertas en pipelines de LangChain para generacion con recuperacion aumentada, agentes y flujos de trabajo complejos de razonamiento de multiples pasos.

Overview

LangChain es el framework mas ampliamente adoptado para construir aplicaciones impulsadas por modelos de lenguaje grandes. Proporciona abstracciones componibles para gestion de prompts, orquestacion de cadenas, uso de herramientas, memoria y generacion con recuperacion aumentada (RAG). Los desarrolladores usan LangChain para construir pipelines de IA complejos donde un LLM razona sobre documentos recuperados, llama a APIs externas y mantiene contexto conversacional a traves de interacciones de multiples turnos.

Para equipos que ajustan modelos con Ertas, LangChain es la capa de aplicacion natural. En lugar de depender de modelos fundacionales genericos a traves de costosas llamadas API, puedes conectar tu modelo entrenado con Ertas — servido localmente via Ollama, llama.cpp o vLLM — directamente en cadenas y agentes de LangChain. Esto te da inteligencia especifica del dominio en cada paso de tu pipeline: mejor re-ranking de recuperacion, seleccion de herramientas mas precisa y menos alucinaciones en la salida final porque el modelo ya entiende tu vocabulario de dominio y patrones de razonamiento.

How Ertas Integrates

Despues de ajustar un modelo en Ertas Studio, puedes servirlo tú mismo en cualquier servidor de inferencia compatible con OpenAI, como Ollama, vLLM o LM Studio, y conectarlo a LangChain usando las clases estandar ChatOpenAI o ChatOllama. La interfaz agnostica de proveedor de LangChain significa que cambiar de una API en la nube a tu modelo local entrenado con Ertas requiere cambiar solo la URL base y el nombre del modelo; tus cadenas, prompts y logica de recuperacion permanecen intactos. Si prefieres no alojarlo tú mismo, Ertas puede servir el modelo por ti a través del endpoint de modelo adaptativo, y el despliegue con un clic desde Studio está en la hoja de ruta.

Mantén la estructura de los prompts en LangChain alineada con la que el modelo vio durante el entrenamiento. El GGUF exportado ya incluye la plantilla de chat, así que lo principal es comprobar que el prompt del sistema y el orden de los mensajes en tus cadenas reflejen los ejemplos de tus datos de entrenamiento, ya sea para Q&A de documentos, extracción estructurada o clasificación en varios pasos. Esta alineacion entre el prompting en tiempo de entrenamiento y en tiempo de inferencia es critica para obtener la maxima calidad de modelos ajustados y es una fuente comun de bugs sutiles cuando los equipos ensamblan sus propios pipelines.

Getting Started

1
Ajusta tu modelo en Ertas Studio
Entrena un modelo especifico del dominio usando tu dataset JSONL en Ertas Studio. Elige un modelo base del Hub y aplica adaptadores LoRA para entrenamiento eficiente en tu caso de uso especifico.
2
Despliega en un endpoint OpenAI-compatible
Exporta tu modelo en formato GGUF y sirvelo via Ollama o vLLM. Cualquier endpoint que exponga la API /v1/chat/completions funciona con LangChain.
3
Instala LangChain y configura el proveedor de LLM
Instala langchain y el paquete de proveedor relevante (langchain-openai o langchain-ollama). Apunta el cliente a tu endpoint de inferencia local o en la nube.
4
Construye tu cadena o agente
Usa LCEL (LangChain Expression Language) de LangChain para componer cadenas de recuperacion, agentes con llamada a herramientas o pipelines de razonamiento de multiples pasos que aprovechen tu modelo ajustado.
5
Itera con ciclos de retroalimentacion de Ertas
Recopila registros de inferencia y feedback de usuarios a traves de callbacks de LangChain, luego retroalimentalos en Ertas Studio como datos de entrenamiento adicionales para mejorar continuamente la calidad del modelo.

python

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

# Point to your Ertas-trained model served via Ollama
llm = ChatOpenAI(
    base_url="http://localhost:11434/v1",
    model="ertas-legal-7b",
    api_key="not-needed",
    temperature=0.1,
)

# Build a simple RAG chain
prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a legal assistant. Use the context to answer questions accurately."),
    ("human", "Context: {context}\n\nQuestion: {question}"),
])

chain = prompt | llm | StrOutputParser()

response = chain.invoke({
    "context": "The contract stipulates a 30-day termination notice period...",
    "question": "What is the required notice period for termination?",
})
print(response)

Conecta un modelo entrenado con Ertas servido localmente via Ollama a una cadena RAG de LangChain con solo un cambio de URL base.

Benefits

Usa modelos ajustados como reemplazos directos en cualquier cadena o agente de LangChain
Reduce alucinaciones en pipelines RAG con recuperacion y generacion entrenadas en el dominio
Mantiene toda la inferencia local o en tu VPC — sin datos enviados a APIs de terceros
Aprovecha el ecosistema de mas de 700 integraciones de LangChain con modelos de calidad Ertas
Alinea prompts de tiempo de entrenamiento e inferencia para maximo rendimiento del modelo
Mejora modelos continuamente retroalimentando registros de LangChain en Ertas Studio