GPT4All + Ertas

Ajusta modelos en Ertas Studio y despliegalos a traves de GPT4All para inferencia privada y sin conexion con una interfaz de chat de escritorio, recuperacion local de documentos y API Python.

Overview

GPT4All, desarrollado por Nomic AI, es una aplicacion de escritorio enfocada en privacidad para ejecutar modelos de lenguaje grandes completamente en hardware de consumo. Soporta modelos GGUF de forma nativa y proporciona una biblioteca curada de modelos, una interfaz de chat y un sistema de recuperacion local de documentos llamado LocalDocs que te permite chatear con tus propios archivos sin subirlos a ningun lugar. GPT4All funciona en Windows, macOS y Linux, con inferencia optimizada para CPUs y Apple Silicon — haciendolo uno de los puntos de entrada mas accesibles para IA local.

Mas alla de la app de escritorio, GPT4All ofrece un SDK de Python que refleja la API de OpenAI, permitiendo a los desarrolladores integrar inferencia local en scripts, pipelines y aplicaciones con cambios minimos de codigo. La combinacion de una GUI amigable para uso cotidiano y una API lista para desarrolladores para automatizacion hace de GPT4All un objetivo de despliegue versatil para modelos ajustados, particularmente en organizaciones donde la privacidad de datos es un requisito rigido.

How Ertas Integrates

Despues de ajustar un modelo en Ertas Studio, puedes exportarlo en formato GGUF y cargarlo directamente en GPT4All. El proceso es simple: descarga el archivo GGUF de Ertas, colocalo en el directorio de modelos de GPT4All y el modelo aparece en el selector de modelos de la app. GPT4All lee los metadatos embebidos del GGUF para configurar la plantilla de chat y parametros de inferencia, asi que no se requiere configuracion manual. Luego puedes usar el modelo a traves de la interfaz de chat o la API Python para acceso programatico.

Este flujo de trabajo es especialmente poderoso cuando se combina con la funcion LocalDocs de GPT4All. Ajusta un modelo especifico del dominio en Ertas — por ejemplo, un modelo de terminologia medica o un modelo de analisis legal — luego emparejalo con documentos locales relevantes en GPT4All para generacion con recuperacion aumentada. La experiencia del dominio del modelo proveniente del fine-tuning de Ertas se combina con el contexto de documentos en tiempo real de LocalDocs, entregando respuestas altamente precisas mientras mantiene todos los datos en la maquina del usuario.

Getting Started

1
Ajusta en Ertas Studio
Sube tu dataset JSONL a Ertas Studio y ejecuta un trabajo de fine-tuning usando LoRA o QLoRA. Monitorea las metricas de entrenamiento y evalua contra tu conjunto de validacion antes de exportar.
2
Exporta como GGUF
Descarga el modelo entrenado en formato GGUF desde Ertas Studio. Para GPT4All en maquinas solo con CPU, la cuantizacion Q4_K_M ofrece el mejor equilibrio de velocidad y calidad.
3
Agrega el modelo a GPT4All
Coloca el archivo GGUF descargado en el directorio de modelos de GPT4All (tipicamente ~/.local/share/nomic.ai/GPT4All/ en Linux o el equivalente en tu SO). El modelo aparece en el selector de modelos en el proximo inicio.
4
Configura LocalDocs (opcional)
Apunta la funcion LocalDocs de GPT4All a una carpeta de documentos relevantes para habilitar generacion con recuperacion aumentada junto al conocimiento del dominio de tu modelo ajustado.
5
Chatea o usa la API Python
Interactua con tu modelo ajustado a traves de la interfaz de chat de escritorio, o usa el SDK Python de GPT4All para integrar inferencia local en tus aplicaciones y scripts.

python

# After downloading the GGUF model from Ertas Studio,
# use the GPT4All Python SDK for local inference
from gpt4all import GPT4All

# Point to your Ertas-exported GGUF model
model = GPT4All(
    model_name="my-model-Q4_K_M.gguf",
    model_path="./models/",
    allow_download=False,
)

with model.chat_session():
    response = model.generate(
        "Summarize the key findings from this clinical trial",
        max_tokens=512,
        temp=0.7,
    )
    print(response)

Usa el SDK Python de GPT4All para ejecutar inferencia en tu modelo GGUF exportado de Ertas programaticamente.

Benefits

Diseno con privacidad ante todo asegura que todos los datos permanezcan en el dispositivo durante la inferencia
La funcion LocalDocs combina la experiencia del modelo ajustado con recuperacion de documentos
SDK Python con interfaz OpenAI-compatible para facil integracion de aplicaciones
Biblioteca curada de modelos para benchmarking rapido contra tu modelo ajustado
Ligero y optimizado para inferencia en CPU en hardware de consumo
Soporte multiplataforma para Windows, macOS y Linux