AnythingLLM + Ertas
Usa modelos entrenados con Ertas dentro de AnythingLLM para construir asistentes de IA privados, basados en documentos, con RAG integrado, soporte multiusuario y capacidades de agente.
Overview
AnythingLLM es una aplicacion de escritorio y servidor todo-en-uno para ejecutar bases de conocimiento y asistentes de chat impulsados por IA. Agrupa ingestion de documentos, almacenamiento vectorial, recuperacion RAG, gestion de conversaciones e interfaz de chat en una sola aplicacion que se ejecuta completamente en tu hardware. Los usuarios pueden subir PDFs, documentos de Word, paginas web y otros tipos de contenido, y AnythingLLM automaticamente los fragmenta, genera embeddings e indexa para conversaciones con recuperacion aumentada.
Lo que destaca a AnythingLLM es su enfoque en accesibilidad y privacidad. Proporciona una GUI pulida que usuarios no tecnicos pueden operar, soporta espacios de trabajo multiusuario con controles de permisos y funciona completamente sin conexion despues de la configuracion inicial. Soporta multiples backends de LLM — Ollama, LM Studio, OpenAI y cualquier endpoint OpenAI-compatible — lo que facilita intercambiar un modelo ajustado sin cambiar nada en el pipeline de gestion de documentos o recuperacion. Para organizaciones que necesitan una solucion de IA privada lista para usar, AnythingLLM proporciona la capa de aplicacion mientras Ertas proporciona la capa de calidad del modelo.
How Ertas Integrates
Los modelos entrenados con Ertas se conectan a AnythingLLM a traves de su configuracion de proveedor de LLM. Despues de desplegar tu modelo ajustado via Ollama o cualquier endpoint OpenAI-compatible, lo seleccionas como proveedor de LLM en el panel de configuracion de AnythingLLM. El modelo inmediatamente impulsa todas las conversaciones en cada espacio de trabajo, con el conocimiento especifico del dominio de tu entrenamiento con Ertas integrado directamente en las respuestas del modelo. Combinado con la recuperacion de documentos de AnythingLLM, esto significa que tu asistente de IA tiene tanto conocimiento entrenado como acceso a documentos en tiempo real.
La combinacion Ertas-AnythingLLM es ideal para desplegar asistentes de base de conocimiento internos. Un equipo legal puede ajustar un modelo en analisis de contratos en Ertas Studio, subir sus plantillas de contratos y politicas a los espacios de trabajo de AnythingLLM y dar a cada miembro del equipo acceso a un asistente de IA que entiende tanto derecho contractual general (del fine-tuning) como los terminos especificos en sus documentos activos (del RAG). Cada espacio de trabajo puede tener diferentes documentos y permisos, asi que el mismo modelo sirve a multiples equipos con controles de acceso apropiados. Todo esto se ejecuta en un solo servidor con cero datos saliendo de la red de la organizacion.
Getting Started
- 1
Ajusta un modelo en Ertas Studio
Entrena tu modelo especifico de dominio usando Ertas Studio. Enfocate en el dominio de conocimiento que cubriran tus espacios de trabajo de AnythingLLM — legal, medico, soporte tecnico o politicas internas.
- 2
Despliega via Ollama o endpoint compatible
Exporta el modelo en formato GGUF y sirvelo a traves de Ollama. AnythingLLM tiene integracion nativa con Ollama que autodescubre los modelos disponibles.
- 3
Configura AnythingLLM para usar tu modelo
En la configuracion de Preferencia de LLM de AnythingLLM, selecciona Ollama como proveedor y elige tu modelo entrenado con Ertas de la lista de modelos auto-poblada.
- 4
Crea espacios de trabajo y sube documentos
Configura espacios de trabajo para diferentes equipos o temas. Sube documentos relevantes — contratos, manuales, politicas — que AnythingLLM usara para respuestas con recuperacion aumentada.
- 5
Invita usuarios y comienza conversaciones
Agrega miembros del equipo con permisos apropiados de espacio de trabajo. Los usuarios pueden inmediatamente comenzar a chatear con un asistente de IA fundamentado tanto en conocimiento ajustado como en documentos subidos.
# 1. Deploy your Ertas-trained model with Ollama
ollama create ertas-hr-7b -f ./Modelfile
# 2. Verify the model is running
ollama list
# NAME SIZE MODIFIED
# ertas-hr-7b 4.1 GB just now
# 3. Launch AnythingLLM (Docker)
docker run -d \
--name anythingllm \
-p 3001:3001 \
-v anythingllm_storage:/app/server/storage \
mintplexlabs/anythingllm
# 4. Open http://localhost:3001
# → Settings → LLM Preference → Ollama
# → Select "ertas-hr-7b" from the model dropdown
# → Create a workspace and upload your HR policy documentsBenefits
- Asistente de IA privado listo para usar con carga de documentos, RAG e interfaz de chat
- Espacios de trabajo multiusuario con controles de permisos para despliegue a nivel de equipo
- Integracion nativa con Ollama que autodescubre modelos entrenados con Ertas
- Operacion 100% sin conexion — ningun dato sale de tu red despues de la configuracion
- GUI pulida accesible para miembros del equipo no tecnicos
- Capacidades de agente permiten al asistente de IA tomar acciones mas alla de la conversacion
Related Resources
Fine-Tuning
GGUF
Inference
LoRA
Running AI Models Locally: The Complete Guide to Local LLM Inference
Privacy-Conscious AI Development: Fine-Tune in the Cloud, Run on Your Terms
Getting Started with Ertas: Fine-Tune and Deploy Custom AI Models
Self-Hosted AI for Indie Apps: Replace GPT-4 with Your Own Model
GDPR-Compliant AI: How to Use LLMs Without Sharing User Data
Jan
LM Studio
Msty
Ollama
Open WebUI
Ertas for Healthcare
Ertas for Customer Support
Ertas for Legal
Ertas for Internal Knowledge Bases
Ship AI that runs on your users' devices.
Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.