Servicios de fine-tuning de LLM, de la auditoría a producción.
Ertas es un laboratorio de IA aplicada que ofrece servicios de fine-tuning de LLM. Entrenamos un modelo abierto con los datos de tu propia organización para una tarea, lo evaluamos frente a tu estándar de calidad y lo ejecutamos gestionado por Ertas, en tu propia nube u on-premise. Trabajamos con organizaciones de cualquier país. Si estás en Australia y los datos deben quedarse en el país, tu propia cuenta de nube en una región australiana o tus propios servidores los mantienen allí.
¿Qué incluye un proyecto de fine-tuning de LLM?
Cinco etapas, y decides si continuar después de cada una. La prueba de concepto fija el tamaño adecuado del modelo y el punto de equilibrio de costes antes de empezar la versión de producción.
La mejora continua funciona a través del endpoint de modelo adaptativo. El endpoint está disponible actualmente solo por invitación, y estamos desarrollando una versión más ágil para un acceso más amplio.
- Evaluar
- Una auditoría gratuita de en qué se va tu gasto en IA y qué tareas se repiten a gran volumen.
- Preparar
- Convertimos tus ejemplos y registros de solicitudes en conjuntos de entrenamiento y de prueba. Tu equipo aprueba lo que entra.
- Construir
- Una prueba de concepto de tres a cuatro semanas encuentra el modelo del tamaño adecuado para tu estándar. Después entrenamos el modelo de producción.
- Ejecutar
- Lo servimos detrás de una sola API: gestionado por Ertas, en tu propia nube u on-premise.
- Mejorar
- Las nuevas versiones se entrenan con tu tráfico en segundo plano y solo entran en producción cuando superan tus evaluaciones y tú das el visto bueno. Si una versión nueva se queda corta, el modelo actual sigue en servicio.
¿Cuándo conviene el fine-tuning?
El fine-tuning encaja con una tarea que se repite a gran volumen en un formato estable, donde un modelo de frontera ya hace el trabajo y el problema es la factura o el tiempo de respuesta. Enseña al modelo un comportamiento: tu formato de salida, tus categorías, tu estilo de la casa.
El conocimiento que cambia cada día corresponde a la recuperación de información, y muchos proyectos usan ambas cosas. Preentrenamiento continuo vs fine-tuning explica cómo entra el conocimiento de un dominio en un modelo. El trabajo abierto, o un flujo que aún cambia cada semana, normalmente todavía no está listo, y la auditoría te lo dirá.
¿Cuánto cuesta el fine-tuning de un LLM?
La construcción se presupuesta por tarea, y el precio depende de la tarea, el volumen de datos y el entorno de despliegue. Lo fijamos después de la auditoría, en un alcance por escrito.
Cuando el modelo está en producción, los costes de uso bajan por dos lados: un precio por token más bajo que el de los grandes modelos de frontera, y menos tokens por tarea, porque las instrucciones y el contexto que repites en cada prompt quedan entrenados en el modelo. La calculadora de coste por tarea muestra ambos con tus propios volúmenes.
Los costes de uso tienen tres modalidades, detalladas en nuestra página de precios: por token para tráfico variable o en crecimiento, plazas (una cuota mensual con tokens ilimitados y un límite de concurrencia) para tráfico estable y predecible, o una GPU dedicada para los mayores volúmenes.
¿Cómo se sabe si el modelo ajustado es suficientemente bueno?
Antes de entrenar, construimos un conjunto de prueba con tus propios ejemplos y acordamos el estándar de calidad con tu equipo. Cada versión del modelo se puntúa con él antes de recibir tráfico.
El método sigue nuestra investigación publicada: un protocolo congelado, umbrales fijados de antemano e intervalos de confianza. Evaluación de LLM de dominio específico lo explica paso a paso.
Preguntas frecuentes.
¿Qué modelos ajusta Ertas?
Modelos abiertos, elegidos para cada tarea. La prueba de concepto encuentra el modelo del tamaño adecuado que mantiene tu estándar de calidad, y se vuelve a entrenar cuando salen mejores modelos base.
¿Cuánto tarda el fine-tuning de un LLM?
Tras la auditoría y la preparación de datos, la prueba de concepto dura de tres a cuatro semanas. El modelo de producción llega cuando apruebas el resultado.
¿Somos dueños del modelo ajustado?
El modelo se entrena con tus datos y lo ajusta tu equipo, y por defecto se ejecuta en Ertas. La propiedad y la entrega del modelo están disponibles con un compromiso mínimo de colaboración.
¿Pueden nuestros propios ingenieros ajustar los modelos?
Sí. Tus ingenieros de ML pueden entrenar modelos por su cuenta en Ertas Studio, y el plan Enterprise añade GPU de frontera, una asignación de créditos a medida y soporte dedicado.