El preentrenamiento continuado sigue entrenando un modelo existente con texto bruto de un campo, con el mismo objetivo de predecir la siguiente palabra con el que se entrenó al principio, para que aprenda el vocabulario y las convenciones de ese campo. El fine-tuning lo entrena con ejemplos de entradas y de las salidas que quieres, para que aprenda una tarea, un formato o un comportamiento. La recuperación (RAG) aporta hechos en el momento de responder, sin ningún entrenamiento. Usa el preentrenamiento continuado cuando el modelo base malinterpreta tu campo, el fine-tuning cuando una tarea tiene que hacerse de forma fiable y la recuperación para los hechos que cambian.
Este artículo explica qué hace cada método, qué dice la investigación sobre cómo entra de verdad el conocimiento en un modelo y cómo se combinan los tres al construir un LLM de dominio específico.
¿Qué es el preentrenamiento continuo?
El preentrenamiento continuo, que suele llamarse preentrenamiento continuado, toma un modelo ya preentrenado y sigue entrenándolo con texto nuevo sin etiquetar, con el objetivo original de predecir el siguiente token. El artículo de Sebastian Raschka sobre preentrenamiento y fine-tuning, consultado el 29 de octubre de 2026, señala que este procedimiento sobre datos jurídicos, médicos o de código en bruto "is often called continued pretraining or domain-adaptive pretraining" (suele llamarse preentrenamiento continuado o preentrenamiento adaptado al dominio).
Tiene dos usos habituales. El primero es la adaptación a un dominio: SaulLM-7B se entrenó con un corpus jurídico en inglés de más de 30.000 millones de tokens sobre un modelo abierto existente, según su artículo. El segundo es mantener un modelo al día: Jindal et al. abren su estudio de 2024 observando que los LLM de uso público necesitan preentrenamiento continuo para mantenerse actualizados con los datos más recientes.
¿Qué son el preentrenamiento y el fine-tuning?
El preentrenamiento crea un modelo base general a partir de un corpus muy grande y variado, y el fine-tuning adapta ese modelo preentrenado a un propósito más concreto. Raschka define el fine-tuning como el término general para adaptar un modelo preentrenado a un propósito más acotado, y el ajuste por instrucciones es un tipo dentro de él. El preentrenamiento continuado queda entre los dos: parte de un modelo preentrenado, como el fine-tuning, y conserva el objetivo del preentrenamiento.
| Preentrenamiento | Preentrenamiento continuado | Fine-tuning | |
|---|---|---|---|
| Parte de | Valores iniciales aleatorios | Un modelo preentrenado | Un modelo preentrenado |
| Datos | Texto web amplio, libros, código | Texto bruto de un campo | Entradas de ejemplo con salidas objetivo |
| Objetivo | Predecir el siguiente token | Predecir el siguiente token | Producir la salida objetivo |
| Enseña | Lenguaje y conocimiento general | Vocabulario y convenciones del campo | Una tarea, un formato o un comportamiento |
| Escala relativa | La mayor | Grande, a menudo miles de millones de tokens | La menor, a menudo miles de ejemplos |
La columna de datos marca la diferencia práctica. El preentrenamiento continuado necesita un gran volumen de texto bruto del campo, y el fine-tuning necesita ejemplos etiquetados del trabajo.
¿Son lo mismo el fine-tuning y el entrenamiento?
El fine-tuning es un tipo de entrenamiento. El entrenamiento abarca todas las etapas que actualizan los parámetros de un modelo: preentrenamiento, preentrenamiento continuado, fine-tuning y entrenamiento por preferencias. Lo que separa las etapas es más el propósito que el tamaño. En palabras de Raschka, "What matters is whether the process is creating a broad base model or adapting an existing checkpoint toward a target distribution or behavior" (lo que importa es si el proceso crea un modelo base amplio o adapta un modelo existente hacia una distribución o un comportamiento concretos).
En el uso cotidiano, "entrenar un modelo propio" suele significar hacer fine-tuning de un modelo abierto existente, porque preentrenar desde cero es poco habitual fuera de los grandes laboratorios.
¿Cómo entra el conocimiento de dominio en un modelo?
El conocimiento de un campo entra de forma más fiable mediante una exposición de tipo preentrenamiento o mediante recuperación, y el fine-tuning enseña sobre todo a usar lo que el modelo ya sabe. Tres estudios, consultados en su fuente el 29 de octubre de 2026, respaldan esa división.
Al fine-tuning le cuestan los hechos nuevos. Gekhman et al., en "Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?" (2024), observaron que a los modelos de lenguaje grandes les cuesta adquirir conocimiento factual nuevo mediante fine-tuning, y que, cuando por fin lo aprenden, aumenta de forma lineal su tendencia a alucinar. Los autores concluyen que los modelos adquieren el conocimiento factual sobre todo en el preentrenamiento, mientras que el fine-tuning les enseña a usarlo con más eficacia.
La recuperación superó al fine-tuning no supervisado para inyectar conocimiento. Ovadia et al., en "Fine-Tuning or Retrieval?" (2023), compararon ambos enfoques en tareas intensivas en conocimiento y observaron que RAG lo supera de forma sistemática, tanto con conocimiento ya visto en el entrenamiento como con conocimiento totalmente nuevo. También vieron que exponer al modelo a muchas variaciones del mismo hecho durante el entrenamiento puede aliviar el problema.
El preentrenamiento continuado aporta conocimiento y puede costar capacidad de seguir instrucciones. Cheng et al., en "Adapting Large Language Models to Domains via Reading Comprehension" (2023), observaron que entrenar con texto bruto del dominio aporta conocimiento del dominio, pero perjudica de forma drástica la capacidad del modelo para responder preguntas a partir de un prompt. Reescribir ese texto como ejercicios de comprensión lectora mejoró los resultados en biomedicina, finanzas y derecho.
Juntos dan una regla de trabajo. Los hechos van a la recuperación, o al preentrenamiento continuado cuando el conocimiento del campo es estable y amplio. El comportamiento, el formato y la habilidad en la tarea van al fine-tuning. Es la división que aplicamos en cada proyecto.
¿Cuándo conviene el preentrenamiento continuado?
El preentrenamiento continuado conviene cuando el modelo base malinterpreta tu campo y tienes un gran volumen de texto bruto de él. Señales de que lo necesitas:
- El modelo trocea, confunde o usa mal los términos, códigos o notaciones del campo.
- Tienes un gran archivo de documentos del campo y pocos ejemplos etiquetados.
- Muchas tareas distintas del campo van a funcionar sobre el mismo modelo.
Tiene dos riesgos. El modelo puede perder parte de su capacidad general y de su capacidad de seguir instrucciones, el efecto que midieron Cheng et al., y el problema más amplio del olvido catastrófico durante el fine-tuning afecta a cualquier entrenamiento adicional. Los proyectos publicados lo abordan de tres maneras: mezclando texto general en el corpus del dominio (BloombergGPT se entrenó con 345.000 millones de tokens generales junto a sus 363.000 millones de tokens financieros, según su artículo), dando al texto del dominio forma de ejercicios y haciendo ajuste por instrucciones después de la etapa de dominio, como hizo SaulLM-7B.
¿Cuándo conviene el fine-tuning?
El fine-tuning conviene cuando una tarea se repite a gran volumen, sus salidas se pueden comprobar y las mismas instrucciones largas van en cada prompt. Es la forma más directa de que un modelo sea fiable en un trabajo.
Nuestro estudio QMSum (arXiv 2609.25028) midió cuánto vale el entrenamiento a nivel de tarea. Con un modelo base fijo, darle mejores entradas, fragmentos recuperados de la transcripción en lugar de sus primeras palabras, sumó 1,55 puntos de ROUGE-1 en el conjunto de prueba. Entrenarlo con esas mismas entradas en forma de fragmentos sumó otros 5,29 puntos, con un intervalo del 95% de +4,02 a +6,56. Un especialista publicado por terceros perdió 6,30 puntos al pasar a la nueva forma de entrada sin reentrenar, y entrenarlo con ella recuperó la pérdida. La lección para cualquier proyecto es entrenar el modelo con las entradas que verá en producción.
El fine-tuning también cambia el coste por dos frentes: un precio por token más bajo que el de los grandes modelos frontera, y menos tokens por tarea, porque las instrucciones y el contexto que se repiten en cada prompt quedan entrenados en el propio modelo. La calculadora de coste por tarea (en inglés) muestra ambos con tus propios tamaños de prompt.
¿Cuándo conviene la recuperación?
La recuperación conviene cuando los hechos cambian, cuando las respuestas necesitan citar una fuente o cuando cada petición depende de los registros de un cliente o de un usuario concretos. No requiere entrenamiento, y al actualizar el índice se actualizan las respuestas.
La recuperación y el entrenamiento también se combinan. En el estudio QMSum citado arriba, el modelo entrenado con entradas recuperadas superó en 5,29 puntos de ROUGE-1 al mismo modelo leyendo esas entradas sin entrenar. La recuperación eligió lo que el modelo leía, y el entrenamiento le enseñó a usarlo. Para la comparación más amplia, consulta fine-tuning frente a RAG.
| Lo que necesitas | Método |
|---|---|
| Que el modelo lea bien el vocabulario de tu campo | Preentrenamiento continuado |
| Una tarea repetida hecha de forma fiable | Fine-tuning |
| Un formato o un tono constantes | Fine-tuning |
| Hechos que cambian o que hay que citar | Recuperación |
| Registros de cada cliente o usuario | Recuperación |
| Muchas tareas en un campo especializado | Preentrenamiento continuado, luego fine-tuning |
La mayoría de los sistemas en producción usa al menos dos filas de esta tabla.
Ertas es un laboratorio de IA aplicada, y el endpoint de modelo adaptativo es donde este trabajo llega a producción: un modelo entrenado con tu tarea, servido a través de una API compatible con OpenAI, con recuperación para los hechos que cambian. Las versiones nuevas se entrenan en segundo plano con el tráfico de tus agentes, se puntúan con tus evaluaciones y solo entran en servicio con tu aprobación. Si una versión nueva no alcanza el nivel, el modelo actual sigue en servicio. Funciona gestionado por Ertas, en tu propia nube o en tus instalaciones. Por ahora el endpoint funciona solo por invitación, y estamos desarrollando una versión más ágil para abrirlo a más empresas.
Preguntas Frecuentes
¿Está desacreditado el fine-tuning?
No. OpenAI y Mistral están retirando el fine-tuning de sus propios modelos, una decisión sobre lo que quieren alojar, y entrenar modelos abiertos con datos de la tarea sigue dando mejoras medibles. Nuestro artículo ¿ha muerto el fine-tuning? repasa las retiradas y la evidencia.
¿El preentrenamiento continuado es lo mismo que el preentrenamiento adaptado al dominio?
El preentrenamiento adaptado al dominio es preentrenamiento continuado con textos de un campo. El término viene de "Don't Stop Pretraining" (2020), de Gururangan et al., que también definió el preentrenamiento adaptado a la tarea con los datos sin etiquetar de la propia tarea.
¿Puede el fine-tuning enseñar hechos nuevos a un modelo?
Solo despacio y con un coste. Gekhman et al. (2024) observaron que los hechos nuevos para el modelo se aprenden más despacio que los conocidos y aumentan su tendencia a alucinar una vez aprendidos. Lleva los hechos que cambian a la recuperación y usa el fine-tuning para el comportamiento, el formato y la habilidad en la tarea.
¿El preentrenamiento continuado causa olvido catastrófico?
Puede causarlo. Seguir entrenando con texto muy concreto puede desgastar la capacidad general y la de seguir instrucciones. Mezclar texto general en el corpus, dar al texto del dominio forma de ejercicios y repetir el ajuste por instrucciones después reducen el efecto, y una evaluación con tareas generales reservadas muestra cuánto se ha perdido.
¿Es mejor RAG que el fine-tuning?
Para inyectar hechos, la recuperación salió mejor en la comparación de Ovadia et al. de 2023. Para una tarea repetida, un formato constante o un menor coste por tarea, el fine-tuning sale mejor. Los dos funcionan mejor juntos, con el modelo entrenado con las entradas recuperadas que va a leer.
¿En qué se diferencia el preentrenamiento continuado del aprendizaje continuo?
El preentrenamiento continuado es una etapa de entrenamiento con texto nuevo. El aprendizaje continuo es la práctica sostenida de entrenar versiones nuevas del modelo a medida que llegan datos nuevos, conservando lo que aprendieron las versiones anteriores. Nuestro artículo sobre aprendizaje continuo para agentes de IA lo trata en la capa del modelo.
En resumen
El preentrenamiento continuado enseña a un modelo el lenguaje de un campo a partir de texto bruto. El fine-tuning le enseña un trabajo a partir de ejemplos. La recuperación le da los hechos en el momento de responder. Los hechos que cambian van a la recuperación, un trabajo que se repite va al fine-tuning, y el preentrenamiento continuado compensa cuando el modelo base malinterpreta tu campo y muchas tareas van a compartir el modelo. Elijas lo que elijas, evalúalo con tu propio dominio antes de que reciba tráfico.
Fuentes, consultadas el 29 de octubre de 2026: Sebastian Raschka, "Pretraining vs. finetuning vs. instruction finetuning"; Gururangan et al., "Don't Stop Pretraining" (2020); Wu et al., "BloombergGPT" (2023); Cheng et al., "Adapting Large Language Models to Domains via Reading Comprehension" (2023); Ovadia et al., "Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs" (2023); Colombo et al., "SaulLM-7B" (2024); Gekhman et al., "Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?" (2024); Jindal et al., "Balancing Continuous Pre-Training and Instruction Fine-Tuning" (2024). Nuestra investigación: el estudio QMSum.