Olvido catastrófico en el fine-tuning de LLM

El olvido catastrófico (catastrophic forgetting) en el fine-tuning de LLM es la pérdida de capacidades que un modelo ya tenía cuando se entrena con datos nuevos. Es más grave cuando un modelo se ajusta en secuencia, ronda tras ronda, que es justo lo que le pide el aprendizaje continuo. La repetición de datos anteriores, la regularización y los métodos de subespacios ortogonales lo reducen, y una compuerta de evaluación con un conjunto de regresión decide si una versión nueva sustituye a la actual.

Este artículo explica qué es el olvido catastrófico, por qué lo causa el fine-tuning secuencial, las mitigaciones publicadas con sus fuentes y cómo una compuerta de publicación mantiene fuera de producción a una versión que ha olvidado algo.

¿Qué es el olvido catastrófico en los LLM?

El olvido catastrófico es una caída brusca del rendimiento de un modelo en tareas anteriores después de entrenarlo en tareas nuevas. La explicación de IBM sobre el olvido catastrófico sitúa la primera observación en Michael McCloskey y Neal J. Cohen en 1989, con el nombre de interferencia catastrófica. En un LLM aparece como un modelo ajustado que hace bien la tarea nueva y ha perdido algo que antes sabía hacer: aritmética, un idioma, un comportamiento de seguridad o un formato de salida del que depende otro sistema.

Se ha medido en LLM actuales. El estudio empírico del olvido durante el fine-tuning continuo de Luo et al. (2023) lo encontró en modelos de entre 1.000 y 7.000 millones de parámetros durante el ajuste continuo por instrucciones, y dentro de ese rango los modelos más grandes olvidaron más.

¿Por qué el fine-tuning causa olvido catastrófico?

El fine-tuning actualiza pesos que comparten todas las tareas, y su objetivo de entrenamiento solo mide los datos nuevos. El descenso de gradiente mueve los pesos en la dirección que reduce la pérdida en el conjunto de ajuste, sin ningún término para las capacidades que el modelo tenía antes, así que una actualización que ayuda a la tarea nueva puede sobrescribir aquello en lo que se apoyaba una tarea anterior. Una tasa de aprendizaje alta, muchas épocas y un conjunto de datos estrecho agrandan esa sobrescritura.

El fine-tuning secuencial lo agrava. Cada ronda parte del modelo de la ronda anterior y lo vuelve a mover, así que las pérdidas se acumulan. La explicación de OSFT de Red Hat (28 de julio de 2026) cita un caso del artículo Sculpting Subspaces: un modelo que resolvía el 29% de los problemas de matemáticas de primaria bajó al 2% tras ajustarse en ocho tareas nuevas. El sleep framework de Google Research (27 de octubre de 2026) describe el mismo patrón: las referencias de fine-tuning supervisado sufrieron un olvido grave en tareas de traducción secuenciales.

Por eso el olvido pesa más en el aprendizaje continuo para agentes de IA que en un único fine-tuning. El modelo de un agente reentrenado con su tráfico cada pocas semanas es una secuencia de ajustes, y cada uno es una nueva ocasión de perder algo.

¿Cómo se evita el olvido catastrófico durante el fine-tuning?

Las mitigaciones publicadas se agrupan en cinco familias, y cada una reduce el olvido limitando cuánto puede mover una actualización las capacidades que el modelo ya tiene. Aun así, hace falta una medición que confirme que ha funcionado.

La repetición es la más barata de aplicar sobre tráfico de producción, y las familias se pueden combinar, por ejemplo repetición con LoRA.

Repetición. La repetición (replay o rehearsal) guarda un búfer de ejemplos de entrenamiento anteriores y los mezcla en cada ronda nueva, para que el modelo siga practicando lo que aprendió. En "Fine-tuned Language Models are Continual Learners" (2022), Scialom et al. entrenaron un modelo T0 en tareas nuevas en secuencia con un búfer de memoria del 1% de los datos anteriores y mantuvieron su rendimiento en las tareas anteriores. En un modelo que se reentrena con el tráfico de un agente, los ejemplos aprobados de rondas anteriores ya están a mano, así que la repetición sale casi gratis.

Regularización. La consolidación elástica de pesos (elastic weight consolidation), de "Overcoming catastrophic forgetting in neural networks" de Kirkpatrick et al. (2016), añade una penalización por cambiar los pesos que más importan para las tareas anteriores, de modo que el aprendizaje se frena justo donde el olvido haría daño.

Entrenamiento eficiente en parámetros. LoRA entrena pequeños adaptadores de bajo rango y deja intactos los pesos base. Biderman et al. encontraron en "LoRA Learns Less and Forgets Less" (2024) que, en código y matemáticas, LoRA aprendía menos del dominio objetivo que el fine-tuning completo y conservaba más rendimiento del modelo base fuera de él, y que reducía el olvido más que el weight decay o el dropout.

Subespacios ortogonales. O-LoRA (Wang et al., 2023) aprende cada tarea nueva en un subespacio de bajo rango ortogonal a los anteriores y no necesita guardar datos para repetirlos. Sculpting Subspaces (Nayak et al., 2025) aplica la idea al fine-tuning completo: identifica las direcciones de pesos de las que dependen las tareas anteriores y restringe las actualizaciones a direcciones ortogonales a ellas. Red Hat llama al método Orthogonal Subspace Fine-Tuning (OSFT), y su explicación indica que en TRACE, un benchmark de ocho tareas aprendidas en secuencia, un modelo LLaMA-2-7B-Chat alcanzó un 48,4% de precisión media con OSFT frente al 23,0% con fine-tuning estándar, con el mismo modelo y los mismos datos.

Capacidad añadida. Algunos métodos dan al conocimiento nuevo parámetros nuevos donde vivir. El sleep framework de Google Research añade expertos de bajo rango a un modelo de mezcla de expertos durante una fase fuera de línea y consolida ahí la información nueva, dejando en su sitio los parámetros antiguos. Son los métodos más recientes de los cinco y, a octubre de 2026, siguen sobre todo en fase de investigación.

Los ajustes de entrenamiento conservadores ayudan junto a los cinco: una tasa de aprendizaje más baja y menos épocas hacen más pequeña cada actualización.

¿LoRA evita el olvido catastrófico?

LoRA reduce el olvido catastrófico y deja una parte. Biderman et al. encontraron que conservaba más rendimiento del modelo base fuera del dominio objetivo que el fine-tuning completo, a cambio de aprender menos de ese dominio. La explicación de Red Hat lo dice desde el otro lado: LoRA cambia menos del modelo y no tiene ningún mecanismo que proteja una capacidad concreta. A lo largo de varias rondas de entrenamiento, combina LoRA con repetición y mide cada versión. Nuestra entrada del glosario sobre LoRA explica cómo funcionan los adaptadores.

¿Cómo detecta el olvido catastrófico una compuerta de evaluación?

Una compuerta de evaluación puntúa cada versión nueva sobre un conjunto fijo de casos antes de que reciba tráfico, y el conjunto de regresión dentro de esa compuerta es lo que detecta el olvido. Las mitigaciones bajan la probabilidad de olvidar; la compuerta muestra si ha ocurrido.

Un conjunto de regresión para el modelo de un agente reúne cuatro tipos de caso:

• Casos que el modelo actual acierta en la tarea principal del agente.
• Arreglos anteriores. Los casos que cada ronda previa se entrenó para corregir, para que una ronda posterior no los deshaga sin que nadie lo vea.
• Comportamiento del que dependen otros sistemas. Esquemas de salida, formatos de llamadas a herramientas y rechazos.
• Casos no relacionados. Unos pocos casos fuera del área que se corrige, como también recomienda la guía de aprendizaje continuo de Arize, para detectar una regresión que el conjunto de prueba específico no vería.

La regla de la compuerta: la versión nueva tiene que alcanzar el listón de calidad en el conjunto de la tarea y quedarse dentro de un margen de ruido respecto al modelo actual en el conjunto de regresión, con ambos umbrales fijados antes de puntuarla. Si falla cualquiera de las dos pruebas, el modelo actual sigue en servicio y los casos fallidos pasan a los datos de entrenamiento de la siguiente ronda. Mantener desplegable la versión anterior es lo que hace esto seguro; nuestro artículo sobre versionado, reversión y deriva de modelos cubre la mecánica.

El margen de ruido hay que medirlo. En nuestro estudio QMSum (arXiv 2609.25028), cambiar solo la semilla de entrenamiento movió el ROUGE-1 de validación en 1,59 puntos entre dos ejecuciones, y cinco checkpoints de una misma ejecución abarcaron 1,7 puntos. Una caída menor que esa dispersión puede ser azar. Con un margen demasiado estrecho, caídas casuales bloquean versiones buenas; con uno demasiado amplio, se cuela olvido real.

¿Sigue siendo un problema el olvido catastrófico en 2026?

Sí. Harrison Chase, de LangChain, lo llama un reto central del aprendizaje continuo en la capa del modelo y un problema de investigación abierto en "Continual learning for AI agents" (5 de abril de 2026), y el artículo de Google Research sobre el sleep framework (27 de octubre de 2026) lo califica de problema fundamental. Las mitigaciones han mejorado, con OSFT y la ampliación de capacidad entre las más recientes, y ningún método hace imposible el olvido. Por eso los sistemas en producción combinan mitigación y medición.

¿Cómo gestiona el olvido el endpoint de Ertas?

El endpoint de modelo adaptativo de Ertas mantiene el modelo actual en servicio hasta que una versión nueva alcanza el listón. Sirve, a través de una sola API, un modelo especialista entrenado con el trabajo de tus agentes, y aprende de forma continua del tráfico de tus agentes: cada versión nueva se entrena en segundo plano y se puntúa con tus evaluaciones, incluidos casos de regresión que el modelo actual ya resuelve. Tú apruebas los ejemplos de entrenamiento y cada versión. Si una versión nueva se queda corta, el modelo actual sigue en servicio.

Funciona gestionado por Ertas, en tu nube o en tus instalaciones. Por ahora el endpoint solo está disponible por invitación, y estamos desarrollando una versión más ágil para un acceso más amplio.

Preguntas Frecuentes

¿Qué es el olvido catastrófico, en pocas palabras?

Un modelo aprende algo nuevo y pierde algo que ya sabía. En el fine-tuning de LLM, un modelo entrenado en una tarea nueva puede empeorar en tareas que antes resolvía bien, porque los mismos pesos guardan ambas cosas.

¿El fine-tuning empeora un modelo en otras tareas?

Puede hacerlo. Un ajuste estrecho con una tasa de aprendizaje alta y muchas épocas suele degradar capacidades fuera de la tarea objetivo. La repetición, LoRA, los ajustes conservadores y una evaluación que cubra algo más que la tarea objetivo mantienen el daño pequeño y visible.

¿Cuántos datos antiguos hay que repetir?

Una proporción pequeña puede bastar. Scialom et al. mantuvieron el rendimiento en tareas anteriores con un búfer del 1% de los datos de entrenamiento anteriores. Empieza con poco y sube la proporción si el conjunto de regresión muestra pérdidas.

¿Se puede deshacer el olvido catastrófico?

Sí, si se conservó la versión anterior. Vuelve a ella y reentrena a partir de esa versión repitiendo los ejemplos que perdió la versión olvidadiza. Guardar cada versión publicada junto con sus resultados de evaluación es lo que lo hace posible.

¿El RAG provoca olvido catastrófico?

No. La recuperación añade información al prompt y deja sin cambios los pesos del modelo, así que no se sobrescribe nada de lo aprendido. Es una de las razones por las que los datos que cambian a menudo van en la recuperación, y el entrenamiento se reserva para el comportamiento, el formato y la habilidad en la tarea.

La Versión Corta

El olvido catastrófico es el precio de actualizar pesos compartidos, y el fine-tuning secuencial lo paga ronda tras ronda. La repetición, la regularización, LoRA y los métodos de subespacios ortogonales como OSFT lo reducen. Un conjunto de regresión en la compuerta de publicación muestra si una versión nueva ha olvidado algo, y el modelo actual sigue sirviendo hasta que una versión la supera.

---

Fuentes, consultadas el 29 de octubre de 2026: IBM, "What is catastrophic forgetting?"; Red Hat Developer, "OSFT explained" (28 de julio de 2026); Google Research, "The sleep framework" (27 de octubre de 2026); LangChain, "Continual learning for AI agents" (5 de abril de 2026); Arize, "Continual learning for AI agents and LLM systems" (revisada por última vez el 16 de agosto de 2026); artículos en arXiv de Luo et al. (2308.08747), Scialom et al. (2205.12393), Kirkpatrick et al. (1612.00796), Biderman et al. (2405.09673), Wang et al. (2310.14152) y Nayak et al. (2504.07097). Nuestra investigación: el estudio QMSum.