What is Catastrophic Forgetting?

Definition

El olvido catastrófico (también llamado interferencia catastrófica) ocurre cuando una red neuronal entrenada con un conjunto de datos pierde de forma drástica su rendimiento en esos datos después de entrenarse con otro conjunto distinto. McCloskey y Cohen lo describieron por primera vez en 1989. En el contexto de los LLM, aparece cuando el fine-tuning de un modelo con datos nuevos le cuesta capacidades que ya tenía: aritmética, un idioma, seguir instrucciones, un comportamiento de seguridad o un formato de salida del que depende otro sistema.

El problema surge porque los pesos de una red neuronal se comparten entre tareas. Cuando el modelo actualiza sus pesos para aprender los patrones de los datos de ajuste, esas actualizaciones pueden sobrescribir las representaciones que codificaban el conocimiento previo. Un fine-tuning agresivo (tasas de aprendizaje altas, muchas épocas, conjuntos de datos estrechos) lo empeora, porque las actualizaciones de pesos más grandes tienen más probabilidad de alterar el conocimiento existente. El fine-tuning secuencial lo agrava, porque cada ronda parte del modelo de la ronda anterior y lo vuelve a mover. Eso convierte el olvido en el riesgo principal del aprendizaje continuo, en el que un modelo se reentrena con datos nuevos ronda tras ronda.

El olvido catastrófico es fácil de pasar por alto durante el desarrollo. Si la evaluación cubre solo la tarea objetivo, donde el rendimiento mejora durante el ajuste, la pérdida en otras áreas pasa desapercibida hasta que los usuarios se la encuentran en producción.

Why It Matters

Todo proyecto de fine-tuning equilibra la especialización con las capacidades que el modelo ya tiene. Los equipos quieren modelos que destaquen en su tarea concreta y conserven las habilidades generales, los formatos y los comportamientos de los que dependen otros sistemas. El olvido catastrófico es el principal riesgo que dificulta ese equilibrio, y crece con cada ronda de entrenamiento adicional.

El efecto puede ser grande. La explicación de OSFT de Red Hat (28 de julio de 2026) cita un modelo del artículo Sculpting Subspaces que resolvía el 29% de los problemas de matemáticas de primaria y bajó al 2% tras ajustarse en ocho tareas nuevas. Luo et al. (2023) midieron olvido en LLM de entre 1.000 y 7.000 millones de parámetros durante el ajuste continuo por instrucciones, y dentro de ese rango los modelos más grandes olvidaron más. A octubre de 2026, LangChain lo considera un problema de investigación abierto y Google Research un problema fundamental.

How It Works

El olvido catastrófico es consecuencia de la dinámica de optimización de las redes neuronales. Durante el fine-tuning, el descenso de gradiente mueve los pesos en las direcciones que minimizan la pérdida en los datos de ajuste, sin ningún término para las capacidades que el modelo tenía antes. Si los datos nuevos difieren mucho de lo que el modelo aprendió antes, esas direcciones pueden ir en contra de los pesos que sostenían el rendimiento anterior, y el modelo desaprende parte de él.

Las mitigaciones publicadas se agrupan en cinco familias. La repetición mezcla una parte de los datos de entrenamiento anteriores en cada ronda nueva; Scialom et al. (2022) mantuvieron el rendimiento en tareas anteriores con un búfer del 1% de los datos anteriores. La regularización, como la consolidación elástica de pesos (Kirkpatrick et al.), frena el aprendizaje en los pesos más importantes para las tareas anteriores. El entrenamiento eficiente en parámetros, como LoRA, entrena pequeños adaptadores sobre pesos base congelados; Biderman et al. (2024) encontraron que aprende menos del dominio objetivo y olvida menos fuera de él. Los métodos de subespacios ortogonales (O-LoRA, y OSFT del artículo Sculpting Subspaces) alejan las actualizaciones de las direcciones de pesos que usan las tareas anteriores. Los métodos de capacidad añadida, como el sleep framework de Google Research, guardan el conocimiento nuevo en parámetros añadidos. Las tasas de aprendizaje bajas y las pocas épocas ayudan junto a todos ellos.

Cada mitigación reduce el riesgo, y una compuerta de evaluación muestra si el olvido ha ocurrido. La comprobación es un conjunto de regresión con casos que el modelo actual ya resuelve, puntuado antes de cada versión.

Example Use Case

Un equipo reentrena el modelo de un agente cada pocas semanas con ejemplos corregidos de su tráfico. Una ronda arregla una categoría nueva de peticiones, y en esa categoría la versión nueva parece mejor. El conjunto de regresión cuenta otra historia: la versión nueva ha empezado a omitir un campo del JSON que procesa un sistema posterior. La compuerta retiene la versión, el modelo actual sigue en servicio y la siguiente ronda se entrena repitiendo ejemplos anteriores más los casos fallidos. Esa versión alcanza el listón en ambos conjuntos y se publica.

Key Takeaways

• El olvido catastrófico ocurre cuando el fine-tuning sobrescribe capacidades que el modelo ya tenía.
• El fine-tuning secuencial, la base del aprendizaje continuo, lo agrava ronda tras ronda.
• Una evaluación que cubre solo la tarea objetivo lo oculta.
• La repetición, la regularización, LoRA, los métodos de subespacios ortogonales y la capacidad añadida lo reducen.
• Un conjunto de regresión en la compuerta de publicación muestra si una versión nueva ha olvidado algo.