What is Catastrophic Forgetting?

Definition

El olvido catastrófico (también llamado interferencia catastrófica) ocurre cuando una red neuronal entrenada en un conjunto de datos pierde drásticamente su rendimiento en esos datos después de ser entrenada en un conjunto diferente. En el contexto de LLM, esto se manifiesta cuando el fine-tuning de un modelo preentrenado con datos específicos del dominio causa que el modelo pierda capacidades generales — gramática, razonamiento, conocimiento del mundo, seguimiento de instrucciones — que fueron codificadas durante el preentrenamiento.

El problema surge porque los pesos de la red neuronal se comparten entre tareas. Cuando el modelo actualiza sus pesos para aprender patrones en los datos de fine-tuning, esas actualizaciones pueden sobrescribir las representaciones que codificaban el conocimiento previo. El fine-tuning agresivo (tasas de aprendizaje altas, muchas épocas, datasets pequeños) empeora esto porque las actualizaciones de pesos más grandes tienen más probabilidad de interrumpir el conocimiento existente. El resultado es un modelo que funciona bien en el dominio de fine-tuning pero produce salidas incoherentes o incorrectas en tareas generales.

El olvido catastrófico es particularmente insidioso porque a menudo no se detecta durante el desarrollo. Si la evaluación se enfoca solo en la tarea objetivo (donde el rendimiento mejora durante el fine-tuning), la degradación de capacidades generales pasa desapercibida hasta que los usuarios la encuentran en producción. Un modelo de soporte al cliente que domina la clasificación de tickets pero ya no puede formar oraciones gramaticalmente correctas ha experimentado olvido catastrófico — las ganancias específicas del dominio vinieron a costa de habilidades fundamentales del lenguaje.

Why It Matters

Cada proyecto de fine-tuning debe equilibrar especialización contra generalización. Los equipos quieren modelos que sobresalgan en su tarea específica sin perder las amplias capacidades que hacen valiosos a los LLM. El olvido catastrófico es el riesgo principal que dificulta este equilibrio. Un modelo que olvida cómo razonar, seguir instrucciones o generar texto coherente es inútil sin importar qué tan bien aprendió el dominio objetivo.

Prevenir el olvido catastrófico es la razón por la que los métodos de fine-tuning eficientes en parámetros como LoRA se han vuelto dominantes. Al modificar solo una pequeña fracción de los parámetros del modelo (mediante adapters de bajo rango), LoRA preserva la mayoría de las representaciones preentrenadas mientras agrega conocimiento específico del dominio. Esto reduce drásticamente el olvido comparado con el fine-tuning completo, haciendo posible crear modelos especializados que retienen las capacidades generales.

How It Works

El olvido catastrófico resulta de la dinámica de optimización de las redes neuronales. Durante el fine-tuning, el descenso por gradiente mueve los pesos en direcciones que minimizan la pérdida en los datos de fine-tuning. Si la distribución de datos de fine-tuning difiere sustancialmente de los datos de preentrenamiento, estas direcciones de gradiente pueden ser ortogonales u opuestas a las direcciones que mantienen el rendimiento del preentrenamiento. El modelo esencialmente desaprende el conocimiento preentrenado para acomodar nuevos patrones.

Las estrategias de mitigación incluyen: tasas de aprendizaje bajas (actualizaciones de pesos más pequeñas son menos disruptivas), fine-tuning eficiente en parámetros (modificar menos parámetros preserva más conocimiento preentrenado), regularización (penalizar grandes desviaciones de los pesos preentrenados), mezcla de datos (incluir muestras de la distribución de preentrenamiento en los datos de fine-tuning), duración de entrenamiento corta (limitar el número de épocas reduce la magnitud total de los cambios de pesos) y consolidación elástica de pesos (penalizar cambios en pesos que son importantes para tareas previamente aprendidas).

Example Use Case

Un equipo ajusta un modelo de 7B con 500 ejemplos médicos de preguntas y respuestas usando una tasa de aprendizaje alta (5e-4) y 10 épocas. El modelo logra un 92% de precisión en preguntas médicas pero ya no puede mantener conversaciones coherentes de múltiples turnos, produce errores gramaticales y falla en tareas básicas de razonamiento que manejaba antes del fine-tuning. Reinician con LoRA (rango 16), tasa de aprendizaje 2e-5 y 3 épocas — el modelo logra un 88% de precisión médica mientras retiene todas las capacidades generales, demostrando la importancia de prevenir el olvido catastrófico.

Key Takeaways

• El olvido catastrófico ocurre cuando el fine-tuning sobrescribe el conocimiento preentrenado con patrones específicos del dominio.
• Es causado por actualizaciones de pesos que interrumpen las representaciones aprendidas durante el preentrenamiento.
• El problema suele ser invisible si la evaluación se enfoca solo en la tarea objetivo.
• LoRA y otros métodos eficientes en parámetros reducen drásticamente el olvido al modificar menos pesos.
• Tasas de aprendizaje bajas, entrenamiento corto y mezcla de datos son estrategias adicionales de mitigación.