What is Checkpoint?

Definition

Un checkpoint es una instantánea serializada del estado completo de un modelo en un punto particular durante el entrenamiento. Esto incluye los pesos del modelo, los estados del optimizador (buffers de momento y varianza para Adam), el estado del programador de tasa de aprendizaje, el paso y número de época actuales, y el estado del generador de números aleatorios. Guardar checkpoints a intervalos regulares sirve para múltiples propósitos: recuperación ante fallos (reanudar el entrenamiento después de una falla de hardware), selección de modelo (elegir la versión con mejor rendimiento basándose en métricas de validación) y gestión de experimentos (comparar modelos de diferentes etapas del entrenamiento).

En el fine-tuning de LLM, los checkpoints típicamente se guardan al final de cada época y opcionalmente a intervalos fijos de pasos. Cada checkpoint representa un modelo completo que puede cargarse para inferencia o entrenamiento adicional. Debido a que los checkpoints capturan el estado completo del optimizador, permiten la reanudación exacta del entrenamiento — el entrenamiento continuado produce resultados idénticos al entrenamiento ininterrumpido.

La gestión de checkpoints se convierte en una preocupación operativa significativa a escala. Un solo checkpoint para un modelo de 7B puede ser de 14-28 GB dependiendo de la precisión, y con los estados del optimizador incluidos, el total sube a 56-112 GB. Las ejecuciones de entrenamiento que guardan checkpoints cada 500 pasos pueden acumular terabytes de datos de checkpoint. Los equipos deben implementar políticas de retención — por ejemplo, mantener solo los 3 mejores checkpoints por pérdida de validación y el checkpoint más reciente para recuperación ante fallos.

Why It Matters

Sin checkpoints, cualquier interrupción en el entrenamiento — falla de hardware, desalojo en cómputo compartido, terminación accidental del proceso — significa reiniciar desde cero. Para trabajos de fine-tuning de LLM que se ejecutan durante horas o días, esto representa un desperdicio sustancial de cómputo y tiempo. Los checkpoints convierten el entrenamiento de una operación de todo o nada en un proceso recuperable e incremental.

Más allá de la recuperación, la selección de modelos basada en checkpoints es una técnica de calidad crítica. Los modelos a menudo logran su mejor rendimiento de validación a mitad del entrenamiento antes de sobreajustarse a los datos de entrenamiento. Al guardar checkpoints a intervalos regulares y evaluar cada uno en un conjunto de validación, los equipos pueden seleccionar el checkpoint que mejor generaliza en lugar de quedarse con el estado final del entrenamiento.

How It Works

El guardado de checkpoints está integrado en el bucle de entrenamiento. A intervalos configurados — cada N pasos, cada época, o activado por mejoras en métricas de validación — el entrenador serializa el estado del modelo a disco. Los frameworks de entrenamiento modernos como Hugging Face Transformers, PyTorch Lightning y Axolotl soportan gestión automática de checkpoints con estrategias configurables.

La carga de checkpoints invierte el proceso: el estado serializado se deserializa y se carga en los objetos del modelo y optimizador. Para uso solo de inferencia, solo necesitan cargarse los pesos del modelo — los estados del optimizador pueden descartarse, reduciendo la huella de memoria. Algunos frameworks soportan fragmentación de checkpoints, donde los checkpoints grandes se dividen en múltiples archivos para E/S en paralelo, reduciendo los tiempos de guardado y carga para modelos muy grandes.

Example Use Case

Un equipo que ajusta un modelo de 13B ejecuta el entrenamiento durante 5 épocas con guardado de checkpoint en cada época. La pérdida de validación mejora hasta la época 3 pero se degrada en las épocas 4 y 5 debido al sobreajuste. Seleccionan el checkpoint de la época 3 como su modelo de producción, logrando un 8% mejor rendimiento que el modelo de la época 5. Sin checkpoints, habrían desplegado el modelo sobreajustado de la época 5 o se habrían visto obligados a re-ejecutar el entrenamiento con configuraciones diferentes.

Key Takeaways

• Los checkpoints son instantáneas serializadas de los pesos del modelo y el estado de entrenamiento.
• Permiten la recuperación ante fallos, la selección de modelos y el seguimiento de experimentos.
• La selección de modelos basada en checkpoints a menudo produce mejores resultados que usar el estado final del entrenamiento.
• La gestión de almacenamiento es importante — un solo checkpoint puede ser de decenas de gigabytes.
• Los frameworks de entrenamiento modernos automatizan el guardado, carga y políticas de retención de checkpoints.