What is Gradient Accumulation?

Definition

Gradient accumulation es una técnica de optimización de memoria que permite entrenar con tamaños de lote efectivamente grandes en hardware que no puede cargar un lote grande en la memoria GPU de una sola vez. En lugar de calcular un gradiente sobre un lote grande y actualizar los pesos, la técnica divide el lote grande en micro-lotes más pequeños, calcula los gradientes para cada micro-lote secuencialmente, acumula (suma) los gradientes y realiza una sola actualización de pesos usando el gradiente acumulado. Matemáticamente, esto produce resultados idénticos a entrenar con el lote grande completo.

Por ejemplo, si el tamaño de lote efectivo deseado es 32 pero la memoria GPU solo soporta un tamaño de micro-lote de 4, los pasos de gradient accumulation se establecen en 8. El modelo realiza 8 pases forward-backward con 4 ejemplos cada uno, acumula los gradientes y luego actualiza los pesos — produciendo el mismo gradiente que si los 32 ejemplos se hubieran procesado simultáneamente.

Gradient accumulation es una de las técnicas prácticas más importantes para el fine-tuning de LLM porque desacopla el tamaño de lote de las restricciones de memoria. El tamaño de lote óptimo para la calidad del entrenamiento suele ser mucho mayor de lo que cabe en la memoria GPU, y gradient accumulation cierra esta brecha sin requerir hardware adicional. Combinada con otras optimizaciones de memoria como el gradient checkpointing (recalcular en lugar de almacenar activaciones intermedias), permite ajustar modelos grandes en hardware modesto.

Why It Matters

El tamaño de lote afecta significativamente la dinámica del entrenamiento y la calidad del modelo. Tamaños de lote más grandes proporcionan estimaciones de gradientes más estables, conduciendo a una optimización más suave y a menudo a un mejor rendimiento final del modelo. Sin embargo, la memoria GPU limita el número de ejemplos que se pueden procesar simultáneamente. Sin gradient accumulation, los equipos se verían forzados a entrenar con cualquier tamaño de lote que quepa en memoria — a menudo solo 1-2 ejemplos — resultando en gradientes ruidosos y resultados de entrenamiento deficientes.

Gradient accumulation también es esencial para la reproducibilidad. Permite a equipos con diferentes configuraciones de hardware entrenar con tamaños de lote efectivos idénticos, asegurando que los resultados sean comparables independientemente de si el entrenamiento ocurre en una sola GPU de consumo o en un servidor multi-GPU.

How It Works

Durante el entrenamiento estándar, cada paso consiste en: (1) pase forward para calcular predicciones, (2) cálculo de pérdida, (3) pase backward para calcular gradientes, (4) paso del optimizador para actualizar pesos, (5) puesta a cero de gradientes. Con gradient accumulation, los pasos 1-3 se repiten N veces (el conteo de acumulación), los gradientes se suman a lo largo de las iteraciones, y luego los pasos 4-5 se realizan una vez. Los gradientes típicamente se dividen por N para normalizar el número de pasos de acumulación, igualando el comportamiento de un gradiente de lote grande real.

El compromiso es la velocidad de entrenamiento — gradient accumulation procesa micro-lotes secuencialmente, por lo que es N veces más lento que el entrenamiento de lote grande real en tiempo de reloj. Sin embargo, esto suele ser aceptable porque la alternativa (quedarse sin memoria) es peor, y el costo computacional por paso es el mismo. El único costo adicional de memoria es almacenar el búfer de gradientes acumulados, que es insignificante comparado con los ahorros por el tamaño de lote reducido.

Example Use Case

Un investigador que ajusta un modelo de 13B en una sola RTX 3090 (24 GB de VRAM) descubre que solo cabe un micro-lote de 1 en memoria con secuencias de 2048 tokens. Entrenar con tamaño de lote 1 produce curvas de pérdida muy inestables. Al establecer los pasos de gradient accumulation en 16, simula un tamaño de lote de 16, logrando una dinámica de entrenamiento estable y un modelo bien convergido — el entrenamiento solo toma 16 veces más por paso efectivo, lo cual compensa entrenando durante la noche.

Key Takeaways

• Gradient accumulation simula tamaños de lote grandes sumando gradientes a lo largo de múltiples micro-lotes.
• Produce resultados matemáticamente idénticos al entrenamiento con lotes grandes reales.
• Desacopla el tamaño de lote efectivo de las restricciones de memoria GPU.
• El compromiso es una ralentización lineal en el tiempo de entrenamiento.
• Es esencial para ajustar modelos grandes en hardware de GPU de consumo o gama media.