What is Longitud de Contexto Efectiva?

La porción de la ventana de contexto anunciada de un modelo sobre la cual realmente retiene alta precisión de recuperación — típicamente sustancialmente más corta que el límite anunciado, con pérdida de información en el medio del contexto del 10-25% en la mayoría de modelos actuales.

Definition

La longitud de contexto efectiva es la porción de la ventana de contexto anunciada de un modelo sobre la cual mantiene precisión utilizable en tareas de recuperación y razonamiento. Mientras que números de cabecera como '1M tokens' o '10M tokens' describen la longitud máxima de entrada que el modelo técnicamente acepta, el rendimiento del mundo real se degrada a medida que el contexto crece — a menudo dramáticamente. Un modelo anunciado como soportando 1M de tokens puede tener un contexto efectivo (definido como >90% de precisión de recuperación en pruebas Needle-In-A-Haystack) de solo 100K-300K tokens.

El fenómeno, a veces llamado 'perdido en el medio', está bien documentado en casi todos los modelos frontera y open-weight actuales. La información al inicio y al final de contextos largos se recupera de forma más confiable que la información del medio — típicamente con una brecha de precisión de 10-25%.

Why It Matters

Elegir un modelo basándose en su ventana de contexto anunciada sin entender el contexto efectivo es un error común de despliegue de producción. Un equipo que selecciona un modelo para 'análisis de base de código completa' basándose en una afirmación de 1M tokens puede encontrar que el modelo realmente solo usa los primeros y últimos 50K tokens, con todo en el medio efectivamente invisible.

Key Takeaways

El contexto efectivo es típicamente sustancialmente más corto que el contexto máximo anunciado
La pérdida de información en medio del contexto corre del 10-25% en la mayoría de modelos actuales
Modelos con atención dispersa aprendida (p.ej. DSA de DeepSeek) generalmente retienen mejor el contexto efectivo
Coloca información crítica al inicio y al final de prompts largos; el medio es propenso a pérdida
Siempre mide el contexto efectivo para tu caso de uso específico antes de asumir el número anunciado

How Ertas Helps

Al ajustar modelos para casos de uso de contexto largo en Ertas Studio, incluir ejemplos de entrenamiento que ejerciten la recuperación en medio del contexto puede mitigar (aunque no eliminar) el efecto perdido-en-el-medio. Para despliegues de producción donde se requiere razonamiento genuino de contexto largo, ajustar con tus patrones de documento específicos mejora sustancialmente el contexto efectivo del mundo real comparado con el modelo base.