El problema de la longitud de contexto efectiva: por qué 1M de tokens no es realmente 1M de tokens

En 2026, varios grandes modelos de pesos abiertos anuncian ventanas de contexto de un millón de tokens o más. Llama 4 Scout afirma 10 millones. DeepSeek V4, MiMo V2.5 Pro, Llama 4 Maverick y varias variantes de Qwen anuncian todas soporte de 1M de tokens. Comercializadas frente a casos de uso como el razonamiento sobre bases de código completas, el análisis de documentos largos y la síntesis multi-documento, estas cifras suenan transformadoras.

La realidad es más matizada. La longitud de contexto anunciada no es lo mismo que la longitud de contexto efectiva, y la brecha entre ambas es sustancial en cada modelo actual. Los equipos que construyen despliegues en producción basándose en las cifras anunciadas sin entender el contexto efectivo suelen encontrar que su caso de uso "funciona" en términos técnicos estrictos, pero produce resultados notablemente peores de lo esperado.

Este artículo cubre qué significa realmente el contexto efectivo, la evidencia investigativa sobre el fenómeno de "lost in the middle" que impulsa la brecha, y guía práctica para diseñar en torno a la limitación en despliegues en producción.

Qué significa "contexto efectivo"

La longitud de contexto efectiva es la porción de la ventana de contexto anunciada de un modelo a lo largo de la cual el modelo retiene una precisión utilizable de recuperación en tareas de contexto largo. La metodología estándar para medirla es el benchmark Needle-In-A-Haystack (NIAH): inserta una pieza específica de información en una posición conocida dentro de un contexto largo, y luego pide al modelo que la recupere. Variando la posición de la información insertada en distintos puntos del contexto, puedes medir la precisión de recuperación como función de la posición.

Los resultados en casi todos los modelos actuales siguen un patrón consistente:

• La información al inicio del contexto se recupera con casi un 100% de precisión
• La información al final del contexto se recupera con casi un 100% de precisión
• La información en medio del contexto se recupera con una precisión sustancialmente degradada, típicamente entre 10 y 25 puntos porcentuales por debajo de la línea base de inicio/fin

Este patrón a veces se llama "lost in the middle" y está bien documentado en distintas familias de modelos. No es una rareza de implementaciones específicas: parece ser una característica fundamental de las arquitecturas basadas en atención entrenadas con distribuciones de datos estándar.

La implicación práctica: un modelo anunciado como con soporte para 1M de tokens puede tener un contexto efectivo de 100K-300K tokens (el rango sobre el que mantiene más del 90% de precisión de recuperación en todas las posiciones). Más allá de ese rango, la pérdida de información en posiciones medias se vuelve lo bastante sustancial como para que los casos de uso en producción que requieren un razonamiento genuino de contexto largo produzcan resultados peores de lo que sugiere la longitud de contexto anunciada.

Por qué ocurre esto

El patrón "lost in the middle" tiene varios factores contribuyentes:

Distribución de los datos de entrenamiento. La mayoría de los datos de preentrenamiento tienen una estructura natural en la que la información crítica aparece cerca del inicio (introducciones, encabezados, resúmenes) o cerca del final (conclusiones, items de acción). El modelo aprende a atender más agresivamente a las posiciones de inicio y fin durante el entrenamiento, y este patrón de atención persiste incluso cuando se aplica a contextos largos estructurados artificialmente donde la información crítica está en medio.

Limitaciones del codificado de posición. RoPE (Rotary Position Embedding) y codificados de posición similares se degradan en calidad a medida que la longitud del contexto crece, particularmente para posiciones cercanas a la longitud máxima entrenada. Esto afecta a todas las posiciones, pero tiende a manifestarse más dramáticamente en medio del contexto, donde la desambiguación posicional importa más.

Limitaciones de rango efectivo. Las matrices de atención en las capas profundas del transformer exhiben un rango efectivo limitado: la "memoria de trabajo" del modelo para relaciones entre tokens está acotada de formas que no escalan con la longitud bruta del contexto. A medida que el contexto crece, el modelo se apoya cada vez más en patrones heurísticos (proximidad, indicios estructurales) en lugar de cobertura completa de atención, y la información en medio del contexto sin anclajes estructurales fuertes se pierde.

Composición de la cuantización. La mayoría de los despliegues en producción usan cuantización de 4 bits (Q4_K_M). El error de cuantización se compone en las capas profundas de atención, y la composición tiende a degradar más la recuperación en medio del contexto que la recuperación en el inicio/fin. Un modelo que rinde razonablemente en NIAH de contexto largo a FP16 puede rendir sustancialmente peor a Q4_K_M, y este efecto rara vez se comunica en los informes de benchmark.

Mejoras arquitectónicas: DeepSeek Sparse Attention y compañía

Varios modelos de la era 2026 incorporan innovaciones arquitectónicas que mejoran significativamente la longitud de contexto efectiva sin cambiar el límite anunciado. El ejemplo más prominente es DeepSeek Sparse Attention (DSA), introducido en DeepSeek V3.2 y continuado en V4.

DSA es un mecanismo de atención dispersa aprendido: en lugar de que cada token de consulta atienda a todos los tokens clave (el patrón estándar), el modelo aprende qué tokens clave son relevantes para cada consulta y enruta la atención solo a ese subconjunto. Esto produce dos efectos: reduce sustancialmente el coste de cómputo de la atención de contexto largo y mejora la retención de contexto efectivo porque el modelo no intenta mantener cobertura de atención sobre todo el contexto simultáneamente.

El contexto efectivo de DeepSeek V4 con 1M de tokens anunciados es notablemente mejor que el de modelos extendidos ingenuamente con RoPE a la misma longitud anunciada. No tenemos mediciones públicas de NIAH en el límite exacto de 1M en las que confiemos como definitivas, pero el patrón cualitativo en despliegues reales en producción coincide con la predicción arquitectónica: V4 retiene una calidad útil de recuperación más adentro de su contexto anunciado que las alternativas.

Otras innovaciones arquitectónicas están emergiendo en este espacio: híbridos Mamba-Transformer (Falcon H1R), mecanismos de ventana deslizante con sumideros globales de atención (varios modelos), métodos de interpolación de posición que extienden las longitudes de contexto entrenadas de forma más limpia. Ninguno cierra del todo la brecha entre el contexto anunciado y el efectivo, pero cada uno la reduce.

Para el despliegue en producción, esto significa que la comparación correcta no es solo "qué modelo tiene el contexto anunciado más largo", sino "qué modelo tiene el contexto efectivo más largo para mi caso de uso específico". El 1M con DSA de DeepSeek V4 frecuentemente supera a los 10M de Llama 4 Scout sin innovaciones arquitectónicas similares en tareas reales de recuperación de contexto largo.

Cómo medirlo para tu caso de uso

La evaluación más útil es medir el contexto efectivo para tu carga de trabajo específica en lugar de depender de benchmarks NIAH sintéticos. La metodología básica:

Paso 1: Construye entradas representativas de contexto largo. Usa ejemplos reales de tu carga de trabajo en producción: documentos reales, bases de código, transcripciones o lo que sea que involucre tu caso de uso. No uses entradas sintéticas diseñadas para estresar al modelo de formas artificiales.

Paso 2: Identifica objetivos de recuperación a lo largo de rangos de posición. Para cada entrada de contexto largo, identifica un conjunto de afirmaciones factuales o detalles específicos que el modelo necesitaría recuperar para manejar correctamente la entrada. Registra la posición (en tokens) donde aparece cada hecho dentro del contexto.

Paso 3: Ejecuta el modelo y mide la precisión de recuperación por posición. Para cada objetivo de recuperación, ejecuta el modelo sobre el contexto completo y haz una pregunta que requiera recuperar ese objetivo. Puntúa la respuesta según si recuperó correctamente el objetivo. Registra la precisión como función de la posición del objetivo en el contexto.

Paso 4: Encuentra el punto de quiebre. La "longitud de contexto efectiva" para tu caso de uso es aproximadamente la posición más larga donde la precisión de recuperación se mantiene por encima de un umbral que consideres aceptable (típicamente 90% o 95%). Más allá de esta posición, la degradación del modelo producirá problemas notables de calidad en producción.

Esta metodología es más tediosa que leer cifras anunciadas, pero es la única forma fiable de saber cómo rendirá realmente un modelo en tu carga de trabajo real. Los modelos pueden variar sustancialmente en contexto efectivo entre distintos tipos de contenido: un modelo con un fuerte contexto efectivo en documentos en lenguaje natural puede rendir mal en código o viceversa.

Diseñar en torno a la brecha

Una vez que entiendas el contexto efectivo para tu carga de trabajo, varios patrones de diseño ayudan a mantener la calidad incluso cuando tus entradas la exceden:

Coloca la información crítica al inicio y al final de los prompts largos. Este es el patrón más importante y más fácil de aplicar. Si estás ejecutando una consulta RAG de contexto largo, pon los fragmentos recuperados más relevantes al inicio y al final del contexto, con información menos crítica (o resúmenes) en medio. La atención más fuerte del modelo a las posiciones de inicio y fin amplifica la importancia de la información crítica colocada allí.

Resume en lugar de concatenar. En lugar de meter documentos largos enteros en el contexto, genera resúmenes de las secciones menos críticas e incluye solo los resúmenes en el prompt de contexto largo. Esto reduce la longitud total del contexto, mitigando el efecto "lost in the middle", al tiempo que preserva la densidad de información necesaria para que el modelo maneje la consulta.

Usa recuperación jerárquica. En lugar de poner todo el contenido recuperado en un solo prompt de contexto largo, usa un patrón de recuperación jerárquica: primero identifica las secciones más relevantes a un nivel grueso, luego recupera contenido detallado solo de esas secciones, y pon el contenido detallado enfocado en la ventana de contexto efectiva del modelo.

Particiona las tareas de horizonte largo entre ejecuciones de agente. Para flujos de trabajo que genuinamente requieren razonamiento sobre más información de la que cabe en el contexto efectivo, usa un patrón multi-agente o multi-llamada donde cada llamada individual opere dentro de los límites del contexto efectivo y un patrón coordinador agregue los resultados. El Agent Swarm de Kimi K2.6 es un ejemplo particularmente agresivo de este patrón, pero la idea general aplica de forma amplia.

Haz fine-tuning para tus patrones de contexto largo. Si el rendimiento en contexto largo importa para tu caso de uso en producción, incluir ejemplos de contexto largo en tus datos de entrenamiento de fine-tuning mejora medibemente el contexto efectivo del mundo real. Esta es un área donde el fine-tuning específico de dominio puede superar sustancialmente la capacidad del modelo base: el modelo aprende los patrones específicos de tu carga de trabajo, incluyendo cómo se estructura la información crítica en tus documentos reales.

Recomendación práctica

Para la mayoría de los despliegues en producción donde el contexto largo importa, nuestra recomendación es:

1. Trata la longitud de contexto anunciada como un límite superior, no como el rango operativo. Un modelo de 1M de tokens es genuinamente útil para casos de uso que necesitan entre 200K y 500K tokens de contexto efectivo. Rara vez es apropiado para casos de uso que genuinamente necesitan 1M de tokens de contexto efectivo.

2. Prioriza las innovaciones arquitectónicas sobre los máximos anunciados. Un modelo con DSA o innovaciones similares de preservación de contexto efectivo a 1M generalmente superará a un modelo de arquitectura ingenua a 10M para cargas reales de producción.

3. Mide el contexto efectivo para tu carga antes de comprometerte. La metodología anterior es tediosa, pero retorna sustancialmente en calidad de despliegue y predictibilidad operativa.

4. Diseña los prompts para el patrón "lost in the middle". Información crítica al inicio y al final, resúmenes en medio, recuperación jerárquica donde sea apropiado. Estos patrones son esencialmente mejoras de calidad gratuitas frente a la concatenación ingenua.

5. Haz fine-tuning para tus patrones de contexto largo. Ertas Studio soporta flujos de trabajo de fine-tuning de contexto largo, incluyendo los patrones de contenido estructurado comunes en aplicaciones legales, financieras y de ingeniería. La mejora en contexto efectivo para tu carga específica típicamente excede lo que obtendrías cambiando a un modelo con mayor contexto anunciado sin fine-tuning.

Las cifras de longitud de contexto anunciada son útiles para entender el nivel aproximado de capacidad de un modelo, pero no son la especificación operativa en torno a la que debas diseñar. El contexto efectivo —medido para tu carga, en tu nivel de cuantización, con tu estructura de prompt— es lo que determina la calidad real en producción. Diseña para eso, y el problema "lost in the middle" se vuelve manejable en lugar de misterioso.