What is 有效上下文长度?

模型实际保持高检索准确性的广告上下文窗口部分——通常显著短于广告限制，大多数当前模型在中部上下文存在 10-25% 的信息丢失。

Definition

有效上下文长度是模型在检索和推理任务上保持可用准确性的广告上下文窗口部分。虽然“1M token”或“10M token”等头条数字描述了模型在技术上接受的最大输入长度，但实际世界性能会随上下文增长而下降——通常显著下降。一个声称支持 1M token 的模型，其有效上下文（在 Needle-In-A-Haystack 测试中保持 >90% 检索准确性）可能仅为 100K-300K token。超出该范围，检索准确性下降，模型越来越无法使用长上下文中部的信息。

这种现象有时称为“中部丢失”，在几乎所有当前前沿和开源权重模型中都有充分记录。长上下文开始和结尾的信息比中部信息检索更可靠——通常根据模型和任务存在 10-25% 的准确性差距。

Why It Matters

基于广告上下文窗口选择模型而不理解有效上下文是常见的生产部署错误。基于 1M token 声称为“完整代码库分析”选择模型的团队，可能发现该模型仅真正使用前后各 50K token，中间一切实际上不可见。在设计提示结构时考虑中部丢失效应——将关键信息放在开始和结尾，而非串联——产生远比将广告上下文视为实际可用窗口更好的结果。