您的 RAG 管道三个月前运行完美。检索精确、答案准确,利益相关者很满意。现在相同的查询返回更差的结果,用户抱怨系统"以前更好用",而您无法确定何时开始退化。欢迎来到 embedding 漂移的世界。
本文解释了 embedding 如何以及为什么变得过时的机制,如何在用户注意到之前检测漂移,以及如何在不从头重建整个管道的情况下进行补救。
什么是 embedding 漂移
embedding 漂移是存储在向量数据库中的语义表示与它们所代表的内容的实际含义之间的逐渐偏离。它以两种不同的方式表现:
内容漂移: 源文档已更改,但向量存储中的 embedding 仍然反映旧版本。一份政策文档上个月被更新了,但向量存储包含的是原始版本的 embedding。关于新政策的查询检索到旧内容。
模型漂移: 您用于索引的 embedding 模型已被更新、弃用或替换。如果您即使只用较新的模型版本重新 embed 文档的一个子集,那些新的 embedding 也存在于与原始 embedding 不同的向量空间中。旧 embedding 和新 embedding 之间的相似度分数毫无意义——您在比较来自两张不同地图的坐标。
两种类型的漂移都是不可见的。您的管道继续运行。向量数据库继续返回结果。相似度分数看起来正常。但结果是错误的。
内容漂移在实践中如何发生
内容漂移不需要剧烈的变化。这些日常场景就会引入它:
文档更新而未重新索引。 有人更新了定价页面、替换了政策 PDF 或编辑了知识库文章。新版本存在于源系统中,但没有人触发重新索引。向量存储无限期地提供旧的 embedding。
部分语料库更新。 重新索引作业运行了但中途失败。一些文档获得了新的 embedding,其他的保留了过时的。没有 错误——作业只是在超时之前处理了 60% 的语料库。
源文档中的模式更改。 CRM 更改了其导出格式。字段名称变了,列顺序变了,或者添加了新字段。摄取管道没有崩溃——它只是以不同的方式解析新格式,产生与原始结构不同的块。
已删除的文档作为向量持续存在。 一个文档从源系统中被删除,但其 embedding 仍保留在向量存储中。RAG 管道从一个不再存在的文档中检索信息——而用户无法验证这一点。
模型漂移如何发生
模型漂移更罕见但更危险,因为它会破坏整个向量空间:
embedding 提供商更新。 OpenAI、Cohere 和其他 embedding API 提供商会更新他们的模型。如果您用 text-embedding-ada-002 索引了您的语料库,而后来的查询使用 text-embedding-3-small,则相似度分数是在比较来自不兼容空间的向量。一些提供商保持向后兼容;许多不保持。
自托管模型版本更改。 您升级了本地 embedding 模型(新的 sentence-transformers 版本、修补的模型检查点),并开始用新模型查询而未重新索引现有语料库。
维度不匹配。 模型更新更改了 embedding 维度(例如,从 1536 到 3072)。这通常会导致明显的错误。但如果您配置了降维,且降低后的维度恰好匹配,管道会无错误运行,同时产生无意义的相似度分数。
检测检查表
使用这些技术在用户报告质量下降之前检测 embedding 漂移。
1. 检索质量回归测试
维护一组 50-100 个已知的查询-文档对("黄金集"),您知道每个查询的正确文档。每周运行此测试套件。跟踪 top-1、top-3 和 top-5 的命中率。命中率下降是漂移最明确的信号。
2. 新鲜度审计
在每个块的元数据中存储 last_indexed_at 时间戳。运行每周查询:"多大比例的块在超过 30 天前最后一次索引?"如果该数字超过 20%,您就有内容漂移。
3. 源哈希比较
索引时,将源文档内容的哈希与块元数据一起存储。定期将存储的哈希与当前源文档进行比较。任何不匹配都意味着 embedding 已过时。
4. embedding 模型版本跟踪
在每个块中记录 embedding 模型标识符和版本。如果您的向量存储包含来自多个模型版本的块,您就有模型漂移。这应该是一个严重警报,而不是一个警告。
5. 相似度分数分布监控
随时间跟踪检索查询返回的相似度分数分布。分布的变化(分数聚集在较低处,或分散度扩大)可能表明 embedding 和查询正在偏离。
6. 用户反馈关联
如果您收集了答案的赞/踩反馈 ,请将负面反馈与检索块的年龄相关联。如果用户持续拒绝来自较旧块的答案,这些块可能已经过时。
重新索引策略比较
当检测到漂移时,如何重新索引很重要。每种策略都有不同的权衡:
| 策略 | 何时使用 | 优点 | 缺点 |
|---|---|---|---|
| 完整重新索引 | 模型版本更改、初始设置、季度维护 | 保证一致性;消除所有漂移;最容易理解 | 昂贵(计算 + API 成本);停机时间或双索引复杂性;大型语料库可能需要数小时 |
| 增量重新索引 | 文档更新、每日/每周维护 | 仅重新 embed 更改的文档;快速;低成本 | 需要变更检测逻辑;不能捕获模型漂移;可能随时间累积错误 |
| 滚动重新索引 | 持续新鲜度要求、大型语料库 | 每天重新索引语料库的固定百分比(例如 5%);每 20 天刷新完整语料库 | 更高的基线计算成本;在任何给定时间块处于不同的新鲜度水平 |
| 触发式重新索引 | 事件驱动的更新(CMS webhook、文件监视器) | 源更改时立即重新索引;最低的新鲜度延迟 | 需要与源系统集成;高变更日的突发计算;不能捕获静默漂移 |
| 影子重新索引 | 零停机的生产系统 | 在旧索引旁边构建新索引;完成后原子交换;没有查询命中部分重新索引的状态 | 需要 2 倍存储;更复杂的基础设施;交换逻辑需要测试 |

