企业 AI 代理以可预测的原因失败:知识库很糟糕。67% 的 RAG 系统失败可追溯到数据质量问题。
五阶段管道将原始企业文档转换为结构化、检索优化、代理就绪的知识。跳过任何阶段,代理准确率都会可衡量地下降。
阶段 1:摄取
处理格式多样性。每种格式需要专门的解析器。输出:带有结构标记和源元数据的标准化中间格式。
阶段 2:清洗
OCR 纠正、去重(预计 15-30% 的文档是重复或近重复)、格式标准化、样板移除、语言检测。
阶段 3:结构化
章节检测、元数据提取、实体识别、表格提取、交叉引用解析。
阶段 4:分块
固定大小分块(60-70% 检索准确率)vs. 语义分块(80-90% 检索准确率)。使用重叠。每个块必须携带上下文。
阶段 5:导出
向量就绪嵌入(用于 RAG)和 JSONL(用于微调)。
质量验证
检索准确率测试(目标 85%+)、答案质量抽查、覆盖分析、新鲜度审计。
实施所有五个阶段的团队通常看到检索准确率从 55-65% 提高到 85-92%。

