知识库智能体AIRAG本地部署企业AI数据准备
为AI代理构建企业知识库
如何解析、清洗、分块、嵌入和索引企业文档,构建AI代理可检索的RAG知识库,全部在本地完成。
Edward Xi Yang
AI代理的好坏取决于背后的知识库。在企业代理部署中,检索质量是代理输出质量的最强预测因子。良好构建的知识库配7B模型始终优于混乱的知识库配70B模型。
本指南介绍从企业文档构建代理知识库的完整管道,全部在本地完成。
管道概览
原始企业文档
↓
步骤1:文档摄入(解析)
↓
步骤2:文本清洗
↓
步骤3:带元数据的分块
↓
步骤4:嵌入(本地模型)
↓
步骤5:向量存储索引
↓
步骤6:检索测试和验证
↓
代理RAG查询
步骤3:带元 数据的分块
为什么字符计数分块失败
字符计数分块没有文档结构意识。它在不该分割的地方分割。
语义分块
在自然主题边界处分割:节标题、段落边界、表格边界、列表边界。
| 参数 | 推荐范围 |
|---|---|
| 目标分块大小 | 300-800令牌 |
| 最大分块大小 | 1,200令牌 |
| 重叠 | 50-100令牌 |
步骤4:嵌入
| 模型 | 维度 | 质量(MTEB) | 大小 |
|---|---|---|---|
| all-MiniLM-L6-v2 | 384 | 良好 | 80MB |
| E5-large-v2 | 1,024 | 很好 | 1.3GB |
| BGE-large-en-v1.5 | 1,024 | 很好 | 1.3GB |
步骤5:向量存储
对于大多数企业部署(10K-500K文档),Qdrant是推荐选择。
步骤6:检索测试
质量指标(Hits@10): 测试查询中正确答案包含在前10个检索块中的百分比。目标:85%以上。
审计要求
知识库中的每个文档都必须可追溯到其来源。审计链:源文档 → 解析文本 → 清洗文本 → 块 → 嵌入 → 检索事件。
Turn unstructured data into AI-ready datasets — without it leaving the building.
On-premise data preparation with full audit trail. No data egress. No fragmented toolchains. EU AI Act Article 30 compliance built in.
Keep reading
本地部署的智能体AI:无需云依赖的企业部署
智能体AI系统执行操作而不仅是生成文本——大多数假设云部署。本指南涵盖为什么本地智能体对数据主权、合规和延迟至关重要,以及在本地部署它们的架构和工具。
Edward Xi Yang
建筑AI:将700GB非结构化项目文件转化为领域特定模型
建筑公司坐拥PDF、图纸、BOQ和检查报告的海量档案。以下是如何将这些档案转化为AI训练数据集——在本地,不将文件发送到云API。
Edward Xi Yang
80%的企业数据是非结构化的:接下来怎么做
大约80%的企业数据是非结构化的,20%是结构化的。这80%里有什么、为什么AI项目会卡在这一步,以及先从哪里做起。
Edward Xi Yang