摄入完成之后,你手上是结构化的文本。但结构化和干净是两回事。企业的文档集合里充满重复内容、编码残留、个人可识别信息、不一致的格式,以及一旦进入训练集就会拖累模型表现的低质量记录。
清洗是多数团队投入不足 的环节,而一个模型在生产环境中能不能用,往往就在这一步决定。本文讲的是完全在本地清洗 ML 训练数据集的实用技术:不用云端 NER 服务,不调外部 API,数据不出门。
去重:完全重复与近似重复
训练数据里的重复会让模型在重复样本上过拟合,评估时指标虚高,泛化能力却在下降。在企业文档集合里,重复无处不在:同一份合同模板被用了 300 次,每次只有细微改动;同一份政策文件发给了每一个部门;同一封邮件在收件人之间层层转发。
完全去重
最简单的情形。对每份文档的内容计算哈希(SHA-256),删除哈希相同的记录。这能抓住逐字节相同的重复:同一个文件用不同文件名保存,或同一份文档从多个来源被重复摄入。
完全去重很快(用哈希集合可达 O(n)),应当始终作为第一步。
近似重复检测
价值更高,也更复杂。近似重复指相似度很高但内容并不完全相同的文档:同一模板的不同版本、有少量编辑的文档,或者共享 90% 内容的记录。
两种可行的方法:
MinHash 加局部敏感哈希(LSH):从文档的 n-gram 计算 MinHash 签名,再用 LSH 高效找出 Jaccard 相似度高的文档对。这个方案可以扩展到数百万份文档,并且无论格式差异如何,都能抓到内容层面的近似重复。常用阈值是 Jaccard 相似度 0.8 到 0.9。
SimHash:用加权的 token 特征为每份文档计 算单一指纹,汉明距离低于阈值的文档被标记为近似重复。在超大规模集合上比 MinHash 更快,但对较短文档精度不如前者。
对训练数据集来说,MinHash 加 LSH 是标准选择。它很适合企业场景:把那 300 份几乎相同的合同找出来,收敛成 15 到 20 个有代表性的不同变体。
找到近似重复之后怎么办
不要直接删掉。近似重复本身携带信息,能告诉你文档中哪些部分是稳定的(套话),哪些是可变的(真正有内容的部分)。可选做法:
- 保留一份代表:挑质量最高的那一版,其余丢弃
- 全部保留但打标:加上一个聚类 ID,让下游阶段据此加权或抽样
- 合并:对模板类文档,抽出可变部分,做成一条覆盖变化空间的训练样本
文本标准化
标准化是在不改变含义的前提下让文本保持一致。企业文档在很多影响模型训练的地方,不一致得惊人。
编码标准化
统一转换为 UTF-8 NFC(先规范分解,再规范组合)。这能处理:
- 在 UTF-8 下显示为乱码的 Windows-1252「智能引号」
- 同一字符的多种 Unicode 表示(例如「é」是单个码点,还是「e」加组合重音符)
- 零宽空格、字节顺序标记,以及其他会破坏分词的不可见字符

