诚实的答案是:比你预算的时间更长,而且几乎无一例外。
60-80% 这个数字(机器学习项目中花在数据准备上的时间占比)被广泛引用,偶尔也被质疑,但凡是真正做完一轮企业 AI 项目的团队,最后都会确认它。这个数字没有说清楚的,是它对项目排期意味着什么。
如果数据准备占掉总项目时间的 60-80%,而你的项目只有 6 个月的截止期,那么光是数据准备就要吃掉大约 3.5 到 5 个月。这段时间里不含模型训练,不含评估与迭代,也不含部署,仅仅是把数据整理成可以开始训练的形态。
多数项目计划并没有体现这一点。它们通常给“数据预处理”留 3-4 周,剩下的 4-5 个月分给其余所有环节。发现时间线其实是倒过来的,往往发生在第 6 周:数据准备的第一轮已经跑完,产出的质量却还达不到开始训练的要求。
本文给出具体的基准数字,方便你按照现实的量级来排期。
决定时间线的几个变量
时间线的差异极大,主要取决于四个因素:
1. 源文件格式的质量。 来自现代文档管理系统的原生 PDF 解析得又快又干净。1990 年代档案里的扫描件则需要 OCR、纠偏和人工质检。同样名义上是“1,000 份文档”的语料,原生格式可能 8 小时处理完,扫描件要 40 小时以上。
2. 数据体量。 这里指文本总量,而不是文件数量。10,000 份简短表单和 10,000 份信息密集的技术报告,是两个完全不同的问题。
3. 标注复杂度。 在文档级别把文档分成 5 类很快。在专业领域(临床术语、法律条款、工程部件)按 token 级别标注命名实体则很慢。
4. 团队构成与工具链。 用电子表格手工清洗,和跑一条自动化去重管道,是两回事;领域专家能自己打开标注工具,和每次都要 ML 工程师在旁协助,也是两回事。这两个乘数带来的差距都很大。

