大多数企业AI团队能说出数据流水线的阶段。能清楚描述每个阶段实际产出什么、常见失败模式是什么、以及为什么标准多工具方法在整个流水线中造成复合问题的人要少得多。
阶段1:摄入
将原始源文件解析为后续阶段可处理的结构化文本。消耗PDF、Word文档、Excel、图像、CAD等。产出提取的文本。
常卡住的地方: 低估扫描文档的OCR难度。表格提取产生结构正确但语义错误的记录。
阶段2:清洗
去除错误、重复和敏感数据;评分记录质量。
常卡住的地方: PII检测的精确率-召回率权衡。去重被视为可选——但20-30%的标注记录是近似重复。
阶段3:标注
为清洗后的数据分配语义——实体标签、分类标签、问答对。
领域专家问题: 标准标注工具是为ML工程师构建的。让医生使用它们需要大量培训或ML工程师作为翻译。
常卡住的地方: 标签一致性(多个标注者应用不同标签)。规模低估。
阶段4:增强
从现有数据生成额外训练样本。解决类别不平衡和数据量不足。
关键约束: 对于受监管企业,使用云LLM API的增强不可行。增强必须使用本地托管LLM在本地运行。
阶段5:导出
将准备好的数据集转换为目标训练框架需要的精确格式——JSONL、YOLO/COCO、CSV等。
常卡住的地方: 格式验证失败。在训练启动时才发现的编码问题和模式错误。

