Back to blog
    制造业质量检测 AI 的图像标注流水线
    manufacturingquality-inspectionimage-labelingcomputer-visiondefect-detectionon-premiseenterprise

    制造业质量检测 AI 的图像标注流水线

    构建制造业质量检测图像标注流水线的实操指南——对比边界框、分割和分类策略在缺陷检测、表面分析和装配验证中的应用。

    EErtas Team·

    根据美国质量学会的数据,制造商因质量相关成本损失约 15-20% 的收入。AI 驱动的视觉检测可以将缺陷漏检率降低 90%,相较于人工检测——但一个有前景的演示和一个生产就绪的检测系统之间的差距几乎总是数据标注问题。

    用于质量检测的计算机视觉模型需要精确标注的训练图像。一个用粗略绘制的边界框训练的划痕检测模型将在生产中产生粗略、不可靠的检测结果。一个用不一致类别训练的表面缺陷分类器将生成不一致的分类。标注流水线决定了模型所能达到的性能上限。

    本指南涵盖了如何为三个核心制造业检测用例设计和构建图像标注流水线:缺陷检测、表面分析和装配验证。

    标注策略对比

    任何基于视觉的检测流水线中的第一个架构决策是标注策略。每种策略捕获不同的信息并适合不同的检测任务。

    策略捕获内容最适合每张图像标注时间模型输出
    图像分类整张图像的类别(通过/不通过,缺陷类型)通过/不通过分选,批次质量评估2-5 秒类别标签 + 置信度分数
    边界框缺陷的位置和大致范围缺陷计数、缺陷定位、多缺陷图像10-30 秒带类别标签的矩形
    语义分割像素级缺陷边界表面积测量、缺陷严重程度分级2-5 分钟每类别像素掩码
    实例分割像素级的单个缺陷实例计数重叠缺陷、单个缺陷测量3-8 分钟每实例像素掩码
    关键点标注特定特征点装配对齐、组件定位15-45 秒命名坐标对

    将策略映射到用例

    选择错误的标注策略会浪费标注工作量并限制模型能力。以下是每个制造业用例如何映射到适当策略的说明:

    检测用例推荐策略原因
    焊缝缺陷检测边界框或实例分割需要定位单个缺陷;分割通过缺陷面积增加严重程度测量
    表面划痕检测语义分割划痕是不规则形状;边界框包含太多非缺陷区域,膨胀了误报区域
    PCB 焊点检测边界框 + 分类每个焊点需要定位(边界框)加质量等级(分类:良好、冷焊、桥接、不足)
    装配完整性检查关键点标注或边界框验证组件在预期位置的存在和定位
    漆面/涂层均匀性语义分割橘皮、流挂或薄点等缺陷需要基于面积的测量来进行严重程度分级
    尺寸公差关键点标注测量参考点之间的距离以验证尺寸符合性
    包装完整性图像分类密封完整性、标签放置或填充水平的二元通过/不通过判定

    构建图像标注流水线

    用于制造业检测的生产标注流水线不仅仅是在图像上画框。它需要摄入、预处理、标注、质量保证和版本控制的导出。

    阶段 1:图像摄入和预处理

    制造业检测图像来自线扫相机、面阵相机、显微镜、X 射线系统和智能手机拍摄。每种来源有不同的分辨率、色彩空间和元数据特征。

    图像来源典型分辨率所需预处理
    线扫相机4K-16K 像素宽,高度可变将线段拼接成完整的零件图像
    面阵相机(固定安装)2-12 MP一致裁剪到感兴趣区域,曝光归一化
    显微镜 / 微距镜头5-20 MP焦点堆叠,比例校准标注
    X 射线 / CT1-4 MP,16 位灰度窗宽/窗位调整,转换为 8 位用于标注
    智能手机(现场拍摄)12-48 MP调整大小,颜色归一化,方向校正

    预处理一致性至关重要。如果训练图像的曝光、裁剪区域或方向不一致,模型将学习检测光照变化而不是缺陷。在标注开始之前标准化预处理。

    Ertas Data Suite 通过 Image Parser 节点摄入图像,该节点提取嵌入的元数据(EXIF、分辨率、色彩空间)并将图像送入处理流水线。可视化画布使得在图像到达标注阶段之前添加归一化步骤变得简单直观。

    阶段 2:标注工作流设计

    标注工作流必须针对特定的检测上下文进行设计,而不是从通用标注工具配置中改编。

    缺陷分类体系设计是基础。一个金属冲压操作的良好分类体系可能如下所示:

    缺陷类别视觉描述严重程度等级最小标注尺寸
    划痕线性表面痕迹,深度不一轻微(仅外观),严重(影响功能)最小 20px 长度
    凹痕带阴影的局部变形轻微(深度小于 0.1mm),严重(深度大于 0.1mm)最小 10x10px
    裂纹线性不连续,通常有分支所有裂纹均为严重最小 15px 长度
    气孔表面的圆形/不规则空洞分散(外观问题),集中(结构隐患)每个气孔最小 5x5px
    毛刺边缘处的材料突出轻微(在公差内),严重(超出公差)最小 10px
    污染表面上的异物任何存在都标记最小 8x8px

    设置最小标注尺寸可以防止标注人员标记低于生产相机系统检测阈值的伪影。如果生产相机的分辨率为每像素 0.1mm,且缺陷必须至少 0.5mm 才有意义,则小于 5 像素的标注就是噪声。

    阶段 3:标注质量保证

    标注人员之间的标注一致性是制造业检测数据集中最大的质量风险。两个标注人员看同一张划痕图像可能会画出不同大小的边界框、对严重程度分类不同,或对标记是划痕还是工具痕迹产生分歧。

    标注者间一致性协议:

    QA 方法工作原理使用时机
    双重标注两名标注者独立标注同一张图像;分歧交由裁决者处理前 200-500 张图像(校准阶段)
    抽样检查高级标注者随机审查 10-15% 的图像持续生产标注
    共识审查小组审查边缘案例以建立先例出现新缺陷类型或分类体系变更时
    IoU 阈值标注者之间的边界框/分割重叠必须超过 0.75对双重标注图像的自动化 QA 检查

    按策略的目标标注者间一致率:

    • 图像分类:95% 或更高一致率
    • 边界框:0.75+ IoU(交并比)
    • 语义分割:0.70+ IoU(像素级一致更难)
    • 关键点:距参考位置 5 像素以内

    阶段 4:数据增强和平衡

    制造业缺陷数据集天然不平衡。运行良好的生产线产出的良品远多于次品。反映自然缺陷率的数据集可能包含 99% 的通过图像和 1% 的不通过图像——这将训练出一个对所有东西都简单预测"通过"的模型。

    平衡策略:

    • 受控采集: 在质量保留、返工站或破坏性测试期间有意收集和拍摄缺陷零件
    • 合成增强: 对缺陷图像应用几何变换(旋转、翻转、裁剪)、颜色抖动和噪声添加以增加其代表性
    • 复制粘贴增强: 对于分割任务,将已标注的缺陷区域粘贴到干净的零件图像上(需要像素级分割掩码)
    • 基于 GAN 的合成: 使用在真实缺陷上训练的生成模型生成合成缺陷图像(每类至少需要 200-300 张真实缺陷图像)

    目标平衡取决于用例。对于安全关键检测(汽车、航空航天),保持至少 5:1 的良品与缺陷比率,并对稀有缺陷类型进行大量增强。对于外观检测,10:1 的比率通常足够。

    阶段 5:导出和模型集成

    导出格式必须与模型框架匹配。制造业检测常用的格式:

    框架导出格式标注类型
    YOLOv8/v9YOLO TXT (class x_center y_center width height)边界框
    COCO带多边形坐标的 JSON边界框、分割、关键点
    Pascal VOC每张图像一个 XML边界框
    TFRecord二进制 protobuf任意(框架特定)
    Custom PyTorch带路径 + 标签的 CSV 或 JSONL任意

    Ertas Data Suite 通过可配置的导出节点导出已标注的数据集。流水线方法意味着导出步骤是可复现的——当采集新图像时,它们流经相同的预处理、接受标注、通过相同的 QA 检查,并以相同的格式导出,无需人工干预。

    制造业的本地化部署需求

    制造业图像数据通常包含专有的产品设计、工艺参数和质量指标,这些代表着重要的竞争优势。将工厂车间的图像发送到基于云的标注工具会引入大多数制造商不会接受的知识产权暴露风险。

    除了知识产权顾虑,制造业环境通常网络连接有限或受限。工厂车间的工作站可能处于没有互联网访问的隔离网络上。无需云依赖即可运行的本地化标注流水线不仅仅是合规偏好——它是运营需求。

    Ertas Data Suite 作为原生桌面应用程序运行,无需网络暴露。可视化流水线完全在本地计算上运行,标注工作区(目前正在积极开发中)专为领域专家设计——质量工程师和产线操作员——他们了解缺陷但不应该需要安装 Python 环境或配置标注服务器。

    实施检查清单

    对于构建制造业检测 AI 的团队,数据流水线应在模型训练开始之前满足以下每一项要求:

    1. 标准化图像采集 — 所有训练图像保持一致的光照、角度、分辨率和感兴趣区域
    2. 设计缺陷分类体系时有质量工程师的参与,而不仅仅是 ML 工程师
    3. 根据生产相机分辨率和缺陷重要性设置最小标注尺寸阈值
    4. 校准标注人员,在前 200-500 张图像上进行双重标注阶段
    5. 实施持续 QA,对 10-15% 的已标注图像进行抽样检查
    6. 在训练之前通过受控采集和增强解决类别不平衡
    7. 版本化数据集,以便模型性能可以追溯到特定数据版本
    8. 以目标框架格式导出,配以可复现的流水线步骤

    交付可靠检测模型的团队在标注质量上投入巨大。在生产中挣扎的团队通常是在标注上赶工,使用不一致的标注、不平衡的数据集或没有 QA 流程。流水线就是产品。

    Turn unstructured data into AI-ready datasets — without it leaving the building.

    On-premise data preparation with full audit trail. No data egress. No fragmented toolchains. EU AI Act Article 30 compliance built in.

    Keep reading