云到边缘AI管道：数据准备如何在训练和部署之间适配

云到边缘 AI 管道有七个阶段。大多数企业团队只盯着其中三个：训练、量化和部署，然后纳闷为什么边缘模型表现不佳。

缺失的环节是数据准备，而且必须是专门针对边缘部署约束设计的数据准备。同一份数据集能训练出很强的 70B 云端模型，却只能训练出很弱的 0.5B 边缘模型。数据要按照最终落地的位置来塑形。

完整管道

下面是完整的云到边缘工作流，括号里是一个典型企业项目在各阶段的大致时间占比：

阶段 1：原始数据收集（占项目时间 5%） 企业文档、交互日志、领域知识。PDF、Word 文档、数据库导出、对话记录。这些都是原材料，没有结构、没有清洗，还不能直接拿来训练。

阶段 2：数据准备（占项目时间 58%） 解析、清洗、标注、增强，并导出可直接用于训练的数据集。加上阶段 1，整个项目有 63% 的时间花在数据上，这与行业调研给出的机器学习项目普遍 60-80% 的结论一致；而边缘 AI 对数据准备的要求比纯云端部署更高。

阶段 3：云端训练（占项目时间 10%） 用云端 GPU 在准备好的数据集上微调基础模型。在高通生态里，这意味着 Qualcomm AI 100 GPU 或同级别的云端算力。模型以全精度（FP16 或 BF16）训练。

阶段 4：模型蒸馏（占项目时间 5%） 如果目标模型比训练出来的模型更小，例如训练的是 7B 模型而部署的是 0.5B 模型，就用知识蒸馏把大模型的能力迁移到小架构上。

阶段 5：量化与优化（占项目时间 5%） 把模型精度从 FP16 降到 INT8 或 INT4。高通设备走 Qualcomm AI Hub，苹果设备走 Core ML 工具链，通用部署则走 ONNX Runtime 或 TensorRT。

阶段 6：运行时导出（占项目时间 2%） 把量化后的模型编译成目标运行时的格式。Meta 的 Llama 生态用 ExecuTorch，谷歌生态用 LiteRT（原 TensorFlow Lite），跨平台部署用 ONNX。骁龙设备由 Qualcomm AI Hub 负责这一步。

阶段 7：设备端部署与验证（占项目时间 15%） 部署到真实硬件，测量实际表现，然后迭代。这个阶段会暴露出阶段 2 的数据准备是否到位。

数据准备在哪一环：以及它为什么决定结果

阶段 2 是整条流程里最长、最贵、影响最大的一环。具体到边缘 AI，数据准备还必须考虑纯云端部署根本不存在的约束。

模型尺寸档位决定数据要求：

沿着这张表往下走，数据要求会逐级收紧。为 70B 云端模型设计的数据集放到 0.5B 手机端模型上，会直接拖累它的表现。

面向边缘的数据准备流程必须包含：

1. 带着目标做接入。 解析企业文档时，要清楚终点是一个 0.5B 的手机端模型。切出更短、更聚焦的片段，而不是整篇文档级别的表示。

2. 按模型容量校准清洗。 目标模型越小，质量评分的门槛就该定得越高。带一点噪声的训练样本对 70B 模型是可以接受的，它有足够容量把噪声学过去；同样的样本对 0.5B 模型是有害的，噪声会吃掉本就稀缺的容量。

3. 标注时带上生产约束。 如果生产任务是手机端的二分类，就别抱着"粒度越细越好"的想法去做多分类标注。标注方案要和生产任务对齐。

4. 在目标能力范围内做增强。 合成数据生成必须尊重目标模型的能力上限。按目标模型能处理的复杂度来生成样本，而不是按教师模型的水平。

5. 导出时带上元数据。 导出的数据集应该携带目标部署的信息：模型尺寸、上下文窗口、量化等级。训练流程才能据此校验兼容性。

搞错的代价

数据准备一旦忽略边缘约束，失败方式是可预测的，代价也不小：

模型在训练阶段跑过了云端基准测试，团队一片欢腾。模型被量化并部署到目标设备，设备端准确率掉了 15 到 25 个百分点。团队接着花 4 到 8 周排查部署、量化和运行时的问题，最后才发现症结在训练数据上。

这个模式在企业边缘 AI 项目里反复出现。排查时间之所以被浪费，是因为团队一直在错的地方找。他们调量化参数、换运行时导出器、试各种剪枝策略，而真正的解法是回到阶段 2，按边缘约束重建数据集。

成本对比：

面向边缘的做法在数据准备上多花一点时间，但迭代轮次减少，总交付时间省下 6 到 9 周。

企业场景的额外难题：本地数据准备

对企业团队来说，阶段 2 还多一层约束：源数据是敏感的。临床病历、法律文书、财务数据、专有工程规格。

这意味着数据准备必须在本地完成，哪怕训练（阶段 3）在云上进行。整条流程要跨越一道基础设施边界：

• 本地（阶段 1-2）：原始数据不出楼。解析、清洗、标注、增强全部在本地硬件上完成，没有数据外流。
• 云端（阶段 3-5）：只有准备好的数据集（已匿名化、已去除个人身份信息）和模型权重进入云端基础设施，用于训练、蒸馏和量化。
• 设备端（阶段 6-7）：最终模型跑在目标硬件上，推理数据留在设备里。

数据准备工具必须把这道缝接上：在本地运行，同时产出能直接对接云端训练流程、并且面向边缘部署的数据集。

Ertas Data Suite 在这条管道里的位置

Ertas Data Suite 以原生桌面应用的形式，把阶段 2 完整地放在本地完成：

接入： 把企业文档（PDF、Word、扫描图像、结构化数据）解析成统一格式。可以按目标模型尺寸配置：当终点是 1B 以下的边缘模型时，切出更短、更聚焦的片段。

清洗： 质量评分、去重、个人身份信息脱敏和长度过滤。门槛随目标部署调整，模型越小越严格，数据中心模型用标准门槛。

标注： 医生、律师、工程师这类领域专家直接在应用里标注数据。不需要 Python，不需要终端，也不需要机器学习背景。

增强： 用本地大模型生成合成数据。生成约束与目标模型的容量匹配，没有数据发往外部 API。

导出： 输出带部署元数据的 JSONL，可以直接交给云端训练流程。从原始文档到训练样本的每一次变换都留有完整审计轨迹。

结果是：阶段 2 在本地运行，并且内建了对边缘的感知。阶段 3 拿到的数据集已经针对目标设备优化过。阶段 5 到 7 也不会再遇到那些通常会让边缘 AI 项目脱轨的数据问题。

预约发现通话，一起梳理你的云到边缘管道，确认数据准备该落在你工作流的哪个位置。