Ertas 助力 ML 工程师与微调从业者

    ML 工程师可以用一个可视化工作流,取代由 CLI 工具、Jupyter 笔记本和手动搬运文件拼凑起来的零散流程。Ertas Studio 把数据集构建、在托管云端 GPU 上的 LoRA 微调、并行训练以及 GGUF 或 safetensors 导出连成一体,导出的模型归你所有,可以在任何地方运行。

    The Challenge

    开源微调生态系统功能强大但严重碎片化。Unsloth 优化了训练速度,也能导出 GGUF,但训练和部署都只能在您自备的硬件上进行。Axolotl 提供灵活的配置但需要手动编写 YAML 且不提供实验跟踪。LLaMA-Factory 提供 Web UI 但将您锁定在其特定抽象中。每个工具都出色地解决了拼图的一块而忽略了其余部分,使 ML 工程师不得不用 shell 脚本、笔记本单元格和命名规范将工作流粘合在一起。一旦有团队成员加入,或项目停了两周再恢复,这些做法必然会崩溃。GPU 内存约束增加了另一层摩擦:工程师可能花一整天时间找出量化、批大小、梯度累积和序列长度的正确组合,使训练运行适合其可用硬件。

    部署差距是大多数微调项目死亡的地方。ML 工程师在笔记本中产生了一组漂亮的适配器权重,达到了强劲的评估指标,然后面临问题:然后呢?转换为 GGUF 需要找到支持该模型架构的正确 llama.cpp 提交。量化到正确的位深需要在 Q4_K_M、Q5_K_M 和 Q6_K 变体之间反复试验。没有标准方法来跟踪哪个实验产生了哪个适配器、使用了哪个数据集版本,或如何跨运行比较评估指标。当利益相关者问「你能复现三周前的模型吗?」诚实的回答通常是「大概可以,如果我能找到正确的笔记本而且训练数据没有被覆盖的话。」如果无法复现,也说不清哪个模型出自哪份数据、哪组配置,微调模型就很难真正上线。

    The Solution

    Ertas Studio 把 ML 工程师平时要从多个开源工具中自行拼装的环节,整合进一个可视化工作流。在画布上,你把基础模型、数据集、训练配置和 LoRA 配置挂到一个 Fine-Tune 模块上,从业者需要的参数都能直接调整:学习率、步数或轮数、批大小和梯度累积、优化器,以及 LoRA 的 rank、alpha、dropout 和目标模块。数据集可以来自 JSONL 上传、Hugging Face 导入,或者 Studio 的引导式数据集构建工具 Data Craft,在那里可以编辑示例、管理版本,并跟踪哪些示例已经批准。训练在 Ertas 托管的云端 GPU 上进行,不必和配额较劲,也不用调试驱动,训练集会为本次训练上传到 Ertas。

    并行训练大大缩短了参数扫描的等待时间:复制模块,每个副本只改一个参数,然后全部启动。Run 面板会保留每次训练的配置快照、最终损失、消耗的积分和运行时长,数据集也会一直保存,因此三周前的结果可以追溯到对应的数据和配置,并重新训练出来。每次训练完成后会显示几条推理样例,用于快速检查输出是否连贯,真正的评估则在下载模型后用你自己的预留测试集完成。你可以导出 Q4_K_M 的 GGUF 用于 llama.cpp、Ollama 或 LM Studio,导出 LoRA 适配器,或在付费套餐中导出完整的 safetensors 用于 vLLM 等服务端运行时,不必再去找能用的 llama.cpp 提交版本。Hub 会列出你训练过的所有模型,文件归你所有,可以在任何地方运行,运行时不依赖 Ertas。

    Key Features

    Studio

    可完整配置的可视化画布

    在 Studio 画布上组织训练:一个 Fine-Tune 模块,挂上基础模型、数据集、训练配置和 LoRA 配置。所有参数都可以编辑,每次训练都会保存配置快照。还可以通过链接分享配方,队友能把它导入自己的工作区直接运行。

    Studio

    基础模型比拼

    用同一份数据集和配置,在多个目录模型上并行训练(Llama 3.1 8B、Mistral 7B、Qwen 2.5 7B、Phi-4 Mini、Gemma、LFM2.5 等),也可以从 Hugging Face 导入兼容的模型。先在 Run 面板中比较最终损失,再用你自己的预留提示词给下载的模型打分,做出选择。

    Studio

    托管训练 GPU

    在 Ertas 托管的云端 GPU 上启动微调,无需处理云配额、CUDA 驱动冲突或实例配置。训练消耗积分,目录模型训练失败会自动退款,取消的训练只按实际使用的分钟数计费。

    Hub

    随处可运行的导出

    Hub 会列出你训练过的所有模型。可以下载 GGUF 用于 llama.cpp、Ollama 和 LM Studio,下载 LoRA 适配器自行合并或重新量化,也可以下载完整的 safetensors 用于 vLLM 等服务端运行时。模型归你所有,运行时不依赖 Ertas。

    Example Workflow

    一家成长期初创公司的 ML 工程师接到任务:把 GPT-4o 在公司核心任务上的表现(客户咨询分类、商品推荐和摘要生成)蒸馏到一个可在端侧部署的小模型中。在确认服务商条款允许之后,他用公司自己的提示词生成了 50,000 条 GPT-4o 输出作为数据集,预留 2,000 条作为测试集,其余以 JSONL 格式上传到 Studio。在画布上,他用相同的配置让 Qwen 2.5 3B、Llama 3.2 3B 和 Phi-4 Mini 进行基础模型比拼,并在早期表现最好的候选模型上做 LoRA rank 扫描(8、16 和 32),所有任务并行运行。初步查看损失曲线后,有两个变体明显落后,工程师取消了它们,被冻结的积分随即释放回可用余额。其余训练完成后,他下载每个 GGUF,用团队自己的评分脚本跑完预留测试集,并按任务类别抽查输出。胜出的模型通过 llama.cpp 集成进应用,而它在 Studio 中的训练记录保留了产出它的配置和数据集,下一次重新训练可以从一个已知的基线出发。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.