Unsloth + Ertas

    了解 Ertas 如何补充或替代 Unsloth 的微调工作流——Unsloth 在 Notebook 中提供原始训练速度,Ertas 提供具有实验跟踪、数据集管理和部署工具的托管管道。

    Overview

    Unsloth 凭借其作为最快开源微调库的声誉赢得了广泛认可,通过自定义 CUDA 内核和内存高效实现实现了 2 倍或更高的训练速度提升。ML 工程师喜爱它的原始性能和最小抽象——您在 Jupyter Notebook 或脚本中编写 Python,调用 Unsloth 的修补模型加载器,即可获得显著更快的 LoRA 和 QLoRA 训练以及大幅减少的 VRAM 需求。对于习惯在 Notebook 环境中工作的研究人员和工程师,Unsloth 提供了无与伦比的速度和控制组合。

    然而,Unsloth 有意专注于训练步骤本身。它不提供数据集版本控制、实验跟踪、超参数搜索管理、GGUF 导出工具或部署基础设施。使用 Unsloth 的团队通常需要拼凑单独的工具来处理每个阶段——使用 Weights & Biases 进行跟踪、自定义脚本处理数据、llama.cpp 进行量化,以及手动流程进行部署。这种碎片化对于运行实验的个人 ML 工程师有效,但当团队需要可复现性、协作或从训练到生产的简化路径时就会成为瓶颈。

    How Ertas Integrates

    Ertas 和 Unsloth 在微调生态系统中扮演互补角色,而非直接竞争对手。Unsloth 擅长为需要在 Notebook 环境中进行底层控制的工程师提供原始训练吞吐量。Ertas 提供训练周围的托管基础设施——数据集整理和版本控制、带自动指标记录的实验跟踪、跨运行的超参数比较,以及使微调对没有深度 ML 背景的团队成员也变得易于使用的可视化界面。在任一工具中训练的模型都生成完全可互换的标准权重格式。

    Ertas 填补 Unsloth 最重要空白的地方在于训练前后的一切。训练前,Ertas Studio 提供数据集管理工具用于清洗、格式化、去重和版本控制训练数据——Unsloth 用户用临时脚本处理的任务。训练后,Ertas 处理 GGUF 量化和导出、Ollama Modelfile 生成以及部署监控——从训练权重到运行推理端点的整个管道,这些 Unsloth 有意留在其范围之外。团队甚至可以使用 Unsloth 作为训练后端,同时依赖 Ertas 处理工作流中的其他一切。

    Getting Started

    1. 1

      在 Ertas Studio 中管理数据集

      使用 Ertas Studio 的数据集工具整理、清洗、格式化和版本控制您的训练数据。无论您计划使用 Ertas 还是 Unsloth 进行训练,结构化的数据集管理确保可复现性并使迭代改进系统化。

    2. 2

      使用您偏好的工具训练

      在 Ertas Studio 的可视化管道中运行微调作业以获得托管体验,或导出准备好的数据集并在 Notebook 中使用 Unsloth 训练以获得最大速度和控制。两种方法都生成兼容的模型权重。

    3. 3

      在 Ertas 中跟踪实验

      将来自任一工具的训练指标记录到 Ertas Studio 的实验跟踪器中。跨运行比较损失曲线、评估分数和超参数,以确定最佳检查点——无论哪个训练后端生成的。

    4. 4

      使用 Ertas 导出为 GGUF

      使用 Ertas Studio 的量化和导出管道将训练模型转换为 GGUF 格式。选择目标量化级别,Ertas 生成优化的 GGUF 文件和 Ollama 就绪的 Modelfile。

    5. 5

      通过 Ertas 部署和监控

      将导出的模型注册到 Ollama,部署推理端点,并通过 Ertas Cloud 的仪表板监控性能。跨模型版本跟踪延迟、吞吐量和错误率,以闭合反馈循环。

    Benefits

    • 使用 Unsloth 的训练速度配合 Ertas 的数据集管理、跟踪和部署工具
    • 跨 Ertas 和 Unsloth 训练后端的运行进行可视化实验比较
    • 结构化的数据集版本控制取代临时脚本进行数据准备
    • Unsloth 未提供的自动化 GGUF 量化和 Modelfile 生成
    • 对不习惯编写 Python 训练脚本的团队成员友好
    • 从原始数据到已部署推理端点的端到端管道,在单一平台中完成

    Related Resources

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.