Unsloth + Ertas

    Ertas 与 Unsloth 在微调上的对比。Unsloth 是一个用 Python 驱动的高速训练库;Ertas 是一条托管的可视化管道,无需 notebook 就能把一次运行从数据集带到可安装的 GGUF。

    Overview

    Unsloth 是一个快速的开源微调库,通过自定义 CUDA 内核和内存高效实现带来了很大的训练速度提升。ML 工程师选择它,看中的是原始性能和极少的抽象:你在 notebook 或脚本里写 Python,调用它打过补丁的模型加载器,就能以更低的显存获得更快的 LoRA 与 QLoRA 训练。对于长期待在 notebook 里、想要底层控制权的人,这是一笔划算的交易。

    它刻意只覆盖训练这一步。数据准备、运行历史、量化与导出,以及把训练好的模型装到机器上,都留给你自己处理。使用它的团队会用一堆独立工具拼出这些环节:一个追踪服务、自己写的数据脚本、用 llama.cpp 量化,以及手工的部署步骤。对于一个人跑实验,这种拼装没问题;一旦团队需要可复现性,或者需要一条从数据到交付模型的可重复路径,它就成了瓶颈。

    How Ertas Integrates

    Ertas 走的是相反的路线:它是一条托管管道,整件事都在一个地方完成,而且不需要写 Python。你在 Data Craft 准备数据,在 Model Studio 画布上放一个 Action Module,接上基础模型、数据集和训练配置,然后点击运行。训练跑在托管的云 GPU 上,所以没有环境要搭建,也没有显存预算要迁就。

    实际差别出现在训练步骤的两侧。Data Craft 存放你的数据集,当真实样本不足时,Prompt Studio 帮你写出一段生成提示词。每次运行都保留自己的配置快照和指标,所以几个月后打开一个模型,你仍能看清是什么产生了它。完成的运行会导出 LoRA 适配器和一个 GGUF 安装包,其中包含预先生成的 Ollama Modelfile(带有正确的对话模板与停止词)以及安装脚本,而这一步正是自己拼装技术栈时最常花掉一个下午的地方。

    Unsloth 仍然领先的地方是控制力。自定义训练循环、非常规架构,以及手工调优到内核层面的工作,是库能给你而托管管道给不了的。如果任务是这些,notebook 才是对的工具。

    Getting Started

    1. 1

      在 Data Craft 准备数据集

      上传 JSONL、CSV、parquet 或文本,或从 Hugging Face 镜像一个数据集。真实样本不足时,Prompt Studio 会根据你自己的上下文生成一段提示词,你在自己已付费的 AI 工具中运行它,再把结果作为 JSONL 导入。

    2. 2

      在画布上搭建运行

      在 Model Studio 项目中放入一个 Action Module,接上它的四条腿:基础模型、数据集、训练配置和 LoRA 配置。画布会标出还缺哪条腿,所以不会误提交一个不完整的运行。

    3. 3

      在托管 GPU 上并行训练

      点击运行。训练跑在云 GPU 上,无需任何环境配置。每个 Action Module 都是独立任务,同时运行的数量没有上限,所以你可以用多个模块并行做超参数扫描。实际上限是你的积分余额。

    4. 4

      检查运行并与之前的对比

      完成的运行会用一组固定提示词给出三条推理样本作为初步的连贯性检查,同时附带完整的配置快照和指标。项目中先前的运行仍然可查,所以你能看清两次尝试之间改动了什么。

    5. 5

      导出并安装

      下载 safetensors 格式的 LoRA 适配器,或下载 GGUF 安装包:一个 Q4_K_M 量化的模型文件、一份预先生成的 Modelfile(含对话模板、停止词以及你设定的采样默认值),以及适用于 macOS、Linux 和 Windows 的安装脚本。运行安装脚本,Ollama 就能提供该模型。

    Benefits

    • 第一次训练之前,不需要 Python、notebook,也不需要搭建 CUDA 环境
    • 托管的云 GPU,模型大小不受本机显存限制
    • Data Craft 与 Prompt Studio 让数据集准备和训练在同一个地方完成
    • 多个 Action Module 可并行训练,任何计划都没有硬性并发上限
    • 每次运行都保留配置快照和指标,模型可以追溯回产生它的那次运行
    • GGUF 导出是可直接安装的整包,含预生成的 Ollama Modelfile 与安装脚本
    • 本来不会去写训练脚本的同事也能上手

    Related Resources

    Ship AI that runs on your users' devices.

    Free plan with 30 credits/mo, no card required. Paid plans from $10/mo USD.