Hugging Face + Ertas

    从 Hugging Face Hub 直接将模型和数据集导入 Ertas Studio,在 Ertas 的托管云上微调,并将您的优化模型发布回社区。

    Overview

    Hugging Face 已成为开源 AI 的中心枢纽,托管着数十万个预训练模型、数据集和 Spaces。从 Llama 和 Mistral 等基础模型到用于情感分析、代码生成和医学 NLP 的任务特定微调模型,Hugging Face 生态系统为几乎所有现代 AI 工作流提供了起点。其标准化的模型卡片格式、许可元数据和社区驱动的策展使得在投入训练管道之前发现和评估模型变得容易。

    Ertas AI 与 Hugging Face Hub 深度集成,让您无需离开 Ertas Studio 即可浏览、拉取和发布模型。无论您是使用基础模型启动新项目还是将领域特定的微调模型回馈社区,该集成都消除了摩擦,使您从发现到部署的工作流保持流畅。

    How Ertas Integrates

    Ertas Studio 连接到 Hugging Face Hub API,允许您直接从 Studio UI 按任务、架构或许可搜索模型和数据集。选择模型后,Ertas 将其导入到托管云环境中,将其转换为微调的最优格式,并根据模型的架构和大小预填训练配置。数据集可以以相同的方式拉取,自动转换为 Ertas 训练管道的 JSONL 格式。

    微调完成后,您可以直接从 Studio UI 将模型推送回 Hugging Face Hub。Ertas 自动生成包含训练元数据、评估指标和数据集来源的模型卡片,以便社区理解和复现您的结果。支持私有仓库,使团队在利用 Hub 的版本控制和协作功能的同时完全控制可见性。

    Getting Started

    1. 1

      通过 Hugging Face 认证

      在 Ertas Studio 设置中添加您的 Hugging Face API 令牌,以无缝访问 Hub 上的公共和私有仓库。

    2. 2

      浏览并选择基础模型

      使用集成的模型浏览器按任务类型、模型大小或许可搜索。在导入前预览模型卡片和基准分数。

    3. 3

      将模型导入 Ertas

      将选定的模型权重和分词器导入 Ertas 的托管云。Ertas 自动处理格式转换和存储优化。

    4. 4

      拉取训练数据集

      从 Hub 导入数据集并转换为与 Ertas 训练管道兼容的 JSONL 格式。在导入时应用可选的过滤器、拆分和转换。

    5. 5

      使用 Ertas Studio 微调

      使用 LoRA 或全参数训练启动微调作业。Ertas 根据模型架构和数据集大小预填推荐的超参数。

    6. 6

      将微调模型推送回 Hub

      将您的微调模型发布到 Hugging Face Hub,附带自动生成的模型卡片、训练日志和评估指标。

    python
    # After fine-tuning in Ertas Studio and publishing to Hugging Face,
    # load your model directly from the Hub
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    model = AutoModelForCausalLM.from_pretrained(
        "my-org/llama-3-alpaca-ft",
        device_map="auto",
    )
    tokenizer = AutoTokenizer.from_pretrained("my-org/llama-3-alpaca-ft")
    
    inputs = tokenizer("Summarize this document:", return_tensors="pt")
    outputs = model.generate(**inputs, max_new_tokens=256)
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))
    在 Ertas Studio 中微调并发布到 Hub 后,使用 Hugging Face Transformers 加载您的模型。

    Benefits

    • 无需离开 Ertas Studio 即可访问超过 50 万个开源模型
    • Hugging Face 和 Ertas 原生格式之间的自动格式转换
    • 一键导入数据集并自动转换为 JSONL 用于训练管道
    • 发布时自动生成带有完整训练来源的模型卡片
    • 支持私有 Hub 仓库,适用于企业和团队工作流
    • 为您的微调模型提供社区可见性以吸引反馈和协作

    Related Resources

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.