Hugging Face + Ertas

    從 Hugging Face Hub 直接將模型和資料集匯入 Ertas Studio,在 Ertas 的託管雲端上微調,並將您的精煉模型推送回社群。

    Overview

    Hugging Face 已成為開源 AI 的中心樞紐,託管數十萬個預訓練模型、資料集和空間。從 Llama 和 Mistral 等基礎模型到用於情感分析、程式碼生成和醫學 NLP 的任務特定微調模型,Hugging Face 生態系統為幾乎每個現代 AI 工作流程提供起點。其標準化的模型卡格式、授權元資料和社群驅動的精選使得在投入訓練管線之前輕鬆發現和評估模型。

    Ertas AI 與 Hugging Face Hub 深度整合,讓您無需離開 Ertas Studio 即可瀏覽、拉取和發布模型。無論您是用基礎模型啟動新專案還是將領域特定的微調模型貢獻回社群,此整合消除了摩擦,使您的工作流程從發現到部署保持順暢。

    How Ertas Integrates

    Ertas Studio 連接到 Hugging Face Hub API,允許您直接從 Studio UI 按任務、架構或授權搜尋模型和資料集。選擇模型後,Ertas 將其匯入託管雲端環境,轉換為微調的最佳格式,並根據模型的架構和大小預填訓練設定。資料集可以同樣方式拉取,自動轉換為 JSONL 格式用於 Ertas 訓練管線。

    微調完成後,您可以直接從 Studio UI 將模型推送回 Hugging Face Hub。Ertas 自動生成包含訓練元資料、評估指標和資料集來源的模型卡,以便社群理解和重現您的結果。支援私有儲存庫,讓團隊在利用 Hub 的版本控制和協作功能的同時完全控制可見性。

    Getting Started

    1. 1

      使用 Hugging Face 進行驗證

      在 Ertas Studio 設定中新增您的 Hugging Face API 令牌,以啟用對 Hub 上公共和私有儲存庫的無縫存取。

    2. 2

      瀏覽並選擇基礎模型

      使用整合的模型瀏覽器按任務類型、模型大小或授權進行搜尋。在匯入前預覽模型卡和基準分數。

    3. 3

      將模型匯入 Ertas

      將選定的模型權重和分詞器匯入 Ertas 的託管雲端。Ertas 自動處理格式轉換和儲存最佳化。

    4. 4

      拉取訓練資料集

      從 Hub 匯入資料集並轉換為與 Ertas 訓練管線相容的 JSONL 格式。在匯入過程中可選擇應用篩選器、分割和轉換。

    5. 5

      使用 Ertas Studio 微調

      啟動使用 LoRA 或全參數訓練的微調作業。Ertas 根據模型架構和資料集大小預填建議的超參數。

    6. 6

      將微調模型推送回 Hub

      將您的微調模型發布到 Hugging Face Hub,附帶自動生成的模型卡、訓練日誌和評估指標。

    python
    # After fine-tuning in Ertas Studio and publishing to Hugging Face,
    # load your model directly from the Hub
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    model = AutoModelForCausalLM.from_pretrained(
        "my-org/llama-3-alpaca-ft",
        device_map="auto",
    )
    tokenizer = AutoTokenizer.from_pretrained("my-org/llama-3-alpaca-ft")
    
    inputs = tokenizer("Summarize this document:", return_tensors="pt")
    outputs = model.generate(**inputs, max_new_tokens=256)
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))
    在 Ertas Studio 中微調並發布到 Hub 後,使用 Hugging Face Transformers 載入您的模型。

    Benefits

    • 無需離開 Ertas Studio 即可存取超過 500,000 個開源模型
    • Hugging Face 和 Ertas 原生格式之間的自動格式轉換
    • 一鍵匯入資料集並轉換為 JSONL 用於訓練管線
    • 發布時自動生成包含完整訓練來源的模型卡
    • 支援私有 Hub 儲存庫,適用於企業和團隊工作流程
    • 為您的微調模型提供社群可見性以吸引回饋和協作

    Related Resources

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.