Unsloth + Ertas

了解 Ertas 如何補充或替代 Unsloth 的微調工作流程——Unsloth 用於筆記本中的原始訓練速度，Ertas 用於具有實驗追蹤、資料集管理和部署工具的託管管線。

Overview

Unsloth 以其作為最快開源微調函式庫的聲譽贏得了認可，透過自訂 CUDA 核心和記憶體高效實作提供 2 倍或更多的訓練速度提升。ML 工程師喜歡它的原始效能和最少的抽象——您在 Jupyter 筆記本或腳本中編寫 Python，呼叫 Unsloth 的修補模型載入器，即可獲得顯著更快的 LoRA 和 QLoRA 訓練，同時大幅降低 VRAM 需求。對於在筆記本環境中感到自在的研究人員和工程師，Unsloth 提供了速度和控制的無與倫比的組合。

然而，Unsloth 刻意只專注於訓練步驟。它不提供資料集版本控制、實驗追蹤、超參數搜尋管理、GGUF 匯出工具或部署基礎設施。使用 Unsloth 的團隊通常為這些階段拼湊不同的工具——Weights & Biases 用於追蹤、自訂腳本用於資料處理、llama.cpp 用於量化，以及手動流程用於部署。這種碎片化對運行實驗的個人 ML 工程師有效，但在團隊需要可重現性、協作或從訓練到生產的簡化路徑時成為瓶頸。

How Ertas Integrates

Ertas 和 Unsloth 在微調生態系統中扮演互補角色而非直接競爭。Unsloth 擅長為希望在筆記本環境中進行低層級控制的工程師提供原始訓練吞吐量。Ertas 提供訓練周圍的託管基礎設施——資料集策劃和版本控制、具有自動指標記錄的實驗追蹤、跨運行的超參數比較，以及使微調對沒有深度 ML 背景的團隊成員也可及的視覺介面。在任一工具中訓練的模型都產生完全可互換的標準權重格式。

Ertas 填補 Unsloth 最顯著差距的地方是在訓練前後發生的一切。訓練前，Ertas Studio 提供資料集管理工具用於清理、格式化、去重和版本控制您的訓練資料——Unsloth 使用者透過臨時腳本處理的任務。訓練後，Ertas 處理 GGUF 量化和匯出、Ollama Modelfile 生成和部署監控——Unsloth 有意將其排除在範圍之外的從訓練權重到運行中推理端點的完整管線。團隊甚至可以使用 Unsloth 作為訓練後端，同時依賴 Ertas 處理工作流程中的其他一切。

Getting Started

1
在 Ertas Studio 中管理資料集
使用 Ertas Studio 的資料集工具策劃、清理、格式化和版本控制您的訓練資料。無論您計劃使用 Ertas 還是 Unsloth 訓練，結構化的資料集管理確保可重現性並使迭代改善系統化。
2
使用您偏好的工具訓練
在 Ertas Studio 的視覺管線中運行微調作業以獲得託管體驗，或匯出準備好的資料集並在筆記本中使用 Unsloth 訓練以獲得最大速度和控制。兩種方法都產生相容的模型權重。
3
在 Ertas 中追蹤實驗
將任一工具的訓練指標記錄到 Ertas Studio 的實驗追蹤器中。跨運行比較損失曲線、評估分數和超參數，以識別最佳檢查點——無論哪個訓練後端產生它。
4
使用 Ertas 匯出到 GGUF
使用 Ertas Studio 的量化和匯出管線將訓練模型轉換為 GGUF 格式。選擇目標量化級別，Ertas 生成最佳化的 GGUF 檔案以及 Ollama 就緒的 Modelfile。
5
透過 Ertas 部署和監控
在 Ollama 中註冊匯出的模型，部署推理端點，並透過 Ertas Cloud 的儀表板監控效能。追蹤跨模型版本的延遲、吞吐量和錯誤率以關閉回饋迴路。