Ertas vs Modal Labs:哪個更適合為客戶微調模型的機構?
比較 Ertas 和 Modal Labs 用於 AI 機構微調工作流程。涵蓋 GUI vs 代碼的分歧、多客戶管理、成本可預測性和 GGUF 部署。
Modal Labs 是當你想編寫 Python 裝飾器並獲得自動擴展 GPU 時使用的工具。Ertas 是當你想上傳 CSV 並點擊「訓練」時 使用的工具。它們解決了相同的底層需求——微調的 GPU 計算——但針對完全不同的用戶。
對於 AI 機構來說,這個選擇超越了個人偏好。你選擇的平台影響你的團隊讓非 ML 成員入職的能力、管理多個客戶模型、預測月費,以及交付客戶可以在本地部署的 GGUF 文件。
Modal Labs 是什麼
Modal 是無服務器 GPU 基礎設施。開發體驗以 Python 為先:你編寫訓練腳本,添加 Modal 裝飾器,Modal 處理啟動 GPU 實例、安裝依賴項、管理存儲和自動擴展。
典型的 Modal 微調設置如下:
import modal
app = modal.App("fine-tune-llm")
image = modal.Image.debian_slim().pip_install("unsloth", "torch", "transformers")
@app.function(gpu="A100", timeout=3600, image=image)
def fine_tune(training_data_path: str):
from unsloth import FastLanguageModel
# your training code here
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="unsloth/llama-3-8b-instruct",
max_seq_length=2048,
)
# ... training loop ...
model.save_pretrained("./output")
@app.local_entrypoint()
def main():
fine_tune.remote("s3://your-bucket/train.jsonl")這確實很強大。你在幾分鐘內就能獲得 A100 存取,你的代碼完全按照編寫的方式運行,你只為使用的部分付費。如果你是想要對訓練循環完全控制的 ML 工程師,Modal 非常出色。
如果你不是 ML 工程師——或者如果你需要你的非技術帳戶管理員在不理解 PyTorch 的情況下為客戶 X 運行訓練工作——Modal 就不起作用了。
Ertas 是什麼
Ertas 是一個視覺化微調平台。工作流程是:上傳 JSONL 資料集 → 在 UI 中配置訓練 → 在雲端 GPU 上訓練 → 匯出 GGUF → 在本地運行。不需要 Python、不需要 YAML、不需要理解梯度累積。
專門針對機構,Ertas 為每個客戶提供獨立專案(各有自己的畫布與執行歷史)、不設上限的平行訓練(實際上限是你的點數餘額),以及在共用基礎模型之上按客戶管理 LoRA 適配器。
比較表
| 維度 | Ertas | Modal Labs |
|---|---|---|
| 介面 | 視覺化 Web UI | Python 代碼 |
| 設置時間 | 約 2 分鐘 | 約 60 分鐘(環境 + 代碼) |
| 所需 ML 專業知識 | 無 | 顯著 |
| 團隊存取 | 共用帳號或匯出成品 | API 密鑰共享 / Python 代碼存取 |
| 客戶專案管理 | 內置,每個客戶一個專案 | 自己構建 |
| GGUF 匯出 | 一鍵 | 手動(llama.cpp convert.py) |
| 本地部署支持 | 是(Ollama/LM Studio) | 否(自己處理) |
| 成本模型 | 月訂閱,固定 | 按 GPU 秒,可變 |
| 成本可預測性 | 高 | 低(取決於工作時長/GPU 類型) |
| 並發工作 | 無硬性上限(受點數限制) | 無限(昂貴) |
| 自訂訓練循環 | 否 | 是(完整 Python) |
| 實驗追蹤 | 視覺畫布,並排 | 無內置(添加 Weights & Biases) |
| 資料集工具 | 驗證、合成、評估 | 自帶 |
| 適合誰 | 機構、非 ML 建設者 | 想要 GPU 計算的 ML 工程師 |
機構視角
機構有五個與個人 ML 工程師不同的要求:
1. 非 ML 團隊成員需要參與。 你的帳戶管理員需要上傳客戶資料並運行重新訓練。你的專案經理需要查看訓練結果。這些人都不應該需要理解 Python 裝飾器或 Hugging Face 資料整理器。Ertas 對他們有效;Modal 不行。
2. 客戶工作必須保持井然有序。 當你為 8 個不同客戶微調模型時,搞不清楚哪個資料集訓練出哪個模型是嚴重風險。Ertas 給每個客戶自己的專案,各有自己的畫布與執行歷史,所以每個模型都能追溯回產生它的那次執行。Modal 有你自己構建的任何東西。
3. 成本需要可預測。 機構計費基於固定固定費。如果你一個月的模型維護底層成本在 40 到 400 美元之間波動,取決於運行了多少工作,利潤規劃就變得不可能。Ertas Pro 每月 $50是固定的。Modal 的按秒計費則不固定。
4. 通常需要 GGUF 輸出。 大多數機構客戶希望在自己的基礎設施上運行模型,而非無限期地支付 API 費用。Ertas 的一鍵 GGUF 匯出 vs 從 Modal 檢查點手動轉換是顯著的操作差異。
5. 多個並發工作。 當你有 10 個具有交錯重新訓練計劃的客戶時,你需要同時運行工作。兩個平台都不限制並發。在 Ertas,畫布上每個 Action Module 都是獨立工作,你的點數餘額就是實際上限。在 Modal,隊列管理由你自己構建。
機構的成本計算
情景:一家小型 AI 機構管理 8 個活躍客戶,每個每月需要 1 到 2 次訓練運行加評估。
Modal Labs 成本估計:
- 8 個客戶 × 1.5 次訓練運行 × A100 約 90 分鐘 = 每月約 18 GPU 小時
- Modal 上的 A100:約每小時 3 美元
- 總計算費:約每月 54 美元
- 加:編寫和維護訓練腳本的開發者時間(持續進行)
- 加:構建專案管理、評估工具、GGUF 轉換腳本
Ertas Pro 成本:
- 每月 $50
- 包含 400 個積分(輕鬆涵蓋 8 個客戶 × 1.5 次運行)
- 專案管理、評估、GGUF 匯出已包含
- 非 ML 團隊成員可以操作
在原始計算成本上,Modal 可能更便宜。但擁有成本的總成本——包括構建和維護訓練基礎設施的開發者時間——顯著改變了比較。
| 成本類別 | Modal Labs | Ertas Pro |
|---|---|---|
| 月平台/計算費 | 約 40–80 美元 | $50(固定) |
| 每月維護開發小時 | 每月 3–5 小時 @ 75 美元/小時 | 0 |
| 專案管理層 | 自己構建 | 已包含 |
| GGUF 轉換工具 | 自己構建 | 已包含 |
| 有效月總成本 | 約 265–455 美元 | $50 |
相同微調工作:並排
任務: 為客戶在 600 個客戶支持示例上微調 Qwen 2.5 7B。
Modal Labs 工作流程:
- 使用 Unsloth + Modal 裝飾器編寫訓練腳本(第一個客戶約 4 小時,後續客戶使用可重用代碼約 1 小時)