Back to blog
    Ertas vs Modal Labs:哪個更適合為客戶微調模型的機構?
    ertasmodal-labscomparisonagencyfine-tuninggpu

    Ertas vs Modal Labs:哪個更適合為客戶微調模型的機構?

    比較 Ertas 和 Modal Labs 用於 AI 機構微調工作流程。涵蓋 GUI vs 代碼的分歧、多客戶管理、成本可預測性和 GGUF 部署。

    EErtas Team·

    Modal Labs 是當你想編寫 Python 裝飾器並獲得自動擴展 GPU 時使用的工具。Ertas 是當你想上傳 CSV 並點擊「訓練」時使用的工具。它們解決了相同的底層需求——微調的 GPU 計算——但針對完全不同的用戶。

    對於 AI 機構來說,這個選擇超越了個人偏好。你選擇的平台影響你的團隊讓非 ML 成員入職的能力、管理多個客戶模型、預測月費,以及交付客戶可以在本地部署的 GGUF 文件。

    Modal 是無服務器 GPU 基礎設施。開發體驗以 Python 為先:你編寫訓練腳本,添加 Modal 裝飾器,Modal 處理啟動 GPU 實例、安裝依賴項、管理存儲和自動擴展。

    典型的 Modal 微調設置如下:

    import modal
    
    app = modal.App("fine-tune-llm")
    image = modal.Image.debian_slim().pip_install("unsloth", "torch", "transformers")
    
    @app.function(gpu="A100", timeout=3600, image=image)
    def fine_tune(training_data_path: str):
        from unsloth import FastLanguageModel
        # your training code here
        model, tokenizer = FastLanguageModel.from_pretrained(
            model_name="unsloth/llama-3-8b-instruct",
            max_seq_length=2048,
        )
        # ... training loop ...
        model.save_pretrained("./output")
    
    @app.local_entrypoint()
    def main():
        fine_tune.remote("s3://your-bucket/train.jsonl")

    這確實很強大。你在幾分鐘內就能獲得 A100 存取,你的代碼完全按照編寫的方式運行,你只為使用的部分付費。如果你是想要對訓練循環完全控制的 ML 工程師,Modal 非常出色。

    如果你不是 ML 工程師——或者如果你需要你的非技術帳戶管理員在不理解 PyTorch 的情況下為客戶 X 運行訓練工作——Modal 就不起作用了。

    Ertas 是什麼

    Ertas 是一個視覺化微調平台。工作流程是:上傳 JSONL 資料集 → 在 UI 中配置訓練 → 在雲端 GPU 上訓練 → 匯出 GGUF → 在本地運行。不需要 Python、不需要 YAML、不需要理解梯度累積。

    專門針對機構,Ertas 添加了按客戶標記的專案(每個客戶的資料集和模型被隔離)、團隊席位(Agency Pro 最多 15 個)、並發工作槽(最多 8 個),以及按客戶的 LoRA 適配器管理。

    比較表

    維度ErtasModal Labs
    介面視覺化 Web UIPython 代碼
    設置時間約 2 分鐘約 60 分鐘(環境 + 代碼)
    所需 ML 專業知識顯著
    團隊存取基於角色的席位(Agency 5 個)API 密鑰共享 / Python 代碼存取
    客戶專案管理內置,按客戶標記自己構建
    GGUF 匯出一鍵手動(llama.cpp convert.py)
    本地部署支持是(Ollama/LM Studio)否(自己處理)
    成本模型月訂閱,固定按 GPU 秒,可變
    成本可預測性低(取決於工作時長/GPU 類型)
    並發工作最多 8 個(Agency Pro)無限(昂貴)
    自訂訓練循環是(完整 Python)
    實驗追蹤視覺畫布,並排無內置(添加 Weights & Biases)
    資料集工具驗證、合成、評估自帶
    適合誰機構、非 ML 建設者想要 GPU 計算的 ML 工程師

    機構視角

    機構有五個與個人 ML 工程師不同的要求:

    1. 非 ML 團隊成員需要參與。 你的帳戶管理員需要上傳客戶資料並運行重新訓練。你的專案經理需要查看訓練結果。這些人都不應該需要理解 Python 裝飾器或 Hugging Face 資料整理器。Ertas 對他們有效;Modal 不行。

    2. 客戶資料必須隔離。 當你為 8 個不同客戶微調模型時,在共享 Python 環境中混合他們的資料是嚴重風險。Ertas 有帶明確隔離的按客戶標記專案。Modal 有你自己構建的任何東西。

    3. 成本需要可預測。 機構計費基於固定固定費。如果你一個月的模型維護底層成本在 40 到 400 美元之間波動,取決於運行了多少工作,利潤規劃就變得不可能。Ertas Agency 每月 69.50 美元是固定的。Modal 的按秒計費則不固定。

    4. 通常需要 GGUF 輸出。 大多數機構客戶希望在自己的基礎設施上運行模型,而非無限期地支付 API 費用。Ertas 的一鍵 GGUF 匯出 vs 從 Modal 檢查點手動轉換是顯著的操作差異。

    5. 多個並發工作。 當你有 10 個具有交錯重新訓練計劃的客戶時,你需要同時運行工作。Ertas Agency 支持 3 個並發工作(Agency Pro:8 個)。Modal 支持無限並發——但你自己構建隊列管理。

    機構的成本計算

    情景:一家小型 AI 機構管理 8 個活躍客戶,每個每月需要 1 到 2 次訓練運行加評估。

    Modal Labs 成本估計:

    • 8 個客戶 × 1.5 次訓練運行 × A100 約 90 分鐘 = 每月約 18 GPU 小時
    • Modal 上的 A100:約每小時 3 美元
    • 總計算費:約每月 54 美元
    • 加:編寫和維護訓練腳本的開發者時間(持續進行)
    • 加:構建專案管理、評估工具、GGUF 轉換腳本

    Ertas Agency 成本:

    • 每月 69.50 美元(早鳥)
    • 包含 400 個積分(輕鬆涵蓋 8 個客戶 × 1.5 次運行)
    • 專案管理、評估、GGUF 匯出已包含
    • 非 ML 團隊成員可以操作

    在原始計算成本上,Modal 可能更便宜。但擁有成本的總成本——包括構建和維護訓練基礎設施的開發者時間——顯著改變了比較。

    成本類別Modal LabsErtas Agency
    月平台/計算費約 40–80 美元69.50 美元(固定)
    每月維護開發小時每月 3–5 小時 @ 75 美元/小時0
    專案管理層自己構建已包含
    GGUF 轉換工具自己構建已包含
    團隊席位存取僅 API 密鑰5 個席位
    有效月總成本約 265–455 美元69.50 美元

    相同微調工作:並排

    任務: 為客戶在 600 個客戶支持示例上微調 Qwen 2.5 7B。

    Modal Labs 工作流程:

    1. 使用 Unsloth + Modal 裝飾器編寫訓練腳本(第一個客戶約 4 小時,後續客戶使用可重用代碼約 1 小時)
    2. 將資料上傳到 S3 或 Modal 存儲卷
    3. 運行 modal run train.py --data-path s3://...
    4. 等待 45 到 90 分鐘
    5. 從 Modal 存儲卷下載檢查點
    6. 運行 llama.cpp convert.py 匯出 GGUF(約 30 分鐘,包括設置)
    7. 用 Ollama 測試 GGUF
    8. 總計:45 到 90 分鐘訓練 + 2 到 3 小時設置(第一次)+ 1 小時 GGUF 轉換

    Ertas 工作流程:

    1. 在瀏覽器中上傳 JSONL
    2. 從模型下拉菜單中選擇 Qwen 2.5 7B
    3. 視覺化配置訓練設置
    4. 點擊「訓練」
    5. 等待 45 到 90 分鐘(相同的底層 GPU 時間)
    6. 在 UI 中審閱評估指標
    7. 點擊「匯出 GGUF」
    8. 下載並在 Ollama 中載入
    9. 總計:45 到 90 分鐘訓練 + 15 分鐘主動工作
    • 你的團隊由想要編寫自訂訓練循環的 ML 工程師組成
    • 你需要奇特的架構(自訂注意力模式、多模態等)
    • 你想要直接與 Weights & Biases 或其他 ML 工具整合
    • 你有現有的 PyTorch 代碼想要擴展
    • 你在做需要修改訓練循環的研究

    Ertas 勝出的情況

    • 你在經營一個有非 ML 團隊成員的機構
    • 你需要客戶資料隔離和專案管理
    • 你需要 GGUF 輸出用於客戶本地部署
    • 你想要機構計費的可預測月費
    • 你需要 3 個以上的並發工作,而無需自己管理隊列
    • 你想要在 30 分鐘而非 3 小時內讓新客戶入職

    Ship AI that runs on your users' devices.

    Ertas early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.

    延伸閱讀

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.

    Keep reading