ML 工程師

    ML 工程師可以用一個視覺化工作流程,取代由 CLI 工具、Jupyter notebook 和手動搬移檔案拼湊起來的零散流程。Ertas Studio 把資料集建置、在託管雲端 GPU 上的 LoRA 微調、並行訓練以及 GGUF 或 safetensors 匯出串成一體,匯出的模型歸你所有,可以在任何地方執行。

    The Challenge

    開源微調生態系統功能強大但高度碎片化。Unsloth 最佳化了訓練速度,也能匯出 GGUF,但訓練和部署都只能在你自備的硬體上進行。Axolotl 提供靈活的配置但需要手動處理 YAML 且沒有實驗追蹤。LLaMA-Factory 給你一個網頁 UI 但將你鎖定在其特定的抽象層中。每個工具都出色地解決了拼圖的一塊而忽略其餘部分,讓 ML 工程師不得不用 shell 腳本、notebook 單元格和資料夾命名慣例來黏合工作流程。一旦有團隊成員加入,或專案停了兩週再恢復,這些做法必然會中斷。GPU 記憶體限制增加了另一層摩擦:工程師可能花一整天來找出量化、批次大小、梯度累積和序列長度的正確組合,以使訓練運行適合其可用硬體。

    部署差距是大多數微調專案失敗的地方。ML 工程師在 notebook 中產出了一組漂亮的適配器權重,達到了強勁的評估指標,然後面臨這個問題:接下來呢?轉換為 GGUF 需要找到支持該模型架構的正確 llama.cpp 提交。量化到正確的位元深度需要在 Q4_K_M、Q5_K_M 和 Q6_K 變體之間反覆試驗。沒有標準方法來追蹤哪個實驗產出了哪個適配器、使用了哪個資料集版本,或各次運行的評估指標如何比較。當利害關係人問「你能重現三週前的模型嗎?」誠實的答案通常是「大概可以,如果我能找到正確的 notebook 且訓練資料沒有被覆蓋的話。」如果無法重現,也說不清哪個模型出自哪份資料、哪組設定,微調模型就很難真正上線。

    The Solution

    Ertas Studio 把 ML 工程師平常要從多個開源工具中自行拼裝的環節,整合進一個視覺化工作流程。在畫布上,你把基礎模型、資料集、訓練設定和 LoRA 設定接到一個 Fine-Tune 模組上,從業人員需要的參數都能直接調整:學習率、步數或訓練輪數、批次大小和梯度累積、最佳化器,以及 LoRA 的 rank、alpha、dropout 和目標模組。資料集可以來自 JSONL 上傳、Hugging Face 匯入,或 Studio 的引導式資料集建置工具 Data Craft,在那裡可以編輯範例、管理版本,並追蹤哪些範例已經核准。訓練在 Ertas 託管的雲端 GPU 上進行,不必和配額周旋,也不用除錯驅動程式,訓練集會為本次訓練上傳到 Ertas。

    並行訓練大幅縮短參數掃描的等待時間:複製模組,每個副本只改一個參數,然後全部啟動。Run 面板會保留每次訓練的設定快照、最終損失、消耗的點數和執行時間,資料集也會持續保存,因此三週前的結果可以追溯到對應的資料和設定,並重新訓練出來。每次訓練完成後會顯示幾筆推論樣本,用來快速檢查輸出是否連貫,真正的評估則在下載模型後用你自己的預留測試集進行。你可以匯出 Q4_K_M 的 GGUF 用於 llama.cpp、Ollama 或 LM Studio,匯出 LoRA 適配器,或在付費方案中匯出完整的 safetensors 用於 vLLM 等伺服器端執行環境,不必再去找能用的 llama.cpp 提交版本。Hub 會列出你訓練過的所有模型,檔案歸你所有,可以在任何地方執行,執行時不依賴 Ertas。

    Key Features

    Studio

    可完整設定的視覺化畫布

    在 Studio 畫布上組織訓練:一個 Fine-Tune 模組,接上基礎模型、資料集、訓練設定和 LoRA 設定。所有參數都可以編輯,每次訓練都會保存設定快照。還可以透過連結分享配方,隊友能把它匯入自己的工作區直接執行。

    Studio

    基礎模型比較

    用同一份資料集和設定,在多個目錄模型上並行訓練(Llama 3.1 8B、Mistral 7B、Qwen 2.5 7B、Phi-4 Mini、Gemma、LFM2.5 等),也可以從 Hugging Face 匯入相容的模型。先在 Run 面板比較最終損失,再用你自己的預留提示詞為下載的模型評分,做出選擇。

    Studio

    託管訓練 GPU

    在 Ertas 託管的雲端 GPU 上啟動微調,不必處理雲端配額、CUDA 驅動程式衝突或執行個體設定。訓練會消耗點數,目錄模型訓練失敗會自動退還點數,取消的訓練只依實際使用的分鐘數計費。

    Hub

    隨處可執行的匯出

    Hub 會列出你訓練過的所有模型。可以下載 GGUF 用於 llama.cpp、Ollama 和 LM Studio,下載 LoRA 適配器自行合併或重新量化,也可以下載完整的 safetensors 用於 vLLM 等伺服器端執行環境。模型歸你所有,執行時不依賴 Ertas。

    Example Workflow

    一家成長期新創公司的 ML 工程師接到任務:把 GPT-4o 在公司核心任務上的表現(客戶詢問分類、商品推薦和摘要生成)蒸餾到一個可在裝置端部署的小模型中。確認服務商條款允許之後,他用公司自己的提示詞產生 50,000 筆 GPT-4o 輸出作為資料集,預留 2,000 筆當作測試集,其餘以 JSONL 格式上傳到 Studio。在畫布上,他用相同設定讓 Qwen 2.5 3B、Llama 3.2 3B 和 Phi-4 Mini 進行基礎模型比較,並在初期表現最好的候選模型上做 LoRA rank 掃描(8、16 和 32),所有任務並行執行。初步查看損失曲線後,有兩個變體明顯落後,工程師取消了它們,被保留的點數隨即釋回可用餘額。其餘訓練完成後,他下載每個 GGUF,用團隊自己的評分腳本跑完預留測試集,並依任務類別抽查輸出。勝出的模型透過 llama.cpp 整合進應用程式,而它在 Studio 中的訓練紀錄保留了產生它的設定和資料集,下一次重新訓練可以從已知的基準出發。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.