ML 工程師
ML 工程師可以用一個視覺化工作流程,取代由 CLI 工具、Jupyter notebook 和手動搬移檔案拼湊起來的零散流程。Ertas Studio 把資料集建置、在託管雲端 GPU 上的 LoRA 微調、並行訓練以及 GGUF 或 safetensors 匯出串成一體,匯出的模型歸你所有,可以在任何地方執行。
The Challenge
開源微調生態系統功能強大但高度碎片化。Unsloth 最佳化了訓練速度,也能匯出 GGUF,但訓練和部署都只能在你自備的硬體上進行。Axolotl 提供靈活的配置但需要手動處理 YAML 且沒有實驗追蹤。LLaMA-Factory 給你一個網頁 UI 但將你鎖定在其特定的抽象層中。每個工具都出色地解決了拼圖的一塊而忽略其餘部分,讓 ML 工程師不得不用 shell 腳本、notebook 單元格和資料夾命名慣例來黏合工作流程。一旦有團隊成員加入,或專案停了兩週再恢復,這些做法必然會中斷。GPU 記憶體限制增加了另一層摩擦:工程師可能花一整天來找出量化、批次大小、梯度累積和序列長度的正確組合,以使訓練運行適合其可用硬體。
部署差距是大多數微調專案失敗的地方。ML 工程師在 notebook 中產出了一組漂亮的適配器權重,達到了強勁的評估指標,然後面臨這個問題:接下來呢?轉換為 GGUF 需要找到支持該模型架構的正確 llama.cpp 提交。量化到正確的位元深度需要在 Q4_K_M、Q5_K_M 和 Q6_K 變體之間反覆試驗。沒有標準方法來追蹤哪個實驗產出了哪個適配器、使用了哪個資料集版本,或各次運行的評估指標如何比較。當利害關係人問「你能重現三週前的模型嗎?」誠實的答案通常是「大概可以,如果我能找到正確的 notebook 且訓練資料沒有被覆蓋的話。」如果無法重現,也說不清哪個模型出自哪份資料、哪組設定,微調模型就很難真正上線。
The Solution
Ertas Studio 把 ML 工程師平常要從多個開源工具中自行拼裝的環節,整合進一個視覺化工作流程。在畫布上,你把基礎模型、資料集、訓練設定和 LoRA 設定接到一個 Fine-Tune 模組上,從業人員需要的參數都能直接調整:學習率、步數或訓練輪數、批次大小和梯度累積、最佳化器,以及 LoRA 的 rank、alpha、dropout 和目標模組。資料集可以來自 JSONL 上傳、Hugging Face 匯入,或 Studio 的引導式資料集建置工具 Data Craft,在那裡可以編輯範例、管理版本,並追蹤哪些範例已經核准。訓練在 Ertas 託管的雲端 GPU 上進行,不必和配額周旋,也不用除錯驅動程式,訓練集會為本次訓練上傳到 Ertas。
並行訓練大幅縮短參數掃描的等待時間:複製模組,每個副本只改一個參數,然後全部啟動。Run 面板會保留每次訓練的設定快照、最終損失、消耗的點數和執行時間,資料集也會持續保存,因此三週前的結果可以追溯到對應的資料和設定,並重新訓練出來。每次訓練完成後會顯示幾筆推論樣本,用來快速檢查輸出是否連貫,真正的評估則在下載模型後用你自己的預留測試集進行。你可以匯出 Q4_K_M 的 GGUF 用於 llama.cpp、Ollama 或 LM Studio,匯出 LoRA 適配器,或在付費方案中匯出完整的 safetensors 用於 vLLM 等伺服器端執行環境,不必再去找能用的 llama.cpp 提交版本。Hub 會列出你訓練過的所有模型,檔案歸你所有,可以在任何地方執行,執行時不依賴 Ertas。
Key Features
可完整設定的視覺化畫布
在 Studio 畫布上組織訓練:一個 Fine-Tune 模組,接上基礎模型、資料集、訓練設定和 LoRA 設定。所有參數都可以編輯,每次訓練都會保存設定快照。還可以透過連結分享配方,隊友能把它匯入自己的工作區直接執 行。
基礎模型比較
用同一份資料集和設定,在多個目錄模型上並行訓練(Llama 3.1 8B、Mistral 7B、Qwen 2.5 7B、Phi-4 Mini、Gemma、LFM2.5 等),也可以從 Hugging Face 匯入相容的模型。先在 Run 面板比較最終損失,再用你自己的預留提示詞為下載的模型評分,做出選擇。
託管訓練 GPU
在 Ertas 託管的雲端 GPU 上啟動微調,不必處理雲端配額、CUDA 驅動程式衝突或執行個體設定。訓練會消耗點數,目錄模型訓練失敗會自動退還點數,取消的訓練只依實際使用的分鐘數計費。
隨處可執行的匯出
Hub 會列出你訓練過的所有模型。可以下載 GGUF 用於 llama.cpp、Ollama 和 LM Studio,下載 LoRA 適配器自行合併或重新量化,也可以下載完整的 safetensors 用於 vLLM 等伺服器端執行環境。模型歸你所有,執行時不依賴 Ertas。
Example Workflow
一家成長期新創公司的 ML 工程師接到任務:把 GPT-4o 在公司核心任務上的表現(客戶詢問分類、商品推薦和摘要生成)蒸餾到一個可在裝置端部署的小模型中。確認服務商條款允許之後,他用公司自己的提示詞產生 50,000 筆 GPT-4o 輸出作為資料集,預留 2,000 筆當作測試集,其餘以 JSONL 格式上傳到 Studio。在畫布上,他用相同設定讓 Qwen 2.5 3B、Llama 3.2 3B 和 Phi-4 Mini 進行基礎模型比較,並在初期表現最好的候選模型上做 LoRA rank 掃描(8、16 和 32),所有任務並行執行。初步查看損失曲線後,有兩個變體明顯落後,工程師取消了它們,被保留的點數隨即釋回可用餘額。其餘訓練完成後,他下載每個 GGUF,用團隊自己的評分腳本跑完預留測試集,並依任務類別抽查輸出。勝出的模型透過 llama.cpp 整合進應用程式,而它在 Studio 中的訓練紀錄保留了產生它的設定和資料集,下一次重新訓練可以從已知的基準出發。
Related Resources
Fine-Tuning(微調)
LoRA
QLoRA
GGUF
Inference(推論)
Model Merging(模型合併)
How to Fine-Tune an LLM Locally: 6 Steps (2026)
Fine-Tuning Llama 3: A Practical Guide for Your Use Case
Why We Built a Canvas Interface for Machine Learning
Hugging Face
Ollama
llama.cpp
vLLM
Ertas for SaaS Product Teams
Ertas for Code Generation
Ertas for Data Extraction
Ship AI that runs on your users' devices.
Start free with 150 credits after card verification. Paid plans from $20/mo USD.