SaaS 產品團隊

    微調可直接整合到您 SaaS 產品中的自訂 AI 模型

    The Challenge

    SaaS 產品團隊面臨將 AI 整合到應用程式中的巨大壓力——投資者期望它,客戶要求它,競爭對手正在交付它。但使用通用基礎模型建構的現實令人沮喪。提示工程讓你完成 80%,然後你花數月追逐最後 20%,使用越來越脆弱的系統提示、少量範例和在你的特定領域術語上仍會產生虛構的檢索管線。

    營運負擔迅速累積。API 速率限制在尖峰時段節流您的吞吐量,按 token 定價使單位經濟不可預測,而每次模型供應商棄用週期都威脅著破壞生產中的功能。產品經理無法在他們無法控制的依賴上制定路線圖,工程團隊一個接一個的衝刺浪費在適應上游變更上,而非建構差異化的產品價值。

    The Solution

    透過 Ertas,產品工程團隊可以真正掌握 AI 功能背後的模型。在 Ertas Studio 中,機器學習工程師和後端開發者用產品本身的資料微調小巧的開源模型,參數規模從不到 1B 到 8B 不等,資料包括客服工單、使用者產生的內容、領域分類體系和內部知識庫。你可以上傳 JSONL 資料集、從 Hugging Face 匯入,或在 Data Craft 中建立資料集,由產品和領域專家審核並核准範例。訓練透過視覺化畫布在 Ertas 的雲端 GPU 上進行,多個訓練任務可以並行執行,方便團隊比較基礎模型和參數設定。最後得到的模型本身就懂產品的語言,不需要靠三段系統提示詞去勉強模仿。

    訓練好的模型歸你所有。從 Hub 下載完整的 safetensors 用於 vLLM 等伺服器端執行環境,或下載 GGUF 用於 llama.cpp 和 Ollama,再把它當成一項服務部署在自己的基礎設施上,沿用團隊現有的健康檢查、自動擴縮和監控儀表板。模型掌握在自己手中,上游停止支援不會再讓功能失效,吞吐量取決於你自己的運算資源,使用成本也比按 token 計費的 API 更可預測。如果希望由 Ertas 來營運,可以了解自適應模型端點:一個 API 對應一項任務,以你自己的請求和團隊回饋訓練出的客製模型在通過你的評估後接手愈來愈多的請求,困難的請求仍交給你正在使用的前沿模型。

    Key Features

    Studio

    貼合產品的微調

    Studio 的視覺化畫布讓產品團隊用自有資料集(功能文件、應用程式內的使用者互動、領域術語表)在 Ertas 的雲端 GPU 上進行 LoRA 微調。產品一有變動就可以重新訓練,也可以同時執行多個訓練任務來比較結果。

    Studio

    可供起步的開源基礎模型

    從 Studio 的開源模型目錄中挑選基礎模型,涵蓋 Gemma、Qwen、Llama、Mistral、Phi 和 LFM2.5,參數規模從 230M 到 8B,也可以從 Hugging Face 匯入相容的模型。上線前先確認每個模型的授權條款,並從足以勝任任務的最小模型開始。

    Hub

    像其他服務一樣執行

    從 Hub 下載訓練好的模型:完整的 safetensors 適用於 vLLM 等伺服器端執行環境,GGUF 適用於 llama.cpp 和 Ollama。把它部署在你自己的 API 閘道後方,沿用 SRE 團隊已在監控的自動擴縮、健康檢查、回復機制和延遲預算。執行時完全不依賴 Ertas。

    Studio

    在 Data Craft 中由專家審核

    在 Studio 的引導式資料集建置工具 Data Craft 中建立和清理訓練集。新增 USER 和 ASSISTANT 對話輪次,編輯範例並管理版本,追蹤哪些範例已由產品或領域專家核准。訓練資料會上傳到 Ertas 的雲端 GPU,因此請先刪除來自使用者的資料中的個人資訊,不再需要時也可以刪除資料集。

    Example Workflow

    一家開發專案管理軟體的 B2B SaaS 公司,希望推出一項 AI 功能,依團隊、優先順序和專案領域自動為新任務分類。產品團隊匯出 20 萬筆已分類的歷史任務,刪去自由文字中的客戶姓名和個人資料,整理成 JSONL 訓練集,並預留數千筆任務作為測試集。在 Ertas Studio 中,一位機器學習工程師分別在 Qwen 2.5 3B 和 Mistral 7B 上設定 LoRA 微調任務,兩者並行訓練。接著他下載兩個模型,用預留任務為它們評分,並與團隊做原型時使用的提示詞加 API 方案比較。表現較好的模型匯出為 safetensors,部署在應用程式 API 閘道後方的 vLLM 上,SRE 團隊像監控其他服務一樣監控它的延遲和錯誤率。團隊在下一個版本推出這項功能,並隨著新團隊和新專案領域出現,每季重新訓練一次。

    Related Resources

    Ship AI that runs on your users' devices.

    Start free with 150 credits after card verification. Paid plans from $20/mo USD.