LLM 微調服務，從稽核到正式上線。
Ertas 是一家提供 LLM 微調服務的應用 AI 實驗室。我們以貴機構自己的資料針對一項任務訓練一個開放模型，依您的品質標準進行測試，並由 Ertas 代管運行，或部署在您自己的雲端或地端。我們與世界各地的機構合作。如果您在澳洲且資料必須留在境內，您自己位於澳洲區域的雲端帳戶或您自己的伺服器可以讓資料留在那裡。
LLM 微調專案包括哪些內容？
共五個階段，每個階段結束後由您決定是否繼續。概念驗證會在正式版建構開始前確定合適的模型規模和成本平衡點。
持續改進透過自適應模型端點實現。該端點目前僅限受邀使用，我們正在開發一個更精簡的版本，以便更廣泛地開放。
- 評估
- 免費稽核您的 AI 支出流向，以及哪些任務在大量重複。
- 準備
- 我們把您的範例和請求紀錄整理成訓練集和測試集。納入哪些內容由您的團隊審核。
- 建構
- 為期三到四週的概念驗證，找到符合您標準的合適規模模型。接著我們訓練正式模型。
- 運行
- 我們透過一個 API 提供服務：Ertas 代管、您自己的雲端或地端部署。
- 改進
- 新版本在背景以您的流量訓練，只有通過您的評估並獲得您的核准後才會上線。如果新版本未達標準，目前的模型繼續提供服務。
什麼時候適合做微調？
微調適合大量重複、格式穩定的任務：前沿模型已經能完成這項工作，而問題在於費用或回應時間。微調教給模型的是一種行為：您的輸出格式、您的分類方式、您的行文風格。
每天都在變化的知識應交給檢索，許多專案兩者並用。持續預訓練與微調介紹了領域知識如何進入模型。開放式工作，或每週仍在變化的流程，通常還不適合，稽核會告訴您。
如何判斷微調後的模型是否夠好？
訓練之前，我們會以您自己的範例建構測試集，並與您的團隊商定品質標準。每個模型版本在承接流量之前都要以它評分。
方法沿用我們已發表的研究：凍結的評測協定、事先設定的門檻和信賴區間。領域專用 LLM 評估逐步講解了這套方法。
常見問題。
Ertas 微調哪些模型？
開放模型，依任務選擇。概念驗證會找到能達到您品質標準的合適規模模型，並在更好的基礎模型發布後重新訓練。
LLM 微調需要多久？
在稽核和資料準備之後，概念驗證需要三到四週。您核准結果後，即進入正式模型階段。
我們擁有微調後的模型嗎？
模型以您的資料訓練、由您的團隊塑造，預設在 Ertas 上運行。在滿足最低合作承諾的前提下，可取得模型的所有權並完成交付。
我們自己的工程師可以微調模型嗎？
可以。您的機器學習工程師可以在 Ertas Studio 中自行訓練模型，Enterprise 方案還提供前沿 GPU、客製化額度分配和專屬支援。