LocalAI + Ertas

透過 LocalAI 的 OpenAI 相容 API 伺服器部署 Ertas 微調的模型，提供自託管的 OpenAI 即插即用替代方案，適用於任何期望 OpenAI API 格式的應用程式或函式庫。

Overview

LocalAI 是一個開源、自託管的 API 伺服器，提供 OpenAI API 規範的即插即用替代品。它支援文字生成、嵌入、音訊轉錄、圖像生成和函式呼叫——全部透過與應用程式呼叫 OpenAI 相同的 API 端點和請求格式。這意味著任何為 OpenAI API 建構的應用程式、SDK 或工具只需更改基礎 URL 即可重新導向到 LocalAI，無需更改程式碼。

LocalAI 支援多種推理後端，包括 llama.cpp、whisper.cpp 和擴散模型，在 CPU 和 GPU 硬體上運行。它處理模型管理、從 Hugging Face 自動下載 GGUF，並同時服務多個模型。對於希望從雲端 AI API 遷移到自託管模型的組織——無論是為了成本控制、資料隱私還是法規遵循——LocalAI 提供最簡單的路徑：保留現有應用程式程式碼，將 API 端點切換到在自己基礎設施上運行的伺服器。

How Ertas Integrates

Ertas Studio 產生針對您特定使用場景最佳化的微調模型，而 LocalAI 使這些模型能夠立即被您技術堆疊中每個使用 OpenAI API 協議的工具和應用程式存取。在 Ertas 中微調您的領域資料模型後——客戶支援對話、程式設計模式、文件處理範例或專業內容——您以 GGUF 格式匯出並在 LocalAI 中設定為模型。從那時起，任何呼叫 LocalAI 端點的應用程式都會從您的微調模型獲得回應。

這種組合對於將 OpenAI API 使用替換為自託管微調模型的團隊特別強大。無需重寫應用程式程式碼，您只需部署帶有 Ertas 訓練模型的 LocalAI 並重新導向 API 呼叫。客戶支援機器人、文件處理器、程式設計工具和內部應用程式都繼續使用現有的 OpenAI 客戶端函式庫運作——但回應現在來自專門在您的資料上訓練、在您的硬體上運行的模型，沒有按令牌成本且完全保護資料隱私。Ertas 處理智慧自訂，LocalAI 處理無縫 API 相容性。

Getting Started

1
在 Ertas Studio 中為您的使用場景微調模型
策劃領域特定資料集並在 Ertas Studio 中微調模型。無論您是建構客戶支援機器人、程式設計助手還是內容生成工具，都在代表您品質標準的範例上訓練模型。
2
以 GGUF 格式匯出模型
從 Ertas 以 GGUF 格式匯出微調模型並選擇適當的量化級別。記憶體受限環境選擇 Q4_K_M，硬體 RAM 充足時選擇 Q8_0 以獲得最高品質。
3
使用您的模型設定 LocalAI
安裝 LocalAI 並將您的 GGUF 模型新增到其模型目錄。建立模型設定 YAML 檔案，指定匹配模型需求的上下文長度、提示範本和推理參數。
4
將現有應用程式重新導向到 LocalAI
更新 OpenAI 客戶端設定中的基礎 URL 以指向您的 LocalAI 伺服器。使用 openai Python 套件、Node.js SDK 或 REST API 呼叫的應用程式無需更改程式碼——只需要更新端點和模型名稱。
5
擴展並監控您的部署
在生產中監控回應延遲和品質。使用 LocalAI 的多模型支援為不同任務提供不同的微調模型。當您在 Ertas 中改善模型時，替換 GGUF 檔案即可升級，無需更改任何應用程式程式碼。