OpenRouter + Ertas

透過 OpenRouter 的統一 API 存取 Ertas 訓練的模型以及數百個其他 LLM，具有自動故障轉移路由和成本最佳化。

Overview

OpenRouter 是一個統一 API 閘道，透過單一端點提供對來自多個提供者的數百個大型語言模型的存取。開發者無需分別管理 OpenAI、Anthropic、Google 和數十個開源模型託管商的 API 金鑰、SDK 和計費關係，只需與 OpenRouter 整合一次即可獲得對整個模型生態系統的存取。OpenRouter 自動處理路由、負載平衡、速率限制和提供者故障轉移。

除了聚合之外，OpenRouter 還提供智慧模型選擇工具。開發者可以在承諾之前根據成本、速度和品質指標並排比較模型。該平台支援自訂模型託管，意味著組織可以在公共模型旁邊註冊自己的微調模型，並使用相同的 API 在它們之間路由。這使 OpenRouter 成為希望透過託管 API 層向內部或外部使用者提供 Ertas 訓練模型的團隊的天然分發和部署渠道。

How Ertas Integrates

在 Ertas Studio 中微調模型後，您可以在 OpenRouter 中將其註冊為自訂模型端點。這讓您的團隊——或外部使用者——可以透過標準 OpenRouter API 存取您的 Ertas 訓練模型，與他們使用的任何其他模型並列。好處是操作簡便：無需為微調模型管理單獨的推理端點和 API 層，您可以利用 OpenRouter 現有的驗證、速率限制、使用追蹤和計費基礎設施。

對於使用不同模型處理不同任務的團隊，OpenRouter 的路由功能與 Ertas 訓練的專家模型搭配良好。您可以將複雜的領域特定查詢路由到 Ertas 訓練的模型，同時將簡單任務回退到通用模型。OpenRouter 的 API 與 OpenAI SDK 完全相容，因此任何基於 OpenAI 客戶端函式庫建構的應用程式都可以透過僅更改基礎 URL 和模型名稱來切換到使用您的微調模型——使 Ertas 模型在整個開源推理生態系統中具有可攜性。

Getting Started

1
在 Ertas Studio 中微調您的模型
在您的資料上訓練領域特定模型。選擇適合您效能和成本需求的基礎模型和量化格式。
2
部署到推理端點
透過 Ertas Cloud、vLLM 或任何具有公開或 VPN 可存取端點的生產級推理伺服器提供模型服務。
3
在 OpenRouter 中註冊模型
在 OpenRouter 的儀表板中將 Ertas 訓練的模型新增為自訂模型。設定端點 URL、模型功能和存取權限。
4
設定路由規則
設定路由偏好以將特定查詢類型或應用程式導向您的微調模型。為高可用性場景設定後備模型。
5
與 OpenRouter API 整合
使用與 OpenAI SDK 相容的 OpenRouter API 從任何應用程式存取您的模型。透過 OpenRouter 儀表板追蹤使用量和成本。

python

from openai import OpenAI

# Use OpenRouter to access your Ertas-trained model
client = OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="sk-or-your-openrouter-key",
)

response = client.chat.completions.create(
    model="your-org/ertas-legal-7b",  # Your custom model on OpenRouter
    messages=[
        {"role": "system", "content": "You are a legal document analyst."},
        {"role": "user", "content": "Summarize the key obligations in this contract."},
    ],
    temperature=0.1,
    max_tokens=1024,
)

print(response.choices[0].message.content)

使用標準 OpenAI Python SDK 透過 OpenRouter 的統一 API 存取您的 Ertas 訓練模型。