LocalAI + Ertas

通过 LocalAI 兼容 OpenAI 的 API 服务器部署 Ertas 微调的模型，提供自托管的 OpenAI 即插即用替代方案，兼容任何使用 OpenAI API 格式的应用或库。

Overview

LocalAI 是一个开源的自托管 API 服务器，提供与 OpenAI API 规范完全兼容的即插即用替代。它支持文本生成、嵌入、音频转录、图像生成和函数调用——全部通过与应用程序调用 OpenAI 相同的 API 端点和请求格式。这意味着任何为 OpenAI API 构建的应用、SDK 或工具都可以通过简单更改基础 URL 重定向到 LocalAI，无需修改代码。

LocalAI 支持多种推理后端，包括 llama.cpp、whisper.cpp 和扩散模型，可在 CPU 和 GPU 硬件上运行。它处理模型管理、从 Hugging Face 自动下载 GGUF，并同时提供多个模型的服务。对于希望从云 AI API 迁移到自托管模型的组织——出于成本控制、数据隐私或合规要求——LocalAI 提供了最简单的路径：保留现有的应用代码，将 API 端点切换到运行在您自己基础设施上的服务器。

How Ertas Integrates

Ertas Studio 生产的微调模型针对您的特定用例进行了优化，而 LocalAI 使这些模型立即可被您技术栈中每一个支持 OpenAI API 协议的工具和应用访问。在 Ertas 中根据您的领域数据微调模型后——客服对话、编码模式、文档处理示例或专业内容——您将其导出为 GGUF 格式并在 LocalAI 中配置为模型。此后，任何调用您 LocalAI 端点的应用都会收到来自微调模型的响应。

这种组合对于用自托管微调模型替换 OpenAI API 使用的团队特别强大。无需重写应用代码，您只需部署带有 Ertas 训练模型的 LocalAI 并重定向 API 调用。客户支持机器人、文档处理器、编码工具和内部应用都可以继续使用其现有的 OpenAI 客户端库——但响应现在来自在您的数据上专门训练的模型，运行在您的硬件上，无按 token 计费且完全数据隐私。Ertas 处理智能定制，LocalAI 处理无缝 API 兼容性。

Getting Started

1
在 Ertas Studio 中为您的用例微调模型
整理领域特定的数据集并在 Ertas Studio 中微调模型。无论您是构建客服机器人、编码助手还是内容生成工具，都在代表您质量标准的示例上训练模型。
2
以 GGUF 格式导出模型
从 Ertas 以 GGUF 格式导出微调模型，选择适当的量化级别。内存受限环境选择 Q4_K_M，有足够 RAM 的硬件选择 Q8_0 以获得最高质量。
3
使用您的模型配置 LocalAI
安装 LocalAI 并将 GGUF 模型添加到其模型目录。创建模型配置 YAML 文件，指定上下文长度、提示模板和与模型要求匹配的推理参数。
4
将现有应用重定向到 LocalAI
更新 OpenAI 客户端配置中的基础 URL，指向您的 LocalAI 服务器。使用 openai Python 包、Node.js SDK 或 REST API 调用的应用无需代码更改——只需更新端点和模型名称。
5
扩展并监控您的部署
在生产环境中监控响应延迟和质量。使用 LocalAI 的多模型支持为不同任务提供不同的微调模型。在 Ertas 中改进模型时，替换 GGUF 文件即可升级，无需更改任何应用代码。