Bolt.new + Ertas

将微调模型部署为 Bolt.new 构建应用的 AI 后端，用本地推理取代昂贵的云 API 调用，无需按 token 付费即可实现规模化。

Overview

Bolt.new 改变了开发者构建全栈应用的方式，用户只需用自然语言描述应用，即可在几分钟内获得一个完整的、可部署的项目。从 SaaS 仪表板到内部工具，Bolt.new 生成前端组件、后端 API 路由、数据库架构和部署配置——极大地压缩了从概念到可运行原型的时间。它已成为独立开发者、黑客马拉松团队和需要快速交付 MVP 的机构的首选工具。

Bolt 生成应用中内置的 AI 功能几乎总是依赖于 OpenAI 或 Anthropic 等云 API 提供商。Bolt 构建应用中的每个聊天界面、内容生成器或智能功能都会向这些外部服务发送请求，随着用户增长线性累积按 token 计费的费用。对于推出产品的独立开发者来说，这造成了一个尴尬的局面：应用越成功，AI 成本就越不可持续。一个每月处理 10,000 次对话的聊天机器人很容易将早期产品的全部收入消耗在 API 费用上。

How Ertas Integrates

Ertas 通过让您针对应用的特定用例微调模型并部署在自己的基础设施上来解决成本扩展问题。无需为通用模型处理您应用的狭窄任务——无论是回答产品问题、生成特定内容格式还是分类用户输入——您可以训练一个更小的专业模型，以极少的计算成本完成相同的任务。Ertas Studio 处理整个训练管道，从数据集准备到实验跟踪再到 GGUF 导出。

在 Bolt 生成的代码库中，切换非常简单。Bolt 通常使用 OpenAI SDK 或直接 fetch 调用聊天补全端点来构建 AI 功能。由于 Ollama 暴露了相同的 API，您只需在环境配置中更改基础 URL——从 https://api.openai.com/v1 改为 http://localhost:11434/v1——并更新模型名称。无需更改请求格式、响应解析或流式逻辑。您的 Bolt 构建的应用继续像以前一样工作，但推理现在在您控制的硬件上以固定成本运行。

Getting Started

1
确定 Bolt 构建应用中的 AI 任务
确定您应用的 AI 功能实际做什么——聊天回复、内容生成、分类、摘要——并收集定义预期行为的代表性输入输出示例。
2
在 Ertas Studio 中微调任务专用模型
将您的示例作为训练数据集上传，选择适合您任务复杂度的基础模型，并运行微调作业。针对特定任务，7B 或 8B 参数模型通常能匹配云 API 的质量。
3
使用 Ollama 部署模型
将训练好的模型导出为 GGUF，使用 Ollama 部署，并验证推理是否正常工作。用您的 Bolt 应用发送的相同提示进行测试，以确认响应格式兼容性。
4
更新 Bolt 应用的端点配置
将 Bolt 生成代码中的 API 基础 URL 从云提供商更改为您的 Ollama 地址。在环境变量中更新模型名称。由于 Ollama 使用相同的 API 格式，无需其他代码更改。
5
部署并在生产环境中监控
使用本地推理后端部署更新后的 Bolt 应用。通过 Ertas Cloud 的仪表板监控响应延迟和质量，并在流量增长时独立于应用服务器扩展推理服务器。