Bolt.new + Ertas

將微調模型部署為使用 Bolt.new 建構的應用程式的 AI 後端，以本地推理取代昂貴的雲端 API 呼叫，無需按令牌付費即可擴展。

Overview

Bolt.new 徹底改變了開發者建立全端應用程式的方式，讓他們用自然語言描述應用程式，即可在幾分鐘內獲得完整的可部署專案。從 SaaS 儀表板到內部工具，Bolt.new 生成前端元件、後端 API 路由、資料庫架構和部署設定——大幅縮短從概念到可運作原型的時間。它已成為需要快速交付 MVP 的獨立開發者、黑客松團隊和代理商的首選工具。

Bolt 生成的應用程式中內建的 AI 功能幾乎總是依賴於 OpenAI 或 Anthropic 等雲端 API 提供者。Bolt 建構的應用程式中的每個聊天介面、內容生成器或智慧功能都會向這些外部服務發送請求，產生隨使用者增長而線性增加的按令牌收費。對於推出產品的獨立開發者來說，這造成了一種不舒適的局面：應用程式越成功，AI 成本就越不可持續。一個每月處理 10,000 次對話的聊天機器人可能輕易消耗掉早期產品的全部收入。

How Ertas Integrates

Ertas 透過讓您專門為應用程式的使用場景微調模型並在自己的基礎設施上部署來解決成本擴展問題。您不必為通用模型處理應用程式的狹窄任務付費——無論是回答產品問題、生成特定內容格式還是分類使用者輸入——而是訓練一個更小的專業模型，以更低的運算成本完成相同的任務。Ertas Studio 處理整個訓練管線，從資料集準備到實驗追蹤再到 GGUF 匯出。

在 Bolt 生成的程式碼庫中的切換非常簡單。Bolt 通常使用 OpenAI SDK 或直接向聊天完成端點發送 fetch 呼叫來搭建 AI 功能。由於 Ollama 暴露了相同的 API，您只需要更改環境設定中的基礎 URL——從 https://api.openai.com/v1 改為 http://localhost:11434/v1——並更新模型名稱。無需更改請求格式、回應解析或串流邏輯。您的 Bolt 建構的應用程式繼續完全如前運作，但推理現在在您控制的硬體上以固定成本運行。

Getting Started

1
識別 Bolt 建構的應用程式中的 AI 任務
確定應用程式的 AI 功能實際做什麼——聊天回應、內容生成、分類、摘要——並收集定義預期行為的代表性輸入輸出範例。
2
在 Ertas Studio 中微調任務特定模型
將您的範例作為訓練資料集上傳，選擇適合您任務複雜度的基礎模型，並運行微調作業。針對狹窄任務，專注的 7B 或 8B 參數模型通常能達到雲端 API 的品質。
3
使用 Ollama 部署模型
將訓練好的模型匯出為 GGUF 格式，使用 Ollama 部署並驗證推理是否正常運作。使用您 Bolt 應用程式發送的相同提示進行測試，以確認回應格式的相容性。
4
更新 Bolt 應用程式的端點設定
將 Bolt 生成的程式碼中的 API 基礎 URL 從雲端提供者更改為您的 Ollama 位址。在環境變數中更新模型名稱。由於 Ollama 使用相同的 API 格式，無需其他程式碼變更。
5
部署並在生產環境中監控
使用本地推理後端部署更新後的 Bolt 應用程式。透過 Ertas Cloud 的儀表板監控回應延遲和品質，隨著流量增長獨立擴展推理伺服器。