Replit 应用 AI 成本爆炸？用微调本地模型替代 OpenAI

Replit 的 AI Agent 让添加 OpenAI 驱动的功能变得危险地容易。问题是 AI 成本不在你的 Replit 账单中——它在你的 OpenAI 面板里悄悄增长。

Replit 有一个其他平台没有的特殊 AI 成本问题：常驻部署。定时任务、Webhook 处理器和轮询循环即使没有用户活动也会产生 API 调用。

本地模型替代方案

架构：Replit 应用 → HTTP 请求 → 外部 VPS（Hetzner $14-26/月）运行 Ollama → 响应返回 Replit 应用。

代码变更极小——只需更新 base_url：

# 之前：
client = openai.OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# 之后：
client = openai.OpenAI(
    api_key="not-required",
    base_url=f"http://{os.environ['OLLAMA_VPS_IP']}:11434/v1"
)

迁移后成本

固定成本结构也消除了后台调用问题：你的常驻 Replit 应用可以以零额外成本调用你的常驻 Ollama VPS。

---