Back to blog

    Replit 应用 AI 成本爆炸?用微调本地模型替代 OpenAI

    Replit 的常驻部署和简便的 AI 集成带来了特定的 API 成本问题。以下是如何用微调本地模型替代 OpenAI 并将成本降至固定费率。

    A pale astronomical impression in graphite and copper, with a soft amber penumbra on warm paper.A flowing heliospheric ribbon in copper and ivory with a soft vermilion flare.

    Replit 的 AI Agent 让添加 OpenAI 驱动的功能变得危险地容易。问题是 AI 成本不在你的 Replit 账单中——它在你的 OpenAI 面板里悄悄增长。

    Replit 有一个其他平台没有的特殊 AI 成本问题:常驻部署。定时任务、Webhook 处理器和轮询循环即使没有用户活动也会产生 API 调用。

    本地模型替代方案

    架构:Replit 应用 → HTTP 请求 → 外部 VPS(Hetzner $14-26/月)运行 Ollama → 响应返回 Replit 应用。

    代码变更极小——只需更新 base_url:

    Code example
    # 之前:
    client = openai.OpenAI(api_key=os.environ["OPENAI_API_KEY"])
    
    # 之后:
    client = openai.OpenAI(
        api_key="not-required",
        base_url=f"http://{os.environ['OLLAMA_VPS_IP']}:11434/v1"
    )

    迁移后成本

    用户(MAU)月 OpenAI(gpt-4o-mini)月度(Ertas + VPS)
    500~$15$51
    5,000~$150$51
    20,000~$600$51-66.50

    固定成本结构也消除了后台调用问题:你的常驻 Replit 应用可以以零额外成本调用你的常驻 Ollama VPS。