indie-devself-hostedlocal-inferenceollama
独立应用的自托管 AI:用自己的模型替代 GPT-4
面向想用自托管微调模型替代昂贵云 AI API 的独立开发者的实用指南——无需成为 ML 工程师。
Edward Xi Yang
你构建了一些很酷的东西。也许是写作助手、代码审查器、SaaS 客服机器人,或总结法律文件的利基工具。它工作得很好——底层由 GPT-4o 驱动。然后用户开始到来,账单也随之而来。
在 100 个日活用户中等请求量下,你面对的是每月 300-500 美元的 OpenAI API 成本。1,000 用户时是 3,000-5,000 美元。你的 19 美元/月订阅价格不能覆盖每用户 AI 成本,每个新注册都在烧钱。