自建 vs. 租用:2026年API依赖AI的真实成本
API发票只讲了一半的故事。当你加上弃用迁移、提示工程时间、停机成本和可变定价风险,自托管微调模型在2-4个月内实现盈亏平衡。
你知道 API 账单上写着多少钱。但依赖 API 的 AI 究竟花掉你多少,账单说不出来。
大多数团队把每月的 OpenAI 或 Anthropic 发票当成最终答案。发票只是成本冰山露出水面的那一角,水面下的部分要深上 3-5 倍:系统提示词开销、RAG 上下文填充、重试成本、弃用迁移、提示工程工时、停机影响,以及合规风险敞口。
本文把这些成本逐一算成具体数字。我们走过三个场景:一位代理机构主理人、一位独立开发者,以及一个 SaaS 产品团队,看微调究竟在什么时候收回成本。剧透一下:比你想的快。
API 成本冰山:发票上看不到的部分
估算 API 成本时,你多半是这么算的:「平均每次查询输入 500 个 token,输出 300 个 token。按每百万 token $1/$3 计算,一次查询也就几分之一美分。没问题。」
这个估算会低估 3-5 倍。原因如下。
系统提示词:一笔沉默的税
每一次 API 调用都带着系统提示词。只要不是玩具级 demo,系统提示词里通常包含:
- 角色定义与行为约束(100-300 个 token)
- 输出格式说明(50-200 个 token)
- 领域专属规则与护栏(200-800 个 token)
- 用来保证一致性的少样本示例(500-1,500 个 token)
生产环境的系统提示词一般在 500-2,000 个 token。每一次调用你都要为这些 token 付费。如果系统提示词有 1,200 个 token,每天调用 10,000 次,光系统提示词一天就是 1,200 万个 token,而这些 token 对用户毫无价值。
微调模型把这些行为烘焙进了权重里。系统提示词:0 个 token。
RAG 上下文填充
如果你在做检索增强生成(生产系统大多如此),每次查询都会把检索到的上下文塞进提示词。典型的 RAG 流程会取回 3-5 个片段,每个 800-1,500 个 token,也就是每次查询多出 3,000-8,000 个 token,而这些 token 存在的唯一理由是模型不懂你的领域。
已经懂你领域的微调模型,需要的上下文要少得多,常见查询甚至完全不需要。这个取舍我们在微调与 RAG 的对比里详细写过。
重试:看不见的乘数
API 调用会失败,会撞上速率限制,会超时,也会返回格式不对、必须重新生成的内容。在生产环境里,5-15% 的调用会失败并需要重试,其中一部分还要重试两次。
也就是说,你打算发出 1,000 次调用,实际发出的是 1,050-1,150 次。规模一上来,每年就是几千美元烧在白白浪费的 token 上。换成本地推理,一次失败只花掉几毫秒算力,不会多收一分钱。
对话历史:会滚雪球的部分
多轮对话才是 API 成本真正失控的地方。每一轮都要把完整的对话历史重新发给 API。到第 5 轮时,你把第 1 到 4 轮的内容又发了一遍,也又付了一遍钱。
一段 10 轮的客服对话,成本接近单次查询的 25-55 倍。多轮交互通常会把你按单条消息估算出来的 token 量再放大 2-5 倍。
真实的乘数
全部加起来:
| 成本因素 | 倍数 |
|---|---|
| 系统提示词开销 | 1.5-3x |
| RAG 上下文注入 | 2-4x |
| 重试开销 | 1.05-1.15x |
| 对话历史 | 2-5x |
| 综合实际倍数 | 朴素估算的 3-5 倍 |
那张「$200/月」的 API 账单,按生产系统的真实运作方式算,实际是 $600-$1,000。而这还没算上那些从来不会出现在任何发票上的成本。
想更深入了解按 token 定价如何复合,可以看我们对按 token AI 定价的隐藏成本的拆解。
场景一:代理机构主理人(15 个客户)
认识一下 Sarah。她经营一家 AI 自动化代理机构,服务 15 家中小企业客户。每个客户都有一个聊天机器人、若干自动化工作流和一条内容生成流水线,全部跑在 OpenAI 的 API 上。
API 路径
直接 API 成本:
- 15 个客户,用量各不相同
- 每个客户平均 API 花费:AU$280/月(已包含上面那些隐藏乘数)
- 每月 API 合计:AU$4,200
提示工程工时: Sarah 和团队每月大约花 20 小时维护、优化和调试各客户的提示词。按 AU$100/小时计(这在澳大利亚已是技术工作的保守价):
- 每月提示工程:AU$2,000
弃用迁移: 2025 年,OpenAI 每年 3-4 次弃用或调整模型。每一次都要 Sarah 的团队为每个客户做测试、调整提示词、重新部署。每次事件的平均迁移成本:AU$3,000(分摊到受影响的客户)。按每年约 4 次算:
- 每季度迁移成本:约 AU$3,000
- 每月摊销:AU$1,000
API 路径的真实月成本合计:约 AU$7,200
微调路径
用 Ertas,Sarah 为每个客户训练一个 LoRA 适配器。每个适配器 50-200MB,承载该客户的语气、领域知识和输出偏好。经济账就此改变。
Ertas Builder 套餐: $25/月
每个客户的一次性训练:
- 数据准备:3-5 小时
- 通过 Ertas Studio 微调:1-2 小时
- 验证与迭代:2-3 小时
- 每个客户合计:约 8 小时,或一次性 AU$800
- 15 个客户合计:一次性 AU$12,000
持续推理成本: LoRA 适配器跑在客户的基础设施或 Sarah 自己的硬件上。本地硬件上每次查询的推理成本:除了电费,基本为 AU$0。
每月持续成本:$25(只有 Ertas 套餐费)
提示工程工时: 接近于零。模型的行为已经烘焙进权重,提示词的脆弱性也随之消失。
弃用迁移: 零。Sarah 拥有模型权重,没人能弃用它们。
代理机构的盈亏平衡
一次性投入:AU$12,000 每月节省:$7,200 - $25 = $7,175
盈亏平衡:1.7 个月。 此后 Sarah 每年省下超过 AU$86,000。
想更细致地了解代理机构如何重构自己的 AI 成本,可以看我们的代理机构 AI 降本指南。