你知道 API 账单上写着多少钱。但依赖 API 的 AI 究竟花掉你多少,账单说不出来。
大多数团队把每月的 OpenAI 或 Anthropic 发票当成最终答案。发票只是成本冰山露出水面的那一角,水面下的部分要深上 3-5 倍:系统提示词开销、RAG 上下文填充、重试成本、弃用迁移、提示工程工时、停机影响,以及合规风险敞口。
本文把这些成本逐一算成具体数字。我们走过三个场景:一位代理机构主理人、一位独立开发者,以及一个 SaaS 产品团队,看微调究竟在什么时候收回成本。剧透一下:比你想的快。
API 成本冰山:发票上看不到的部分
估算 API 成本时,你多半是这么算的:「平均每次查询输入 500 个 token,输出 300 个 token。按每百万 token $1/$3 计算,一次查询也就几分之一美分。没问题。」
这个估算会低估 3-5 倍。原因如下。
系统提示词:一笔沉默的税
每一次 API 调用都带着系统提示词。只要不是玩具级 demo,系统提示词里通常包含:
- 角色定义与行为约束(100-300 个 token)
- 输出格式说明(50-200 个 token)
- 领域专属规则与护栏(200-800 个 token)
- 用来保证一致性的少样本示例(500-1,500 个 token)
生产环境的系统提示词一般在 500-2,000 个 token。每一次调用你都要为这些 token 付费。如果系统提示词有 1,200 个 token,每天调用 10,000 次,光系统提示词一天就是 1,200 万个 token,而这些 token 对用户毫无价值。
微调模型把这些行为烘焙进了权重里。系统提示词:0 个 token。
RAG 上下文填充
如果你在做检索增强生成(生产系统大多如此),每次查询都会把检索到的上下文塞进提示词。典型的 RAG 流程会取回 3-5 个 片段,每个 800-1,500 个 token,也就是每次查询多出 3,000-8,000 个 token,而这些 token 存在的唯一理由是模型不懂你的领域。
已经懂你领域的微调模型,需要的上下文要少得多,常见查询甚至完全不需要。这个取舍我们在微调与 RAG 的对比里详细写过。
重试:看不见的乘数
API 调用会失败,会撞上速率限制,会超时,也会返回格式不对、必须重新生成的内容。在生产环境里,5-15% 的调用会失败并需要重试,其中一部分还要重试两次。
也就是说,你打算发出 1,000 次调用,实际发出的是 1,050-1,150 次。规模一上来,每年就是几千美元烧在白白浪费的 token 上。换成本地推理,一次失败只花掉几毫秒算力,不会多收一分钱。
对话历史:会滚雪球的部分
多轮对话才是 API 成本真正失控的地方。每一轮都要把完整的对话历史重新发给 API。到第 5 轮时,你把第 1 到 4 轮的内容又发了一遍,也又付了一遍钱。
一段 10 轮的客服对话,成本接近单次查询的 25-55 倍。多轮交互通常会把你按单条消息估算出来的 token 量再放大 2-5 倍。
真实的乘数
全部加起来:
| 成本因素 | 倍数 |
|---|---|
| 系统提示词开销 | 1.5-3x |
| RAG 上下文注入 | 2-4x |
| 重试开销 | 1.05-1.15x |
| 对话历史 | 2-5x |
| 综合实际倍数 | 朴素估算的 3-5 倍 |
那张「$200/月」的 API 账单,按生产系统的真实运作方式算,实际是 $600-$1,000。而这还没算上那些从来不会出现在任何发票上的成本。
想更深入了解按 token 定价如何复合,可以看我们对按 token AI 定价的隐藏成本的拆解。
场景一:代理机构主理人(15 个客户)
认识一下 Sarah。她经营一家 AI 自动化代理机构,服务 15 家中小企业客户。每个客户都有一个聊天机器人、若干自动化工作流和一条内容生成流水线,全部跑在 OpenAI 的 API 上。
API 路径
直接 API 成本:
- 15 个客户,用量各不相同
- 每个客户平均 API 花费:AU$280/月(已包含上面那些隐藏乘数)
- 每月 API 合计:AU$4,200
提示工程工时: Sarah 和团队每月大约花 20 小时维护、优化和调试各客户的提示词。按 AU$100/小时计(这在澳大利亚已是技术工作的保守价):
- 每月提示工程:AU$2,000
弃用迁移: 2025 年,OpenAI 每年 3-4 次弃用或调整模型。每一次都要 Sarah 的团队为每个客户做测试、调整提示词、重新部署。每次事件的平 均迁移成本:AU$3,000(分摊到受影响的客户)。按每年约 4 次算:
- 每季度迁移成本:约 AU$3,000
- 每月摊销:AU$1,000
API 路径的真实月成本合计:约 AU$7,200
微调路径
用 Ertas,Sarah 为每个客户训练一个 LoRA 适配器。每个适配器 50-200MB,承载该客户的语气、领域知识和输出偏好。经济账就此改变。
Ertas Builder 套餐: $20/月
每个客户的一次性训练:
- 数据准备:3-5 小时
- 通过 Ertas Studio 微调:1-2 小时
- 验证与迭代:2-3 小时
- 每个客户合计:约 8 小时,或一次性 AU$800
- 15 个客户合计:一次性 AU$12,000
持续推理成本: LoRA 适配器跑在客户的基础设施或 Sarah 自己的硬件上。本地硬件上每次查询的推理成本:除了电费,基本为 AU$0。
每月持续成本:$20(Ertas 套餐费),外加运行适配器的硬件电费
提示工程工时: 接近于零。模型的行为已经烘焙进权重,提示词的脆弱性也随之消失。
弃用迁移: 零。Sarah 拥有模型权重,没人能弃用它们。
代理机构的盈亏平衡
一次性投入:AU$12,000 每月节省:$7,200 - $20 = $7,180
盈亏平衡:1.7 个月。 此后 Sarah 每年省下超过 AU$86,000。
想更细致地了解代理机构如何重构自己的 AI 成本,可以看我们的代理机构 AI 降 本指南。
场景二:独立开发者(正在放量的应用)
认识一下 Jake。他做了一款带 AI 功能的应用:智能搜索、内容推荐,还有一个对话助手。他用 Cursor 和 Lovable 快速做出 MVP,AI 功能全部走云 API。用户很喜欢,增长在加速。
Jake 的麻烦在这里:成本随用户数线性上涨,收入却跟不上这条曲线。
规模化之后的 API 路径
Jake 收固定 $9.99/月的订阅费。每用户 API 成本取决于活跃度:
| 用户数 | 每月 API 成本 | 每用户成本 | 收入 | 利润率 |
|---|---|---|---|---|
| 100 | $12 | $0.12 | $999 | 98.8% |
| 1,000 | $120 | $0.12 | $9,990 | 98.8% |
| 8,000 | $620 | $0.08 | $79,920 | 99.2% |
| 40,000 | $3,000 | $0.08 | $399,600 | 99.2% |
乍一看利润率还不错。但这些只是发票上的数字。把 3-5 倍的隐藏乘数加上去:
| 用户数 | 真实月度 AI 成本 | 收入 | 实际利润率 |
|---|---|---|---|
| 100 | $48 | $999 | 95.2% |
| 1,000 | $480 | $9,990 | 95.2% |
| 8,000 | $2,480 | $79,920 | 96.9% |
| 40,000 | $12,000 | $399,600 | 97.0% |
到 4 万用户时看起来仍然可控。可 Jake 手上是 1,200 个用户,还在往上涨。在他这个阶段,每月那 $480 是在跟房租抢钱,而且每加一批用户就往上走一截。
更要紧的是,API 成本给 Jake 的 AI 功能设了一道天花板。他再加 AI 交互,单位经济模型就更难看。每冒出一个新功能点子,第一句话都是「这个每用户要花多少钱?」
还有 Vibe 编码应用的规模化问题:用 AI 编程工具快速搭起来的应用,往往从第一天起就带着低效的 API 使用模式。
微调路径
Jake 用 Ertas Studio 在自己的领域数据上训练一个微调模型。一次性成本。
一次性训练投入:
- 数据准备与整理:10-15 小时
- 微调与评估:5-8 小时
- 合计:约 $2,000-$3,000 的时间投入
每月持续成本: 在一套朴素配置上做本地推理(Mac Mini M4 Pro、一台二手 RTX 3090 主机,或者一个小型云 GPU 实例):
- 硬件/托管:约 $28.50/月
- 每次查询成本:基本为 $0
Jake 的 AI 功能现在每用户的边际成本为零。多加一个 AI 交互,月账单纹丝不动。他想做多少 AI 功能就做多少,单位经济模型不受影响。
独立开发者的盈亏平衡
在 1,000+ 用户、真实 API 成本 $480/月的情况下:
- 一次性投入:$3,000
- 每月节省:$480 - $28.50 = $451.50
盈亏平衡:约 2 个月。 此后无论用户数怎么涨,Jake 的 AI 成本都是平的。
想更深入了解独立开发者的 AI 经济账,可以看我们的独立开发者 AI 模型成本拆解。
用你自己的业务算一遍。 如果这笔账看起来像 Jake 的,或者像 Sarah 的,那就值得看看微调模型能给你的成本结构带来什么。查看 Ertas 套餐。
场景三:SaaS 产品团队
认识一下 DataPulse 团队。这是一款 B2B SaaS 产品,六个月前上线了 AI 功能:智能文档摘要、自动报告生成,以及一个自然语言查询界面。他们用的是 Claude 的 API,走 Anthropic 的企业方案计费。
API 路径
直接 API 成本:
- 每月 50,000 次 AI 功能使用
- 每次平均成本:$0.01-$0.03(取决于功能复杂度)
- 每月 API 花费:$500-$1,500
加上那些隐藏乘数(他们的摘要流水线用了很重的 RAG 上下文):
- 真实月度 AI 成本:$2,000-$6,000
工程开销: 团队有 0.5 个 FTE 专门管提示词:写提示词、在不同模型版本上测试、搭降级逻辑、管理速率限制、实现重试队列。
- 每月工程成本:$5,000-$7,000(半个资深工程师的全负担成本)
合规开销: DataPulse 处理敏感的商业数据。每一次 AI 查询都会把客户数据发给第三方 API。他们的法务团队花了 $15,000 审查数据处理协议,安全团队还要为 AI API 调用额外维护日志和审计轨迹。
- 摊销后 的月度合规成本:约 $1,500
停机影响: 过去 6 个月里,他们遇到 3 次影响 AI 功能的 API 停机,平均持续 3 小时。平均业务影响(工单、客户投诉、SLA 赔偿):
- 每次停机:$2,000-$5,000
- 摊销到每月:约 $1,500
关于如何应对依赖与合规上的挑战,可以看我们的 AI 供应商依赖生存指南和 AI 独立性检查清单。
真实月成本合计:$10,000-$17,000
微调路径
DataPulse 用自己已有的文档语料微调了一个模型。模型学会了他们的领域、他们的输出格式和他们的质量标准。
一次性投入:
- 数据准备与流水线搭建:40-60 小时工程时间
- 微调与评估循环:20-30 小时
- 基础设施搭建(本地或私有云 GPU):$2,000-$5,000
- 一次性合计:$15,000-$25,000
每月持续:
- GPU 托管(专用实例或本地硬件):$200-$500/月
- 用于模型管理的 Ertas 套餐:$20/月
- 工程时间(偶尔重新训练):5 小时/月 = $1,000/月
- 每月合计:约 $1,500
合规收益: 生产流量留在 DataPulse 自己的基础设施内,不经过任何第三方 API 服务商,不用维护 API 审计轨迹,GDPR 和 SOC 2 的审计范围也随之收窄。
停机敞口: 自托管推理彻底消除了第三方 API 停机的影响。
SaaS 团队的盈亏平衡
一次性投入:$20,000(取中位估算) 每月节省:$13,500 - $1,500 = $12,000
盈亏平衡:1.7 个月。 此后 DataPulse 每年省下 $144,000 以上。
想更深入分析 SaaS 产品中 AI 功能成本如何随规模变化,可以看我们的 SaaS AI 功能规模化成本拆解。
没人做预算的隐藏成本
除了逐场景的分析,还有一类系统性成本,影响每一个依赖 API 的团队。它们很少出现在规划表格里,却一定会出现在你的损益表上。
弃用迁移:每年 $18,000-$48,000
模型供应商弃用一个模型时(他们每年做 3-4 次),你就有了一个截止日期。你那些针对旧模型行为调好的提示词,在替代模型上可能给出不一样的输出。你需要:
- 盘点所有用到被弃用模型的提示词和流水线(4-8 小时)
- 测试每一处在替代模型上的表现(8-16 小时)
- 重写输出质量下降的提示词(10-20 小时)
- 在生产环境部署并验证(4-8 小时)
每次弃用事件,这就是 26-52 小时的资深工程时间,折合 $6,000-$12,000。乘以每年 3-4 次:光迁移成本每年就是 $18,000-$48,000。
换成自托管的微调模型,就没有弃用这回事。权重是你的,模型一直跑到你自己决定升级为止。

