定制模型何时比前沿 API 更省钱

当某一项任务的月调用量足以覆盖定制模型的固定成本时，定制模型就比前沿 API 更省钱。固定成本包括一直运行的 GPU，评估、监控和重新训练的工作，以及分摊下来的构建成本。盈亏平衡点等于这些固定成本除以每次 API 调用省下的钱，而前沿一侧要按您实际支付的费率计算。

本指南写给正在做这道比较题的工程负责人和架构师。文中给出两边各自的公式、一个所有数字都摆在明面上的算例、团队常被遗漏的成本，以及一条在流量迁移期间守住质量的迁移路径。价格均为 OpenAI 和 Anthropic 截至 2026 年 10 月的标价。请先用上 LLM 成本优化：12 种技术排名里的配置类技术，因为它们会改变您用来比较的前沿价格。

如何计算前沿 API 每月的成本？

用每月的 API 调用次数乘以单次 API 调用的成本，而单次成本要按您用上缓存、批处理，并换到能通过评估集的最便宜规格之后，实际会支付的费率来算。拿做原型时那个模型的标价去比，会高估前沿一侧，让任何定制模型都显得比实际更便宜。

前沿每月成本 = 每月 API 调用次数 x 单次 API 调用成本

单次 API 调用成本 = 未缓存的输入 token x 输入价格
                  + 已缓存的输入 token x 缓存价格
                  + 输出 token         x 输出价格   （推理 token 计入输出）

比较之前，先调整价格。下表每一项都会改变前沿一侧，其中大多数会把它往下拉。

截至 2026 年 10 月，Anthropic 对大多数 Claude 模型的缓存命中按基础输入价格的十分之一计费，OpenAI 对 GPT-6 Astra 和 GPT-6 Luna 的缓存输入按标准输入的十分之一定价，两家的批处理都按标准费率的 50% 收费。重试的作用方向相反：一项任务如果有 5% 的 API 调用要重试，每项任务就要多付 5%。

算例：前沿一侧

以一项理赔分诊任务为例：每次 API 调用有 2,000 个输入 token 和 200 个输出 token，其中 1,500 个输入 token 是一段稳定的指令前缀，可以缓存。它以同步方式运行在 Claude Sonnet 5.5 上，截至 2026 年 10 月的标价为每百万输入 token 2 美元、每百万输出 token 10 美元，缓存命中为每百万 0.20 美元。

流量稳定时前缀会一直留在缓存里，所以缓存写入的费用很少，这里不计入。不用缓存的话，同一次 API 调用要 0.0060 美元。请记住这个差距，因为下面算盈亏平衡点时，如果拿 0.0060 美元去比，得出的调用量大约只有真实值的一半。

运行自己的定制模型要花多少钱？

定制模型的成本包括：为它一直开着的 GPU，不管忙闲；让它保持好用的持续性工作；再加上按使用寿命分摊的构建成本。那些仍然升级到前沿模型的请求，也要记在这一侧的账上。

定制模型每月成本 = GPU 小时 x GPU 价格                （服务）
                + 工程时间 x 全成本人力单价            （评估、监控、重新训练、值班）
                + 重新训练和评估的算力
                + 构建成本 / 使用寿命月数
                + 升级的 API 调用次数 x 前沿价格

服务。 截至 2026 年 10 月，按 RunPod、Lambda 和 CoreWeave 的按需标价，H100 约为每 GPU 小时 2.90 至 6.20 美元，L40S 约为 1.10 至 2.25 美元。承诺用量会改变费率，也会把您绑定在这些小时数上，所以请按您的供应商给出的报价来算。

运营工作。 在生产环境运行一个模型是持续性的工作：随着输入变化更新评估集，为每个候选版本打分，监控质量和延迟，在任务漂移时重新训练，并且全天候对这个端点负责。请把它按一名工程师时间的一部分、以全成本人力单价来计算。漏掉这一项，等于拿一项托管服务（前沿 API）去和替代方案里只占一半的硬件部分作比较。

构建。 数据收集与清洗、训练运行、第一套评估集以及服务环境的搭建。把它分摊到您预计模型在重建之前会持续服役的月数上。

为什么 GPU 利用率是隐藏变量？

GPU 按小时计费，无论服务一个请求还是一百万个，所以单个请求的服务成本等于每小时价格除以这一小时实际承载的请求数。利用率，也就是您的流量填满了多少算力，对这个数字的影响比 GPU 价格更大。

假设压力测试显示，一块 GPU 在这项任务上满载时每秒能处理 10 个请求，也就是每小时 36,000 个。按每 GPU 小时 4.00 美元计算，满载的 GPU 服务一个请求约需 0.00011 美元。同一块 GPU 只有 5% 的时间在忙时，每个请求要 0.0022 美元，相当于带缓存的前沿价格的三分之二。

GPU 闲置的原因都很平常。流量在工作时间达到高峰，而算力是按高峰配置的。要在故障或部署期间保持在线，端点至少需要两个副本。预发布和评估环境也各自占着 GPU。缩容到零的服务方式能减少闲置时长，代价是一段空闲之后的第一个响应会变慢。为单一任务训练的模型通常只需要短得多的提示，因为指令不必随每个请求一起发送，这会提高每块 GPU 能承载的请求数。

算例：定制模型一侧

下面是同一项理赔分诊任务改用定制模型的情况，每个假设都写明了，方便您换成自己的数字。

两块 GPU 各自每秒处理 10 个请求，满载时每月约能承载 5,260 万个请求，所以在这个算例的所有调用量下，算力都保持在两块。服务成本只占固定成本合计的四分之一多一点，工程时间才是最大的一项。

定制模型的盈亏平衡调用量是多少？

盈亏平衡调用量等于定制模型每月的固定成本，除以扣除升级之后每次 API 调用省下的钱。在这个算例中，约为每月 735 万次 API 调用，大约每天 24 万次。

盈亏平衡的每月 API 调用次数 = F / ((1 - e) x p - m)

F = 定制模型每月的固定成本（算力底线、运营工作、算力开销、分摊的构建成本）
e = 仍需升级到前沿模型的 API 调用占比
p = 前沿一侧每次 API 调用的成本，按您实际支付的价格
m = 超出算力底线之后每次 API 调用的服务成本（容量够用时为零）

当 F = 21,840 美元、e = 10%、p = 0.0033 美元、m = 0 时，盈亏平衡点为 21,840 / (0.9 × 0.0033) = 21,840 / 0.00297 = 每月 7,353,535 次 API 调用。

低于这个调用量时，前沿 API 更便宜；高于它之后，每多一次 API 调用就省下 0.9 × 0.0033 = 0.00297 美元。所以在每月 2,000 万次 API 调用时，定制模型的成本是 28,440 美元，而前沿 API 是 66,000 美元，节省 57%。

盈亏平衡点对各项输入有多敏感？

这些输入都是估计值，所以请在您认为可信的范围内都算一遍。下表每一行只改动算例中的一项输入。

GPU 价格对结果的影响最小，而您用来比较的前沿价格影响最大；每月固定成本每增加 1,000 美元，盈亏平衡点就增加约 33.7 万次 API 调用。最后一行应该最先检查：截至 2026 年 10 月，GPT-6 Luna 的标价为每百万输入 token 0.10 美元、每百万输出 token 0.50 美元，这项任务在它上面即使不计提示缓存，每次 API 调用也只要 0.0003 美元。如果这么便宜的规格就能通过您的评估集，单凭成本很少能证明定制模型值得做，理由就要落在延迟或数据必须留在哪里上。

两边各有哪些常被遗漏的成本？

两边都有在初步估算里看不到的成本。相信盈亏平衡点之前，先把它们加进去。

OpenAI 的推理指南说明，推理 token 按输出 token 计费，尽管 API 从不返回它们；推理模型每次 API 调用的真实价格，就是这样逐渐高出按可见输出算出的估计值。两边都要按单次成功任务的成本来衡量，把每一次重试和升级都算进去，具体做法见我们的单任务成本与 AI 单位经济学指南。

什么时候应该用定制模型替换前沿模型？

当某项任务的调用量远高于您的盈亏平衡点、任务本身稳定、并且评估集可以自动打分时，就可以在这项任务上用定制模型替换前沿模型。延迟和数据位置会在成本之外再添几条理由。如果调用量低、任务每周都在变，或者没人说得清什么是好答案，就继续用前沿模型。

在盈亏平衡点之上要留出余量，因为在模型真正承接流量之前，公式里的每一项输入都只是估计。我们之前的微调小模型与 GPT-4 API 的对比按任务类型讲了准确率和延迟，SaaS 何时该从 API 调用转向微调则讲了一家成长中的产品公司如何做这个决定。本指南在此基础上补上了运营工作、升级占比，以及用上缓存和批处理之后的前沿价格。

如何从前沿 API 迁移而不冒质量风险？

分阶段迁移流量，每个阶段都由评估集把关。先让定制模型在后台用真实请求运行，按您的质量标准打分，再给它一小部分线上流量并以前沿模型作为回退，然后逐步扩大。在每个阶段，用户依赖的都只是已经通过评估的版本。

1. 基线。 记录单次成功任务的成本，并用评估集为当前的前沿模型打分，让定制模型有一条要跨过的标准线和一个要打败的成本。
2. 后台打分。 把真实请求复制一份发给定制模型，同时用户继续收到前沿模型的回答。用评估集为它的输出打分，并在真实负载下观察延迟和错误率。
3. 评估关卡。 只有在评估集和后台样本上都达标、并有指定负责人签字批准的版本，才能上线。
4. 小比例上线。 把百分之几的线上流量交给定制模型，遇到校验失败、超时或置信度低时自动回退到前沿模型。
5. 逐步扩大。 在质量和成本报告保持稳定的前提下，分步提高比例。
6. 保留回退。 困难案例和新类型的输入继续交给前沿模型，每个重新训练的版本都要再过同一道关卡。

把每个重新训练的版本都当作一个新模型。一次重新训练可能改善一部分流量，却让另一部分退步，而关卡能在用户发现之前把它拦下。第 4 步和第 6 步背后的路由模式，见 降低前沿 API 成本的 LLM 路由策略。

自适应模型端点如何改变这笔账？

自适应模型端点把公式里运营的那一侧从您的团队身上拿走。它是为您的某一项任务提供的单一 API 端点：起初由前沿模型回答，用您的请求和团队反馈训练出的定制模型在通过您的评估集后接手，难的案例继续留在前沿模型上。

上面的迁移路径已经内置其中。定制模型的每个新版本都会在后台用真实请求运行，并按您的评估集打分，未经您的批准，什么都不会切换。我们监控模型，并随着您的任务变化重新训练。模型可以由 Ertas 托管运行，也可以部署在您的云或本地，并且归您所有。该端点目前仅限受邀企业使用，我们正在开发一个更简化的版本，让更多企业可以接入。您的工程师只需改一个模型名称，起初由前沿模型处理所有请求，所以不会有任何工作等待训练。

这样一来，成本问题就只剩一个比较：这个端点，与它在这项任务上替代掉的前沿账单相比，用您自己的流量和 token 数来算。

为单一工作训练的模型，服务成本可以非常低。在我们发布的 QMSum 研究中，一个为查询式会议摘要训练的 1.2B 模型，在一块租用的云 GPU 上估算的服务成本为每次查询 0.00053 美元；按同步调用标价，Claude Opus 5 为 0.104 美元，GPT-5.6 Luna 为 0.0130 美元。它 0.39 秒给出回答，Claude Opus 5 则需要 9.0 秒。这个估算不含训练成本，而且质量因任务而异，所以每一次切换都要以您的评估集为准。

常见问题

微调模型比 GPT 或 Claude 的 API 更便宜吗？

按单个请求算，为单一任务微调的模型服务成本通常低得多，因为它可以小得多，提示也更短。按月算，只有超过盈亏平衡调用量时它才更便宜，因为无论流量来不来，GPU、评估、监控和重新训练都要花钱。请用您实际支付的前沿价格来套公式。

自托管 LLM 的盈亏平衡点是多少？

它等于自托管模型每月的固定成本，除以扣除升级后每次 API 调用省下的钱，即 F / ((1 - e) × p - m)。在我们的算例中，每月固定成本为 21,840 美元，带缓存的前沿价格为每次 API 调用 0.0033 美元，盈亏平衡点约为每月 735 万次 API 调用。您的输入会不一样，所以请用自己的数字来算。

运行自己的 LLM 每月要花多少钱？

服务、运营工作和分摊的构建成本。截至 2026 年 10 月，RunPod、Lambda 和 CoreWeave 的按需标价中，H100 约为每 GPU 小时 2.90 至 6.20 美元，所以两块 GPU 运行一整月约需 4,200 至 9,000 美元。在算例中，评估、监控和重新训练模型所需的工程时间才是更大的一项。

定制模型应该和批处理价格比较吗？

对于可以等待结果的工作，应该。截至 2026 年 10 月，OpenAI 和 Anthropic 的批处理都按标准费率的 50% 收费，而前沿价格减半，盈亏平衡调用量就翻倍。拿异步工作负载和同步标价比较，会让定制模型显得过于划算。

换成定制模型之后，困难的请求怎么办？

继续交给前沿模型。在校验失败、超时和置信度低时进行路由，并在公式里为这部分升级占比留出预算，因为升级的 API 调用按前沿价格计费。使用自适应模型端点时，难的案例本来就留在前沿模型上。

通过自适应模型端点提供服务的定制模型归谁所有？

归您所有。模型用您的请求和团队反馈、针对您的任务训练，可以由 Ertas 托管运行，也可以部署在您的云或本地。我们监控它，并随着您的任务变化重新训练。

简短版

定制模型在某个调用量之上才在成本上胜出：它每月的固定成本，除以每次 API 调用省下的钱。前沿一侧要在用上缓存、批处理和选对规格之后再计价；定制模型一侧要算上运营工作和升级占比，并按您真实会达到的利用率来配置 GPU。然后在评估关卡之后迁移，并保留前沿回退。

如果某项任务的调用量正在逼近或已经越过盈亏平衡点，预约通话，我们和您一起用您的流量把账算清楚。

资料来源：OpenAI API 定价、Anthropic 定价、Anthropic 提示缓存文档、OpenAI 推理指南，以及 RunPod、Lambda 和 CoreWeave 的 GPU 按需定价。价格核实于 2026 年 10 月 6 日。