AI 初创公司的毛利率明显低于传统软件,因为客户每运行一项任务,推理成本就跟着增加一次。ICONIQ 的 State of AI 2026 报告显示,AI 产品的平均毛利率在 2025 年为 45%,预计 2026 年升至 53%,2027 年升至 59%。1752vc 的指南引用 a16z 的数据,传统软件的毛利率在 60% 到 80% 甚至更高。差距大多来自模型账单,而这份账单由两部分组成:每个 token 的价格,以及每项任务发送的 token 数量。
本文依次说明:为什么智能体用量增长会压缩毛利率,如何衡量成本的两个维度,用我们的单任务成本计算器(英文)算一个完整示例,训练好的模型能改变什么,以及哪些情况下它并不划算。文中数据来自我们自己的 token 测量,以及两家设计合作伙伴的实际负载(已匿名处理)。
为什么智能体用量越大,毛利率越低?
在传统软件里,多服务一位客户几乎不增加成本。在 AI 产品里,客户的每项任务都要把 token 发给模型,而每个 token 都要付费。1752vc 的说法很直白:"In AI, the thousandth customer sends you a bill."(在 AI 行业,第一千位客户给你寄来的是一张账单。)
智能体用量让这份账单比收入涨得更快,原因有三:
- 收入按席位固定,成本按任务增长。 根据 ICONIQ 2026 年第二季度的调查,订阅制仍是最常见的定价方式。越喜欢这款产品的客户,在同样的月费下跑的任务就越多。
- 每项任务发送的 token 越来越多。 智能体每走一步都要重新发送历史记录,所以十二步的运行成本远不止六步的两倍。我们的单任务成本指南逐步演示了这笔账。
- 任务开始前,运行框架就已经加了一批 token。 我们实测,Claude Code 在默认配置下、在一个空文件夹里,任务本身还没开始就已发送 36,055 个 token(2026 年 10 月 6 日测量)。工具定义、指令和上下文会随每次请求一起发出。缓存能让其中大部分的费用打折,但它们仍然占用上下文窗口,并在每一步增加延迟。
1752vc 的示例说明了后果。一款合同审阅智能体按每席位每月 200 美元出售,按 Anthropic 2026 年 9 月的公开价格计算,每个普通席位的收入中有 108 美元花在推理上,毛利率为 36%。一位每月运行 1,500 项任务的重度用户,服务成本达到 560 美元,而收入同样只有 200 美元,毛利率为负 180%。
ICONIQ 的调查也显示了压力的走向。三分之二的受访者表示,每次查询的单位经济效益有所改善,主要得益于推理成本管理和模型路由;随着产品规模扩大,人才在成本中的占比下降,推理的占比上升。按用量计费的公司比例在六个月内从 35% 升到 42%,企业正在把收入和驱动成本的用量挂钩。
推理成本的两个维度是什么?
单任务成本等于输入 token 数乘以输入单价,加上输出 token 数乘以输出单价。推理模型会把隐藏的思考过程按输出 token 计费,所以这部分也要算进去。账单上的任何一个调节手段,动的都是下面两个数字之一。
| 维度 | 由什么决定 | 常见手段 |
|---|---|---|
| 每 token 价格 | 调用的模型和服务商 | 路由、批处理价格、换用更便宜的模型 |
| 每任务 token 数 | 每次请求携带的内容 | 缩短提示词、缓存、训练 |
多数降本工作集中在第一个维度。第二个维度可能更大,因为生产环境的提示词每次请求都带着同样的指令、流程规范、示例和安全规则。这些重复的 token,每个的价格和真正变化的数据一样。
两家设计合作伙伴的负载显示,重复部分可以有多大:
- 一款面向消费者的聊天应用,每条消息发送约 37,000 个输入 token。提示词里带着一份每条消息都重复的角色和安全规则说明。我们为它设计的方案把这份说明训练进模型,只发送约 1,000 个 token 的结构化提示词,每条消息的输入 token 减少到原来的三十七分之一。
- 一家运行模拟测试会话的设计合作伙伴,每次会话都发送同一套固定流程。按我们的测算,把流程训练进模型后,每次会话的 token 数会从约 13,000 到 37,000 之间降到约 8,000,具体取决于流程的长度,也就是减少约三分之一到四分之三。
聊天应用每条消息 37,000 个 token 是合作伙伴自己的数据;1,000 个 token 的提示词和每次会话的数字,是我们根据各自的提示词结构测算出来的。实际能省多少,取决于每个提示词里有多少内容在重复,所以我们会先从生产流量里测出这个比例,再给出数字。
提示词缓存已经在给重复输入打折。截至 2026 年 10 月,在我们计算器收录的模型上,OpenAI 和 Anthropic 对缓存输入的收费是标准输入价格的十分之一到二十分之一。但缓存对输出和推理 token 不打折,缓存的 token 也照样占用上下文窗口、增加延迟。
用单任务成本计算器算一个示例
下面是计算器的默认输入,价格采用 OpenAI 截至 2026 年 10 月 28 日的 GPT-6.1 Sol 公开价:每百万输入 token 2.00 美元,缓存输入 0.10 美元,每百万输出 token 10.00 美元,来源为 OpenAI 的价格页面。
| 输入项 | 数值 |
|---|---|
| 每月任务数 | 100,000 |
| 每个提示词中的重复指令 | 4,000 个 token |
| 每次请求的数据 | 500 个 token |
| 回答 | 300 个 token |
| 隐藏推理 | 500 个 token |
训练好的模型保留 500 个 token 的指令,不产生隐藏推理。它的每 token 价格设为与前沿模型相同,因此差额完全来自每项任务的 token 数。
| 方案 | 每任务 token 数 | 单任务成本 | 每月成本 |
|---|---|---|---|
| 前沿模型 | 5,300 | 0.0170 美元 | 1,700 美元 |
| 前沿模型,指令走缓存 | 5,300 | 0.0094 美元 | 940 美元 |
| 训练好的模型,同样单价 | 1,300 | 0.0050 美元 | 500 美元 |
| 训练好的模型,单价减半 | 1,300 | 0.0025 美元 | 250 美元 |
在每 token 价格相同的情况下,训练好的模型比不走缓存的前沿模型便宜约 71%,比走缓存的便宜约 47%。如果每 token 价格也更低,节省还会叠加:价格减半时,每项任务只要 0.0025 美元。最后一行只是示意,您可以在计算器里填入自己模型的实际价格。
再把这项任务放进一个产品里。假设它包含在每席位每月 40 美元的套餐中,并且只算推理成本,不含托管、检索和客服。
| 方案 | 普通席位,1,000 项任务 | 重度用户,4,000 项任务 |
|---|---|---|
| 前沿模型 | 毛利率 58% | 负 70% |
| 前沿模型,指令走缓存 | 毛利率 77% | 毛利率 6% |
| 训练好的模型,同样单价 | 毛利率 88% | 毛利率 50% |
普通席位在每一行看起来都很健康,毛利真正流失在重度用户身上,而智能体用量越大,这类客户就越多。您可以在单任务成本计算器里代入自己的数字,它会把节省拆成价格带来的部分和用量带来的部分。
训练好的模型能改变什么?
为一项任务训练的模型,会同时改变这两个维度。
每任务 token 数下降。 每个提示词里重复的指令、流程规范和示例被训练进模型,不必再发送。针对任务训练的模型也会直接作答,不产生隐藏推理 token,也没有多余的铺垫。每次请求的数据和回答本身保持不变。
每 token 价格可以下降。 只为一项工作训练的模型,只需具备这项工作所需的能力,运行成本因此更低。在我们的 QMSum 研究中,一个为会议摘要任务训练的模型,估算的每次查询服务成本比 Claude Opus 5 低 99%,比 GPT-5.6 Luna 低 96%,响应速度是 Claude Opus 5 的 23 倍。这些数字按 2026 年 9 月的价格计算,不含训练成本。
单任务成本更可预测。 训练好的模型只有在您批准新版本时才会变化,所以服务商发布新模型,不会改变它所承担流量的单位成本。账单仍随用量增长,但做毛利规划时,有了一个稳定的单任务成本作为依据。
最值得先做的,是重复且可以核对的工作。根据 OpenRouter 截至 2026 年 10 月 12 日的 30 天公开数据,分类、信息抽取和格式转换占了已分类模型支出的 20.8%,每 token 价格是市场平均水平的 1.50 到 1.84 倍;在支出最多的十个模型中,75% 到 87% 的支出流向了闭源前沿模型。这类任务的输出是标签和结构化记录,可以按模式逐条核对,也正是训练好的模型最容易评估的地方。
这正是 Ertas 用自适应模型端点在做的事:为您的一项任务提供一个 API 端点。起初由前沿模型作答;一个用您的请求和团队反馈训练的模型通过您的评估后接手;疑难情况仍交给前沿模型。它可以由 Ertas 托管,也可以部署在您自己的云上或本地。该端点目前仅限受邀企业使用,我们正在开发一个更简化的版本,让更多企业可以接入。关于盈亏平衡的算法,请参阅自建模型何时比前沿 API 更省钱。
什么情况下训练模型并不划算?
训练是一笔固定成本,而节省的金额随用量和提示词中重复内容的占比增长。下面四种情况能省下的太少。
| 情况 | 节省少的原因 |
|---|---|
| 每月只有几千项任务 | 构建和评估的投入超过账单本身 |
| 提示词主要是每次请求的数据 | 可以训练掉的重复内容很少 |
| 已经用了缓存,也没有推理 token | 输入端的节省大多已经拿到 |
| 任务每周都在变 | 每次变化都要重新训练一轮 |
第二种情况最容易被忽视。假设一项任务发送 8,000 个 token 的客户文档和 200 个 token 的指令,回答 300 个 token,没有隐藏推理,按上面 GPT-6.1 Sol 的价格计算。把这 200 个 token 的指令全部训练进模型,每项任务只能省下约 2%。这时训练模型的理由就只剩每 token 价格,以及延迟和一致性。
先从测量开始。取您用量最大那项任务一周的生产流量,统计重复的 token、每次请求的 token、输出和推理,再填进计算器。如果重复部分占比大、用量也高,训练好的模型就能拉高您的毛利率。如果其中任何一项偏小,路由和缓存会用更少的投入带来更多的效果。
常见问题
AI 初创公司的毛利率多少才算好?
ICONIQ 的 State of AI 2026 报告显示,AI 产品的平均毛利率在 2025 年为 45%,预计 2026 年为 53%,2027 年为 59%,低于传统软件 60% 到 80% 甚至更高的水平。投资人通常会把趋势和可信的提升路径,看得和当前数字一样重要。
为什么 AI 公司的毛利率比 SaaS 低?
AI 产品的每项任务都要消耗模型推理,所以服务一位客户的成本会随他的用量增长。在 SaaS 中,多一位用户几 乎不影响托管账单。智能体产品会进一步拉大差距,因为每项任务要发起多次 API 调用,并且每一步都要重新发送上下文。
微调一个大语言模型要花多少钱?
截至 2026 年 10 月 28 日,OpenAI 的监督式微调收费为:GPT-4.1 mini 每百万训练 token 5 美元,GPT-4.1 和 GPT-4o 为 25 美元,并将于 2027 年 1 月 6 日停止接受新的训练任务。在 Ertas Studio 里自行训练开放模型可以免费起步,截至 2026 年 10 月,付费套餐每月 10 美元起。由 Ertas 代为构建则是固定费用,在免费评估后确定。
哪个大语言模型最适合微调?
在预留评估集上能达到您质量标准的最小开放权重模型,并且许可证允许商用。为一项任务训练的模型可以比通用模型小得多,却在这项任务上表现相当,而模型大小决定了大部分运行成本。
提示词缓存能解决推理的毛利问题吗?
它能降低输入成本。截至 2026 年 10 月,OpenAI 和 Anthropic 对缓存输入的收费是标准价格的十分之一到二十分之一。输出和推理 token 仍按全价计费,缓存的 token 也照样占用上下文窗口,所以缓存能缓解每任务 token 数的问题,却无法消除它。
简短版
AI 产品的平均毛利率在 2025 年为 45%,2026 年预计 为 53%,原因是推理成本随用量增长,而智能体产品每年每项任务发送的 token 都在增加。账单有两个维度:每 token 价格和每任务 token 数。为一项高用量任务训练的模型能同时压低这两项,让单任务成本更可预测,前提是用量够高,而且每个提示词的大部分内容是重复的。想了解闭源实验室退出微调对这个选择意味着什么,请阅读微调已死?。如果您在 OpenAI 上做过微调,我们的迁移指南整理了 2027 年 1 月的各个截止日期。
资料来源,均于 2026 年 10 月 28 日查阅:ICONIQ,State of AI 2026;1752vc,AI Gross Margins: Inference Costs and Pricing for Startups;OpenAI,API 价格。我们的测量:QMSum 研究(arXiv 2609.25028)、OpenRouter 结构化任务报告,以及 2026 年 10 月 6 日测得的运行框架 token 数。

