您知道您的 API 帳單說了什麼。您可能不知道依賴 API 的 AI 實際上花費了您多少。
大多數團隊查看他們每月的 OpenAI 或 Anthropic 帳單,認為那就是數字。不是的。帳單只是成本冰山可見的尖端,而冰山在計費頁面顯示的費用之下延伸了 3-5 倍。水面以下是系統提示開銷、RAG 上下文填充、重試成本、棄用遷移、提示工程時間、停機影響和合規暴露。
本文為所有這些成本附上真實數字。我們通過三個場景(代理商所有者、獨立開發者和 SaaS 產品團隊)展示微調模型的確切盈虧平衡點。劇透:比您想象的更快。
API 成本冰山:帳單沒有顯示的內容
當您估算 API 成本時,您可能這樣計算:「我的平均查詢是 500 個輸入 token,300 個輸出 token。以每百萬 token 1/3 美元的價格,每次查詢只需幾分錢。沒問題。」
這個估算錯了 3-5 倍。原因如下。
系統提示:隱形稅
每次 API 調用都包含系統提示。對於任何超出玩具演示的應用,該系統提示包含:
- 角色定義和行為約束(100-300 個 token)
- 輸出格式指令(50-200 個 token)
- 特定領域規則和護欄(200-800 個 token)
- 一致性的少量示例(500-1,500 個 token)
生產系統提示通常需要 500-2,000 個 token。您為每次調用支付這些 token 的費用。如果您的系統提示是 1,200 個 token,每天進行 10,000 次調用,那僅系統提示每天就消耗 1,200 萬個 token,而這些 token 對用戶沒有任何價值。
微調模型將這些行為烘焙進其權重中。系統提示:零個 token。
RAG 上下文填充
如果您在做檢索增強生成(大多數生產系統都是),每個查詢都會將檢索到的上下文注入提示詞。典型的 RAG 管線檢索 3-5 個每個 800-1,500 個 token 的塊。這是每次查詢額外 3,000-8,000 個 token,這些 token 的存在只是為了補償模型不了解您的領域。
已經理解您的領域的微調模型對普通查詢需要少得多的上下文,或根本不需要。
重試:不可見的倍增器
API 調用會失敗。速率限制達到。超時發生。回應格式不正確需要重新生成。在生產中,5-15% 的調用失敗並必須重試。有些重試兩次。
這意味著對於每 1,000 次您打算進行的調用,您實際上進行了 1,050-1,150 次調用。在規模化時,這每年是數千美元的浪費 token。使用本地推理,失敗的調用只花費您幾毫秒的計算時間。不額外收費。
對話歷史:複合問題
多輪對話是 API 成本真正爆炸的地方。每次輪次都會將完整的對話歷史重新發送到 API。到對話的第 5 次輪次時,您再次發送第 1-4 輪次的內容,並再次為所有內容付費。
一個 10 輪的客戶支援對話並不是單次查詢費用的 10 倍。它更接近 25-55 倍,因為累積的歷史記錄。多輪互動通常增加比您從查看單個消息所估計的多 2-5 倍的 token 量。
真實倍增器
加在一起:
| 成本因素 | 倍增器 |
|---|---|
| 系統提示開銷 | 1.5-3 倍 |
| RAG 上下文注入 | 2-4 倍 |
| 重試開銷 | 1.05-1.15 倍 |
| 對話歷史 | 2-5 倍 |
| 現實的綜合倍增器 | 樸素估算的 3-5 倍 |
那筆「每月 200 美元」的 API 帳單?考慮到生產系統的實際運行方式,實際上是 600-1,000 美元。這還沒有觸及任何帳單上都不會出現的成本。
場景 1:代理商所有者(15 個客戶)
認識 Sarah。她經營一家 AI 自動化代理商,為 15 個中小型企業客戶提供服務。每個客戶都有一個聊天機器人、一些自動化工作流和一個內容生成管線,全部通過 OpenAI 的 API 運行。
API 路徑
直接 API 成本:
- 15 個使用量各異的客戶
- 每個客戶的平均 API 支出:280 澳元/月(含上述隱藏倍增器)
- 每月 API 合計:4,200 澳元
提示工程時間: Sarah 和她的團隊每月花費約 20 小時維護、優化和調試客戶的提示詞。以 100 澳元/小時(澳大利亞技術工作的保守費率):
- 每月提示工程:2,000 澳元
棄用遷移: 在 2025 年,OpenAI 每年棄用或修改模型 3-4 次。每次棄用事件都需要 Sarah 的團隊對每個客戶進行測試、調整提示詞和重新部署。每次事件的平均遷移成本:3,000 澳元(分攤到受影響的客戶)。每年約 4 次事件:
- 每季度遷移成本:約 3,000 澳元
- 每月攤銷:1,000 澳元
API 路徑的每月真實成本合計:約 7,200 澳元

