按 token 計費的 AI 定價通常比初始估算貴 3-5 倍,一旦您考慮到系統提示詞、RAG 上下文、重試和對話歷史。一個每天處理 10 萬次查詢的團隊,雲端 API 每月可能花費 $10,000-15,000,而分攤硬體成本的本地推論只需 $200-500。根據 McKinsey 的 AI 現狀報告,40% 的組織報告 AI 成本超出了初始預測。與此同時,a16z 對生成式 AI 經濟學的分析發現,推論成本佔大多數公司 AI 部署總支出的 60-80%。
這不是假設的場景。這是創始人在建構 AI 驅動產品時面臨的最常見的驚喜。讓我們分析為何按 token 計費的定價出奇地昂貴、如何計算您的真實成本,以及替代方案是什麼樣子。
定價頁面沒有顯示的數學
雲端 AI API 的價格從小型模型的每百萬 token 幾美分,到最大型模型的數十美元不等。讓我們使用一個中等範例:每百萬輸入 token $1,每百萬輸出 token $3。
一個簡單的客戶支援機器人
假設:
- 每天 10,000 個客戶查詢
- 每個查詢平均 200 個輸入 token(用戶訊息 + 系統提示詞 + 上下文)
- 每個回應平均 300 個輸出 token
- 每月 30 天
每月 token 使用量:
- 輸入:10,000 × 200 × 30 = 6,000 萬 token
- 輸出:10,000 × 300 × 30 = 9,000 萬 token
每月成本:
- 輸入:60M × $1/1M = $60
- 輸出:90M × $3/1M = $270
- 總計:$330/月
這看起來是可以管理的。但這是最順利的情況。
實際發生的事
現實中,成本通過定價頁面不突出顯示的幾個機制相乘:
系統提示詞每次請求都計費。 每次查詢都發送一個 500 token 的系統提示詞,意味著每月額外 500 × 10,000 × 30 = 1.5 億個輸入 token。這是 $150 的隱藏開銷。
RAG 上下文使輸入 token 膨脹。 如果您每次查詢檢索 3 個平均 400 token 的文件作為上下文,那麼每次查詢額外 1,200 個輸入 token,即每月 3.6 億個 token,增加 $360。
重試和備援。 網路錯誤、速率限制和品質問題導致重試。即使是 5% 的重試率也會為您的帳單增加 5%。
對話歷史。 多輪對話在每次請求中包含先前的訊息。一個 5 輪的對話意味著第五條訊息包含了所有四個之前的交流。隨著對話長度的增加,token 使用量呈二次方增長。
修訂後的每月成本:
- 基礎:$330
- 系統提示詞:$150
- RAG 上下文:$360
- 重試(5%):$42
- 對話歷史:$200 以上(因情況而異)
- 現實總計:$1,000 至 1,500/月
這是天真估算的 3 至 5 倍。而且這是對一個中等大小的支援機器人,而非核心產品功能。

