要降低 AI token 成本,先把帳單拆成兩部分:員工使用的席位工具,以及工作負載,也就是您的產品和自動化流程發出的 API 呼叫。大部分節省空間在工作負載裡,靠四個動作實現:為每項任務搭配合適的模型,不再重複傳送相同的上下文,把可以等待的工作改用批次處理,以及為呼叫量最大的任務配一個專屬的 客製化模型。
這個問題背後的壓力是真實的。2026 年 4 月,Axios 報導指出,一些公司在 AI 上的支出已經超過員工薪資,IT 預算因此被衝破。同等水準的 AI 能力價格持續下降,總支出卻不斷上升,因為用量成長得比價格下降更快。我們的指南為什麼 AI 成本這麼高詳細分析了這個趨勢。
本指南寫給負責這份帳單的高階主管和管理者,內容包括該向團隊提出哪些問題、按什麼順序行動,以及什麼時候值得投入客製化模型。每項措施背後的工程細節,請見配套指南 LLM 成本最佳化:12 種技術排名。
什麼是 AI token,帳單為什麼漲得這麼快?
AI token 是 AI 供應商的計費單位:一小段文字,通常是一個詞的一部分。傳送給模型的所有內容和模型回傳的所有內容,都按 token 計數。您的帳單等於 token 數量乘以處理這些 token 的模型單價,兩者任一成長,帳單都會成長。
有四個因素讓帳單漲得比大多數預算預期的更快。
輸出比輸入貴。 截至 2026 年 10 月,Anthropic 的定 價顯示 Claude Opus 5 每百萬輸入 token 5 美元、每百萬輸出 token 25 美元,OpenAI 的定價顯示 GPT-6 Astra 分別為 10 美元和 50 美元。模型每寫出一個 token 的價格,是它讀入一個 token 的五倍。
推理會增加沒人看得見的 token。 OpenAI 的文件說明,推理 token 按輸出 token 計費,儘管 API 從不顯示它們。模型在回答前的思考,同樣要付費。
一個請求會變成許多次 API 呼叫。 處理一筆客戶請求的 AI 代理,可能要規劃、搜尋、使用工具並檢查自己的結果。每一步都是一次獨立的 API 呼叫,並且會把截至目前的整段對話重新傳送一遍,所以一個請求的成本會隨著步驟增加而攀升。
預設模型往往是最貴的那個。 團隊用當時最強的模型做出原型後,就繼續往前走了。各等級模型之間的價差很大:截至 2026 年 10 月,GPT-6 Astra 的輸出價格為每百萬 token 50 美元,GPT-6 Luna 為 0.50 美元,在同一家供應商的產品線裡相差 100 倍。


按 token 計價本身還藏著一些倍數,詳見為什麼按 token 計價的 AI 成本會比估算高出 3-5 倍。
您的 AI token 究竟花在了哪裡?
先把 AI 支出分成兩類。它們成長的原因不同,削減的手段也不同。
| 支出類型 | 例子 | 誰在驅動用量 | 主要手段 |
|---|---|---|---|
| 席位工具 | 聊天助理、程式碼代理、各類 Copilot | 每位員工 | 用量額度、預設設定和使用習慣 |
| 工作負載 | 產品功能、自動化流程、內部代理 | 工程團隊 | 模型選擇、快取、客製化模型 |
席位工具的表現就像一份軟體訂閱,外加一份用量額度。隨著 AI 進入產品,支出會集中到工作負載上,因為一個功能每小時就可能發出成千上萬次 API 呼叫,全程不需要任何人輸入提示詞。我們的指南如何為團隊設定 AI token 預算介紹了如何為這兩類支出設定額度、預設模型和報告。
請工程團隊每月就每個工作負載提供四個數字:
- 每月 API 呼叫次數
- 每次 API 呼叫的平均輸入和輸出 token 數
- 每次 API 呼叫所用的模型
- 完成一項任務的成本,例如解決一張工單、處理一筆理賠或起草一份報告
第四個數字才是需要管理的那個。單一任務成本把 AI 支出和它完成的工作掛鉤,讓您分清帳單上漲是因為業務量成長,還是因為每項任務變貴了。供應商在每次回應中都會回傳 token 計數,所以拿到這些數字,只是工程師做好日誌記錄的事。我們的指南單一任務成本:衡量 AI 的單位經濟效益介紹了如何計算它並設定目標。
如何在不犧牲品質的前提下降低 AI token 成本?
按下面的順序逐項推進。前三項是設定調整,團隊幾週內就能完成。最後一項需要更多準備,但通常能在最大的工作負載上省下最多。
| 手段 | 改變什麼 | 投入 | 對受影響工作的節省 |
|---|---|---|---|
| 為任務搭配模型 | 簡單任務改用更便宜的等級 | 低 | 價差最高 100 倍 |
| 重複使用相同的上下文 | 提示快取 | 低 | 快取輸入按 10% 計費 |
| 可等待的工作改用批次處理 | 非同步批次處理 | 低 | 輸入和輸出各省 50% |
| 限制代理迴圈 | 每次執行設定步數和預算上限 | 中 | 因工作流程而異 |
| 為大任務配專屬模型 | 為單一任務打造客製化模型 | 較高 | 高流量任務上最大 |
以上數字為 OpenAI 和 Anthropic 截至 2026 年 10 月的定價。每項節省只作用於該手段涉及的工作,因此對總帳單的影響取決於您的工作負載組成。
為任務搭配模型
大多數公司讓所有任務都跑在最初選定的模型上。替客服工單分類、從發票中擷取欄位、為電子郵件分流,很少需要市面上最強的模型。
問問團隊:哪些工作負載跑在最高等級上,有沒有人用更便宜的等級在同樣的工作上測試過?這種測試需要一個評估集,也就是一組附有已知正確答案的真實範例,模型必須在上面取得好成績,才能處理線上工作。評估集讓本指南後面的每個決策都變得穩妥,所以即使還沒打算換模型,也值得先要一個。
不再為重複的上下文支付全額
許多工作負載在每次 API 呼叫中,都會傳送同樣冗長的指令、政策或參考文件。提示快取讓供應商把這部分重複內容存起來,在之後的 API 呼叫中只收取低得多的費用。
截至 2026 年 10 月,Anthropic 對大多數 Claude 模型的快取命中按標準輸入價格的十分之一計費,OpenAI 列出的 GPT-6 Luna 快取輸入價格為每百萬 token 0.01 美元,標準價格為 0.10 美元。問問團隊,您最大的幾個工作負載是否已經按能用上快取的方式組織。
能等待結果的工作,一律改用批次處理
夜間報表、積壓文件、品質檢查和大量標註,都可以等幾個小時再拿結果。截至 2026 年 10 月,OpenAI 和 Anthropic 的批次處理價格都是標準輸入和輸出費率的 50%。這往往是最快能拿到的節省,因為改變的只是工作的執行時間。
為 AI 代理設限
在大多數 AI 帳單裡,代理是變化最快的一項,因為每次執行的步數都難以預測。為每次執行設定最大步數和 token 預算,並為正式環境中的每個代理回報單一任務成本。執行觸及上限時應當停止,並轉交給人工或更簡單的流程。


為呼叫量最大的任務配一個專屬模型
當某一項任務佔了 AI 帳單的很大一部分,例如理賠分流或客戶通話摘要,為每一次重複都支付前沿模型的價格就不再合理。為這項任務訓練的客製化模型,可以用低得多的單一任務成本承接其中的例行部分,困難的案例則繼續交給前沿模型。
高流量任務什麼時候適合用客製化模型?
當一項任務的流量高且穩定、好答案的定義不變,並且可以用評估集檢驗品質時,客製化模型就值得考慮。對規模較小或變化較快的任務,前面那些設定手段通常就夠了。
和團隊一起過一遍這五個問題。
| 問題 | 適合客製化模型的訊號 |
|---|---|
| 任務多久執行一次? | 每天數千次 API 呼叫 |
| 每次都是同樣的工作嗎? | 單一任務,輸出格式一致 |
| 答案能自動檢查嗎? | 已有評估集,或可以建構 |
| 我們對好答案的標準一致嗎? | 有清楚的品質標準 |
| 資料必須留在哪裡? | Ertas 代管、您的雲端或地端 |
如果大多數答案都指向正確方向,這項任務就是有力的候選。如果任務每週都在變,或者沒人說得清好答案是什麼樣子,就先解決這個問題,因為只有已經存在的標準,才能拿來要求模型。
這正是 Ertas 透過自適應模型端點所做的工作。自適應模型端點是為您的某一項任務提供的單一 API 端點:起初由前沿模型回答,用您的工作訓練出的客製化模型在通過您的評估集後接手,困難的案 例繼續留在前沿模型上。
新版本在同一個端點背後上線,因此重新訓練從不需要等您的團隊發版。
對您的團隊來說,串接只需要在程式碼裡改一個模型名稱。客製化模型的每個新版本都會先在背景用真實請求執行,未經您的核准,什麼都不會切換。我們監控模型,並隨著您的任務變化重新訓練它。模型可以由 Ertas 代管執行,也可以部署在您的雲端或地端,並且歸您所有。該端點目前僅限受邀企業使用,我們正在開發一個更精簡的版本,讓更多企業可以接入。
節省來自為單一工作訓練的模型。在我們已發表的 QMSum 研究中,一個為會議摘要任務訓練的模型,依定價估算的單次查詢服務成本比 Claude Opus 5 低約 99%,回應速度快 23 倍。每項任務都不同,所以每一次切換都要等您的評估集通過。
降低 AI token 帳單的 30 天計畫
以下是上述步驟在一個月內的安排,每一步都有負責人。
| 週 | 行動 | 負責人 |
|---|---|---|
| 1 | 把支出拆分為席位工具和工作負載 | 財務與工程 |
| 2 | 記錄主要工作負載的單一任務成本 | 工程 |
| 3 | 實施批次處理、快取和模型選型調整 | 工程 |
| 4 | 選定一項高流量任務,評估客製化模型 | 產品與工程負責人 |
到月底,您會有一條基準線、已經入袋的快速節省,以及關於最大工作負載的決定。把這些數字納入明年的計畫,和其他 AI 基礎設施一起考量,詳見我們的企業 AI 預算規劃指南。
常見問題
企業能在 AI token 成本上節省多少?
取決於工作組成。在各項手段涉及的工作上,依 2026 年 10 月定價計算的效果很明確:OpenAI 和 Anthropic 的批次處理便宜 50%,快取輸入約為標準輸入價格的十分之一,更便宜的等級每個輸出 token 最多可便宜 100 倍。在高流量任務上使用客製化模型,通常對總額影響最大,因為它降低的是最大工作負載的價格。
席位成本和工作負載成本有什麼區別?
席位成本來自員工直接使用的工具,例如聊天助理和程式碼代理,靠授權和用量額度來管理。工作負載成本來自您的產品、自動化流程和代理自行發出的 API 呼叫,會隨業務量成長。本指南中的大部分節省都作用於工作負載。
更便宜的模型會降低我們 AI 功能的品質嗎?
如果盲目切換,可能會。先用評估集,也就是一組附有已知正確答案的真實範例,測試更便宜的模型,只把達到品質標準的任務切過去。切換後繼續執行評估集,這樣品質一旦下滑,會先出現在報告裡,而不是客訴裡。
使用客製化模型後,我們還能用前沿模型嗎?
可以。使用自適應模型端點時,困難的案例繼續交給前沿模型,客製化模型在通過您的評估集後承接例行部分。在重要的地方保留前沿模型的品質,在重複性工作上少花錢。
Ertas 打造的客製化模型歸誰所有?
歸您所有。模型以您的工作、為您的任務訓練,可以由 Ertas 代管執行,也可以部署在您的雲端或地端。我們監控它, 並隨著您的任務變化重新訓練。
多久能看到節省?
批次處理、快取和模型選型調整屬於設定變更,下個月的帳單就可能反映出來。客製化模型需要更長時間,因為它必須先通過您的評估集才能接收流量。在此期間,您的前沿模型照常回答,所以沒有任何工作需要等待。
簡短版
AI token 成本隨用量、輸出長度、推理和代理步驟一起成長。拆分帳單,衡量單一任務成本,先拿下設定帶來的節省,再為最大的重複性任務配一個專門訓練的模型。
如果某一項任務已經佔據了您的大部分帳單,預約通話,我們和您一起看看。
資料來源:OpenAI API 定價、Anthropic 定價、OpenAI 推理指南和 Axios。價格核實於 2026 年 10 月 6 日。

