跳到正文
    Ertas
    Back to blog

    如何降低企業的 AI token 成本

    寫給管理者的 AI 成本指南:先弄清 AI token 都花在了哪裡,再拿下批次處理、提示快取和模型選型帶來的快速節省,最後為呼叫量最大的任務配一個專屬的客製化模型。文中列出該向團隊提出的問題、每項措施的節省幅度,並附一份 30 天行動計畫。

    A pale astronomical impression in graphite and copper, with a soft amber penumbra on warm paper.Two fine engraved orbital fields crossing in deep space, with cool cyan light and a warm distant seam.

    要降低 AI token 成本,先把帳單拆成兩部分:員工使用的席位工具,以及工作負載,也就是您的產品和自動化流程發出的 API 呼叫。大部分節省空間在工作負載裡,靠四個動作實現:為每項任務搭配合適的模型,不再重複傳送相同的上下文,把可以等待的工作改用批次處理,以及為呼叫量最大的任務配一個專屬的客製化模型。

    這個問題背後的壓力是真實的。2026 年 4 月,Axios 報導指出,一些公司在 AI 上的支出已經超過員工薪資,IT 預算因此被衝破。同等水準的 AI 能力價格持續下降,總支出卻不斷上升,因為用量成長得比價格下降更快。我們的指南為什麼 AI 成本這麼高詳細分析了這個趨勢。

    本指南寫給負責這份帳單的高階主管和管理者,內容包括該向團隊提出哪些問題、按什麼順序行動,以及什麼時候值得投入客製化模型。每項措施背後的工程細節,請見配套指南 LLM 成本最佳化:12 種技術排名。

    什麼是 AI token,帳單為什麼漲得這麼快?

    AI token 是 AI 供應商的計費單位:一小段文字,通常是一個詞的一部分。傳送給模型的所有內容和模型回傳的所有內容,都按 token 計數。您的帳單等於 token 數量乘以處理這些 token 的模型單價,兩者任一成長,帳單都會成長。

    有四個因素讓帳單漲得比大多數預算預期的更快。

    輸出比輸入貴。 截至 2026 年 10 月,Anthropic 的定價顯示 Claude Opus 5 每百萬輸入 token 5 美元、每百萬輸出 token 25 美元,OpenAI 的定價顯示 GPT-6 Astra 分別為 10 美元和 50 美元。模型每寫出一個 token 的價格,是它讀入一個 token 的五倍。

    推理會增加沒人看得見的 token。 OpenAI 的文件說明,推理 token 按輸出 token 計費,儘管 API 從不顯示它們。模型在回答前的思考,同樣要付費。

    一個請求會變成許多次 API 呼叫。 處理一筆客戶請求的 AI 代理,可能要規劃、搜尋、使用工具並檢查自己的結果。每一步都是一次獨立的 API 呼叫,並且會把截至目前的整段對話重新傳送一遍,所以一個請求的成本會隨著步驟增加而攀升。

    預設模型往往是最貴的那個。 團隊用當時最強的模型做出原型後,就繼續往前走了。各等級模型之間的價差很大:截至 2026 年 10 月,GPT-6 Astra 的輸出價格為每百萬 token 50 美元,GPT-6 Luna 為 0.50 美元,在同一家供應商的產品線裡相差 100 倍。

    長條圖:依 2026 年 10 月定價計算的每百萬輸出 token 價格。GPT-6 Astra 與 Claude Fable 5.1 為 50 美元,Claude Opus 5 為 25 美元,GPT-6.1 Sol 與 Claude Sonnet 5.5 為 10 美元,Claude Haiku 4.5 為 5 美元,GPT-6 Luna 為 0.50 美元。
    只要更便宜的模型能通過您的評估集,把一項簡單任務從最上一列移到最下一列,它的輸出費用就會降到原來的百分之一。

    按 token 計價本身還藏著一些倍數,詳見為什麼按 token 計價的 AI 成本會比估算高出 3-5 倍。

    您的 AI token 究竟花在了哪裡?

    先把 AI 支出分成兩類。它們成長的原因不同,削減的手段也不同。

    支出類型例子誰在驅動用量主要手段
    席位工具聊天助理、程式碼代理、各類 Copilot每位員工用量額度、預設設定和使用習慣
    工作負載產品功能、自動化流程、內部代理工程團隊模型選擇、快取、客製化模型

    席位工具的表現就像一份軟體訂閱,外加一份用量額度。隨著 AI 進入產品,支出會集中到工作負載上,因為一個功能每小時就可能發出成千上萬次 API 呼叫,全程不需要任何人輸入提示詞。我們的指南如何為團隊設定 AI token 預算介紹了如何為這兩類支出設定額度、預設模型和報告。

    請工程團隊每月就每個工作負載提供四個數字:

    1. 每月 API 呼叫次數
    2. 每次 API 呼叫的平均輸入和輸出 token 數
    3. 每次 API 呼叫所用的模型
    4. 完成一項任務的成本,例如解決一張工單、處理一筆理賠或起草一份報告

    第四個數字才是需要管理的那個。單一任務成本把 AI 支出和它完成的工作掛鉤,讓您分清帳單上漲是因為業務量成長,還是因為每項任務變貴了。供應商在每次回應中都會回傳 token 計數,所以拿到這些數字,只是工程師做好日誌記錄的事。我們的指南單一任務成本:衡量 AI 的單位經濟效益介紹了如何計算它並設定目標。

    如何在不犧牲品質的前提下降低 AI token 成本?

    按下面的順序逐項推進。前三項是設定調整,團隊幾週內就能完成。最後一項需要更多準備,但通常能在最大的工作負載上省下最多。

    手段改變什麼投入對受影響工作的節省
    為任務搭配模型簡單任務改用更便宜的等級低價差最高 100 倍
    重複使用相同的上下文提示快取低快取輸入按 10% 計費
    可等待的工作改用批次處理非同步批次處理低輸入和輸出各省 50%
    限制代理迴圈每次執行設定步數和預算上限中因工作流程而異
    為大任務配專屬模型為單一任務打造客製化模型較高高流量任務上最大

    以上數字為 OpenAI 和 Anthropic 截至 2026 年 10 月的定價。每項節省只作用於該手段涉及的工作,因此對總帳單的影響取決於您的工作負載組成。

    為任務搭配模型

    大多數公司讓所有任務都跑在最初選定的模型上。替客服工單分類、從發票中擷取欄位、為電子郵件分流,很少需要市面上最強的模型。

    問問團隊:哪些工作負載跑在最高等級上,有沒有人用更便宜的等級在同樣的工作上測試過?這種測試需要一個評估集,也就是一組附有已知正確答案的真實範例,模型必須在上面取得好成績,才能處理線上工作。評估集讓本指南後面的每個決策都變得穩妥,所以即使還沒打算換模型,也值得先要一個。

    不再為重複的上下文支付全額

    許多工作負載在每次 API 呼叫中,都會傳送同樣冗長的指令、政策或參考文件。提示快取讓供應商把這部分重複內容存起來,在之後的 API 呼叫中只收取低得多的費用。

    截至 2026 年 10 月,Anthropic 對大多數 Claude 模型的快取命中按標準輸入價格的十分之一計費,OpenAI 列出的 GPT-6 Luna 快取輸入價格為每百萬 token 0.01 美元,標準價格為 0.10 美元。問問團隊,您最大的幾個工作負載是否已經按能用上快取的方式組織。

    能等待結果的工作,一律改用批次處理

    夜間報表、積壓文件、品質檢查和大量標註,都可以等幾個小時再拿結果。截至 2026 年 10 月,OpenAI 和 Anthropic 的批次處理價格都是標準輸入和輸出費率的 50%。這往往是最快能拿到的節省,因為改變的只是工作的執行時間。

    為 AI 代理設限

    在大多數 AI 帳單裡,代理是變化最快的一項,因為每次執行的步數都難以預測。為每次執行設定最大步數和 token 預算,並為正式環境中的每個代理回報單一任務成本。執行觸及上限時應當停止,並轉交給人工或更簡單的流程。

    示意圖:AI 代理分五步處理一筆客戶請求,分別是規劃、搜尋、使用工具、檢查結果和回答。每一步都是一次獨立的 API 呼叫,會重新傳送之前的所有步驟,因此傳送的輸入從第 1 步的一個單位成長到第 5 步的五個單位。
    五步工作要傳送十五個單位的輸入,所以砍掉最後一兩步,省下的比步數看起來要多。

    為呼叫量最大的任務配一個專屬模型

    當某一項任務佔了 AI 帳單的很大一部分,例如理賠分流或客戶通話摘要,為每一次重複都支付前沿模型的價格就不再合理。為這項任務訓練的客製化模型,可以用低得多的單一任務成本承接其中的例行部分,困難的案例則繼續交給前沿模型。

    高流量任務什麼時候適合用客製化模型?

    當一項任務的流量高且穩定、好答案的定義不變,並且可以用評估集檢驗品質時,客製化模型就值得考慮。對規模較小或變化較快的任務,前面那些設定手段通常就夠了。

    和團隊一起過一遍這五個問題。

    問題適合客製化模型的訊號
    任務多久執行一次?每天數千次 API 呼叫
    每次都是同樣的工作嗎?單一任務,輸出格式一致
    答案能自動檢查嗎?已有評估集,或可以建構
    我們對好答案的標準一致嗎?有清楚的品質標準
    資料必須留在哪裡?Ertas 代管、您的雲端或地端

    如果大多數答案都指向正確方向,這項任務就是有力的候選。如果任務每週都在變,或者沒人說得清好答案是什麼樣子,就先解決這個問題,因為只有已經存在的標準,才能拿來要求模型。

    這正是 Ertas 透過自適應模型端點所做的工作。自適應模型端點是為您的某一項任務提供的單一 API 端點:起初由前沿模型回答,用您的工作訓練出的客製化模型在通過您的評估集後接手,困難的案例繼續留在前沿模型上。

    新版本在同一個端點背後上線,因此重新訓練從不需要等您的團隊發版。

    對您的團隊來說,串接只需要在程式碼裡改一個模型名稱。客製化模型的每個新版本都會先在背景用真實請求執行,未經您的核准,什麼都不會切換。我們監控模型,並隨著您的任務變化重新訓練它。模型可以由 Ertas 代管執行,也可以部署在您的雲端或地端,並且歸您所有。該端點目前僅限受邀企業使用,我們正在開發一個更精簡的版本,讓更多企業可以接入。

    節省來自為單一工作訓練的模型。在我們已發表的 QMSum 研究中,一個為會議摘要任務訓練的模型,依定價估算的單次查詢服務成本比 Claude Opus 5 低約 99%,回應速度快 23 倍。每項任務都不同,所以每一次切換都要等您的評估集通過。

    降低 AI token 帳單的 30 天計畫

    以下是上述步驟在一個月內的安排,每一步都有負責人。

    週行動負責人
    1把支出拆分為席位工具和工作負載財務與工程
    2記錄主要工作負載的單一任務成本工程
    3實施批次處理、快取和模型選型調整工程
    4選定一項高流量任務,評估客製化模型產品與工程負責人

    到月底,您會有一條基準線、已經入袋的快速節省,以及關於最大工作負載的決定。把這些數字納入明年的計畫,和其他 AI 基礎設施一起考量,詳見我們的企業 AI 預算規劃指南。

    常見問題

    企業能在 AI token 成本上節省多少?

    取決於工作組成。在各項手段涉及的工作上,依 2026 年 10 月定價計算的效果很明確:OpenAI 和 Anthropic 的批次處理便宜 50%,快取輸入約為標準輸入價格的十分之一,更便宜的等級每個輸出 token 最多可便宜 100 倍。在高流量任務上使用客製化模型,通常對總額影響最大,因為它降低的是最大工作負載的價格。

    席位成本和工作負載成本有什麼區別?

    席位成本來自員工直接使用的工具,例如聊天助理和程式碼代理,靠授權和用量額度來管理。工作負載成本來自您的產品、自動化流程和代理自行發出的 API 呼叫,會隨業務量成長。本指南中的大部分節省都作用於工作負載。

    更便宜的模型會降低我們 AI 功能的品質嗎?

    如果盲目切換,可能會。先用評估集,也就是一組附有已知正確答案的真實範例,測試更便宜的模型,只把達到品質標準的任務切過去。切換後繼續執行評估集,這樣品質一旦下滑,會先出現在報告裡,而不是客訴裡。

    使用客製化模型後,我們還能用前沿模型嗎?

    可以。使用自適應模型端點時,困難的案例繼續交給前沿模型,客製化模型在通過您的評估集後承接例行部分。在重要的地方保留前沿模型的品質,在重複性工作上少花錢。

    Ertas 打造的客製化模型歸誰所有?

    歸您所有。模型以您的工作、為您的任務訓練,可以由 Ertas 代管執行,也可以部署在您的雲端或地端。我們監控它,並隨著您的任務變化重新訓練。

    多久能看到節省?

    批次處理、快取和模型選型調整屬於設定變更,下個月的帳單就可能反映出來。客製化模型需要更長時間,因為它必須先通過您的評估集才能接收流量。在此期間,您的前沿模型照常回答,所以沒有任何工作需要等待。

    簡短版

    AI token 成本隨用量、輸出長度、推理和代理步驟一起成長。拆分帳單,衡量單一任務成本,先拿下設定帶來的節省,再為最大的重複性任務配一個專門訓練的模型。

    如果某一項任務已經佔據了您的大部分帳單,預約通話,我們和您一起看看。


    資料來源:OpenAI API 定價、Anthropic 定價、OpenAI 推理指南和 Axios。價格核實於 2026 年 10 月 6 日。