LLM 成本最佳化：12 種技術排名

效果最大的 LLM 成本最佳化技術依序是：用客製化模型承接高流量任務、為每項任務選對模型規格、在模型之間路由請求、把可以等待的工作改用批次處理，以及提示快取。先把單一任務成本量測起來，因為下面每一項技術都要用這個數字來衡量。

本指南依每項技術在其涵蓋流量上的節省幅度，為 12 種技術排序，並列出各自的實施投入和品質風險。價格均為 OpenAI 和 Anthropic 截至 2026 年 10 月的定價。同一問題的管理視角，請見如何降低企業的 AI token 成本。

什麼是 LLM 成本最佳化？

LLM 成本最佳化，是在把品質維持在約定標準的前提下，降低每項已完成任務的模型使用成本：傳送更少的 token，把 token 送給更便宜的模型，或者以更低的費率為它們付費。需要管理的單位是單一任務成本，因為一個需要重試三次的便宜模型，可能比一次成功的昂貴模型花得更多。

每項技術都作用於任務成本中的某一項：

單一任務成本 = 對該任務的每次 API 呼叫加總：
    未快取的輸入 token x 輸入價格
  + 已快取的輸入 token x 快取價格
  + 輸出 token         x 輸出價格   （推理 token 計入輸出）

下表列出每一項由哪些技術來壓縮。

由於這些技術作用於不同的成本項，它們的節省會相乘。快取前綴、限制輸出、換用更便宜的等級，三者可以在同一次 API 呼叫上疊加。

如何量測 LLM 的單一任務成本？

在每次 API 呼叫時記錄 token 用量，附上任務 ID 和任務類型，再依已完成的任務彙總。兩家供應商都會在每次回應中回傳用量，所以幾行程式碼就夠了：

# 每百萬 token 的美元價格，截至 2026 年 10 月的定價。
PRICES = {
    "claude-opus-5": {"input": 5.00, "cache_read": 0.50, "cache_write": 6.25, "output": 25.00},
    "gpt-6-luna": {"input": 0.10, "cache_read": 0.01, "cache_write": 0.125, "output": 0.50},
}

def api_call_cost(model, uncached_in, cache_read, cache_write, output):
    p = PRICES[model]
    return (
        uncached_in * p["input"]
        + cache_read * p["cache_read"]
        + cache_write * p["cache_write"]
        + output * p["output"]
    ) / 1_000_000

在相信總數之前，先弄清每家供應商如何統計快取 token。Anthropic 的提示快取文件中，input_tokens 只統計最後一個快取斷點之後的 token，cache_read_input_tokens 和 cache_creation_input_tokens 另外列出，所以輸入總量是三者之和。檢查其他供應商的用量欄位，看快取 token 是包含在輸入計數裡還是另外列出，否則儀表板會重複計算。

回報單次成功任務的成本：一項任務發出的所有 API 呼叫的成本，包括重試和升級，除以達到品質標準的任務數。下面每一項技術，要推動的都是這個數字。

哪些 LLM 成本最佳化技術省得最多？

下面的排名依每項技術在其涵蓋流量上的節省幅度排序。您的總節省取決於每項技術能涵蓋多少流量。

第 4 到第 7 項是設定調整，大多數團隊一週內就能上線。第 1 到第 3 項會改變由哪個模型來做事，所以在移動任何流量之前，都需要先有評估集。

1. 用客製化模型承接高流量任務

當某一項任務，例如工單分流、文件擷取或通話摘要，佔了 API 呼叫的很大一部分時，為這項任務訓練的模型能以前沿模型成本的一小部分來承接它。為單一工作訓練的模型只攜帶這項工作需要的能力，所以每個 token 的服務成本更低，回應也更快。

在我們的 QMSum 研究中，一個為查詢式會議摘要訓練的 1.2B 模型，在一張租用的雲端 GPU 上估算的服務成本為每次查詢 0.00053 美元；依同步呼叫定價，Claude Opus 5 為 0.104 美元，GPT-5.6 Luna 為 0.0130 美元。它在單張 GPU 上 0.39 秒給出回答，而透過 API 呼叫 Claude Opus 5 需要 9.0 秒。這個估算不含訓練成本，而且品質因任務而異，所以下文的切換要以您自己的評估集為準。

這是清單上投入最大的一項，因為它需要一項穩定的任務、足夠用來學習的真實流量、一個定義標準的評估集，以及一種安全遷移流量的方式。下文關於高流量任務何時值得擁有專屬模型的一節，會討論這個決定。

2. 為每項任務選對模型規格

等級之間的價差，是大多數團隊還沒動用的最大槓桿。以下是截至 2026 年 10 月目前產品線每百萬 token 的定價。

在每條產品線裡，最高等級每個輸出 token 的價格是最低等級的 10 到 100 倍，所以一項能在較低等級上通過的任務，只改一行程式碼就能省下一大筆。

方法是評估集：幾百筆附有已知正確輸出的真實輸入，加上一條評分規則。讓每個候選等級都跑一遍，選出達到標準的最便宜等級；每當供應商發布新模型，就重跑一次評估集，因為能通過的最便宜等級會隨每次發布而變化。

3. 路由請求，或採用級聯

路由是依任務標籤或分類器，預先為每個請求選定模型。級聯則先嘗試便宜的模型，當答案未通過驗證或信心檢查時，再升級到更強的模型。

級聯的算術很簡單。如果便宜模型的成本是強模型的 5%，並把 30% 的請求升級，期望成本就是 0.05 + 0.30 = 0.35，即全部交給強模型時成本的 0.35，節省 65%。升級率越高，節省越少，所以要依任務類型分別量測。

先依明確的任務標籤路由，例如用請求標頭標註，或為工作流程的每一步單獨設一個端點；等累積了帶標籤的流量、可以用來訓練和衡量時，再加入學習型路由器。一次路由錯誤會損失品質，而預測難度本身就是一個難題。我們之前關於 SLM 優先的 80/20 路由模式和如何在微調模型、API 與 RAG 之間選擇的文章，對架構有更深入的討論。如需並列比較各種路由策略，以及如何安全地把流量移到更便宜的模型，請看LLM 路由策略：降低前沿模型 API 成本。

4. 能等的工作，一律批次處理

截至 2026 年 10 月，OpenAI 和 Anthropic 的批次處理價格都是標準輸入和輸出費率的 50%，OpenAI 還把 GPT-6 產品線的 Flex 等級定在與 Batch 相同的價格。評估執行、歷史資料回填、夜間摘要、資料擴充任務和積壓內容分類都適用。

工程上的代價是非同步管線：把請求寫入一個帶穩定自訂 ID 的檔案，送出後輪詢狀態或接收 webhook，再核對結果並重試部分失敗。讓每個請求保持冪等，這樣重試永遠不會把一個結果寫兩遍。

5. 快取穩定的前綴

提示快取會把提示中已經處理過的前綴存起來，之後共用這段前綴的 API 呼叫按快取費率計費。截至 2026 年 10 月，Anthropic 對大多數 Claude 模型的快取命中按基礎輸入價格的 0.1 倍計費，5 分鐘快取的寫入為 1.25 倍，1 小時快取為 2 倍。OpenAI 對 GPT-6 Astra 和 GPT-6 Luna 的快取輸入按標準輸入的十分之一計價，快取寫入為 1.25 倍。

依這些倍數，快取從第一次重複使用起就開始回本：兩次未快取的 API 呼叫花費 2.0 個單位的輸入，而一次寫入加一次命中只花 1.25 + 0.1 = 1.35。

要提高命中率：

• 把穩定內容放在前面：系統提示、工具定義、參考文件。把可變內容放在最後。
• 時間戳記、請求 ID 和依使用者變化的資料不要放進前綴，因為任何改動都會讓其後的所有內容失效。
• 工具定義保持固定順序。
• 檢查最小可快取長度。Anthropic 的文件列出 Claude Opus 5 為 512 個 token，所以過短的提示永遠不會被快取。
• 依任務類型追蹤快取命中率，因為一次調整了提示順序的重構，可能悄無聲息地把命中率降到零。

快取改變的是輸入的價格，輸出不受影響。當單靠快取已經不夠時，我們關於從提示快取轉向微調的文章介紹了下一步。

6. 限制輸出，使用結構化輸出

在兩家供應商目前的產品線上，輸出 token 的價格都是輸入的五倍：Claude Opus 5 為 5 美元和 25 美元，GPT-6 Luna 為每百萬 0.10 美元和 0.50 美元。為每次 API 呼叫設定最大輸出長度。當使用結果的是程式碼時，要求回傳欄位簡短、使用列舉值的 JSON schema。如果只用到最終標籤，就從正式環境的提示中刪掉「解釋你的推理過程」這類指令。

7. 控制推理強度

OpenAI 的推理指南說明，推理 token 按輸出 token 計費，儘管 API 從不回傳它們；Anthropic 也把思考 token 計入計費的輸出。用評估集逐一測試每個推理強度或思考預算，選用能通過的最低設定。

OpenAI 的 max_output_tokens 同時限制推理和可見輸出，其指南提醒，回應可能在產生任何可見輸出之前就停止，卻仍然對輸入和推理 token 計費。為上限保留餘裕，並監控未完成的回應。

8. 裁剪上下文，調校檢索

提示中的每個 token，在每次 API 呼叫中都會計費。對於檢索管線，先廣泛召回，再重新排序，只傳送排名最前面的幾個片段。去掉彼此重疊的片段，並在建立索引之前，刪除來源文件中的導覽文字、頁首和標記等樣板內容。

長上下文視窗讓人很容易忽略這一點。截至 2026 年 10 月，Anthropic 對其完整的 1M token 上下文按標準的每 token 費率計費，所以一個 90 萬 token 的請求，成本是一個 9000 token 請求的一百倍。上下文變長還會在視窗填滿之前很早就降低回答品質，詳見有效上下文長度問題。

9. 壓縮對話和代理的歷史

聊天產品和代理在每一輪都會重新傳送整段對話。如果每一輪新增的 token 數差不多，一段對話的總輸入就會隨對話長度的平方成長，因為第 n 輪要重新傳送之前的全部 n 輪。

保留一個近期輪次的滑動視窗，把較早的輪次總結成一段簡短的狀態區塊，並在代理用完工具輸出後將其丟棄。快取能降低重複傳送歷史的價格，但 token 數量仍在成長，所以在長工作階段中，壓縮依然值得做。

10. 限制代理步數和工具輸出

代理每次執行的長度差異很大，帳單主要由長尾驅動。限制每次執行的步數，設定每次執行的 token 預算，任一上限被觸及時就以交接方式結束執行。在工具端就截斷工具輸出：只回傳符合的資料列、相關的函式或排名靠前的結果，絕不回傳整個檔案或整張表。把每次成功執行的 token 數和成功率一起記錄，這樣一次讓執行變長的提示改動，在上線當天就能被發現。我們的指南AI 代理成本最佳化把這些做法逐步應用到一次完整的代理執行上。

11. 為重複請求快取完整回應

當同一個請求反覆出現，例如常見問題的回答或對已知輸入的分類，就直接回傳已儲存的回應，完全跳過 API 呼叫。用正規化後的輸入、模型和提示版本作為快取鍵，並在任一版本變化時讓快取失效。

語意快取透過嵌入向量的相似度比對近似重複的請求，可以提高命中率，代價是偶爾會把另一個問題的答案回傳出去。使用嚴格的相似度門檻，並只在近似比對也能接受的工作負載上使用。

12. 壓縮提示

更短的指令和更少的少樣本範例，能在每次 API 呼叫中減少輸入 token。節省是真實的，但不多；如果前綴已經按十分之一的價格快取，節省就更少。在快取之後再做，並在每次刪減後重跑評估集，因為少樣本範例對品質的貢獻，往往比它們的長度所顯示的更大。

高流量任務什麼時候值得擁有自己的模型？

當一項任務的流量高且穩定、好輸出的定義不變，並且評估集可以自動為它評分時，它就值得擁有自己的模型。比較時要用您實際會支付的前沿模型價格，包括非同步工作可享的批次處理折扣，因為那才是真正的替代方案。損益兩平的計算見客製化模型何時比前沿 API 更省錢。

當這些訊號大多具備時，剩下的問題就是模型長期運作的成本。客製化模型是一條需要持續營運的管線：蒐集和整理訓練資料、訓練、評估每個候選版本、提供服務、監測漂移，並隨著任務變化重新訓練。訓練本身只是其中較小的一部分。

自適應模型端點替您營運這條管線。自適應模型端點是為您的某一項任務提供的單一 API 端點：起初由前沿模型回答，用您的請求和團隊回饋訓練出的客製化模型在通過您的評估集後接手，困難的案例繼續留在前沿模型上。

具體來說：

1. 您只需改一個模型名稱，把任務指向這個端點。起初由前沿模型處理所有請求，所以不會有任何工作等待訓練。
2. 客製化模型的每個新版本都會在背景用真實請求執行，並依您的評估集評分。
3. 未經您的核准，什麼都不會切換。版本通過後，越來越多的請求轉給它，困難的案例繼續留在前沿模型上。
4. 我們監控模型，並隨著您的任務變化重新訓練，每個新版本都要通過同樣的關卡。

模型可以由 Ertas 代管執行，也可以部署在您的雲端或地端，並且歸您所有。該端點目前僅限受邀企業使用，我們正在開發一個更精簡的版本，讓更多企業可以接入。

常見問題

降低 LLM 成本最快的方法是什麼？

批次處理和提示快取，因為兩者都是不影響輸出品質的設定調整。截至 2026 年 10 月，OpenAI 和 Anthropic 的批次處理便宜 50%，而在大多數目前的模型上，快取輸入按標準輸入價格的十分之一或更低計費。

提示快取能降低輸出成本嗎？

提示快取只降低重複輸入 token 的價格。輸出 token，包括推理 token，都按完整的輸出費率計費，所以要把快取與輸出上限、以及用評估集測試過的推理強度設定結合起來。

更便宜的模型按任務算一定更便宜嗎？

更便宜的模型按 token 算確實更便宜，但按任務算要看重試和升級。一個需要多次嘗試、或把大部分請求升級給更強模型的模型，可能會失去優勢。要量測單次成功任務的成本，並計入每一次重試和升級。

客製化模型的服務成本和前沿 API 相比如何？

在我們的 QMSum 研究中，一個為會議摘要訓練的 1.2B 模型，估算的服務成本為每次查詢 0.00053 美元；依同步呼叫定價，Claude Opus 5 為 0.104 美元，GPT-5.6 Luna 為 0.0130 美元。這個估算不含訓練成本。您的數字取決於模型規模、流量大小，以及服務硬體的使用率。

這些 LLM 成本最佳化技術可以組合使用嗎？

大多數可以疊加，因為它們作用於成本公式中的不同項。快取降低輸入的價格，輸出上限減少輸出 token，選對模型規格則同時降低兩者的價格，所以節省會在同一次 API 呼叫上相乘。

營運客製化模型需要機器學習團隊嗎？

自己營運需要資料整理、訓練、評估、服務和重新訓練，對團隊來說是實實在在的投入。使用自適應模型端點時，由 Ertas 營運這條管線，您的工程師只需改一個模型名稱，您的團隊依自己的評估集核准每一次切換。

簡短版

在最佳化任何東西之前，先量測單次成功任務的成本。先拿下設定層面的收益：能等的工作批次處理，快取穩定的前綴，限制輸出和推理。然後把每項任務交給能通過評估集的最便宜模型，再為呼叫量最大的任務配一個專門訓練的模型。

如果某一項任務佔據了您 token 帳單的大宗，預約通話，我們和您一起評估。

資料來源：OpenAI API 定價、Anthropic 定價、Anthropic 提示快取文件和 OpenAI 推理指南。價格核實於 2026 年 10 月 6 日。