微調小型模型（1B-8B）：何時超越 GPT-4o，何時不能

本地 AI 社群中流傳著一種說法，大致如下：「微調的 7B 模型可以在任何任務上擊敗 GPT-4o。」這個說法是錯誤的。但更細緻的版本——微調的小型模型在特定、定義明確的任務上擊敗 GPT-4o——既是真實的又是可重現的。這兩個陳述之間的差異是炒作和工程之間的差異。

這篇文章提供誠實的評估。我們將向你展示小型模型在哪裡勝出、在哪裡落後，以及如何決定哪種方法適合你的項目。不是應援。只是資料。

任務特定性能的驚人真相

1B-8B 範圍內的微調模型在狹窄、定義明確的任務上定期超越 GPT-4o。這不是邊緣發現。它是在數千個生產部署中觀察到的一致模式。

原因不是小型模型秘密地比大型模型更好。原因是專業化。GPT-4o 將其 200B 以上的參數分配到每一個可能的任務——從寫十四行詩到調試核心代碼到翻譯斯瓦希里語。當你在一個有 2,000 個高品質範例的具體任務上微調 7B 模型時，你將該模型的整個容量集中在一個目標上。

通用模型是通才。微調模型是專才。在他們的專業領域，專才通常獲勝。

小型模型勝出的地方

分類：94% vs 89%

分類是微調小型模型最強的使用案例。在特定領域分類任務上——支援票路由、內容審核、意圖偵測、文件分類——微調模型一致地超越 GPT-4o。

基準測試：電商支援票分類（15 個類別，500 個測試範例）

模型	準確率	F1（宏觀）	每千次成本	延遲（p50）
GPT-4o（零樣本）	82.4%	79.1%	$0.38	420ms
GPT-4o（5-shot）	89.2%	86.8%	$1.24	680ms
Claude Sonnet（5-shot）	90.8%	88.5%	$0.89	510ms
Llama 3.3 8B（微調）	94.1%	92.7%	$0.00	85ms
Qwen 2.5 7B（微調）	93.8%	92.3%	$0.00	78ms
Qwen 2.5 3B（微調）	91.6%	89.4%	$0.00	42ms

微調的 8B 模型在準確率上超越 GPT-4o 近 5 個百分點。即使是 3B 模型——可以在手機上運行——也超越了 GPT-4o 的零樣本並匹配其少樣本性能。

為什麼會發生這種情況？微調模型已經看到了你的特定類別與你的特定標記慣例的數千個範例。它已經學習了你的分類法中「計費問題」和「付款問題」之間的確切邊界。GPT-4o 是從提示中猜測這些邊界。

提取：更快且更一致

結構化資料提取——從非結構化文本中提取特定字段——是微調模型表現出色的另一個領域。

基準測試：從 200 份測試發票中提取發票資料（供應商、金額、日期、行項目）

模型	字段級 F1	精確匹配	每千次成本	延遲（p50）
GPT-4o	91.3%	72.5%	$2.10	1,200ms
Llama 3.3 8B（微調）	95.7%	88.0%	$0.00	160ms
Qwen 2.5 7B（微調）	95.2%	86.5%	$0.00	145ms

微調模型不只是在提取上匹配 GPT-4o——它顯著超越了它。精確匹配率（單次提取中所有字段都正確）從 72.5% 跳到 88.0%。這個差異在生產中非常重要：這意味著 100 張發票中有 88 張無需人工干預處理，而 GPT-4o 是 72 張。

一致性優勢在這裡是關鍵。GPT-4o 有時以不同方式格式化日期，偶爾在不應該包含的地方包含貨幣符號，或添加破壞預期 schema 的解釋性文字。微調模型學習確切的輸出格式並堅持使用它。

格式化：微調後幾乎完美

需要將文本轉換為精確輸出格式的任務是微調模型的理想選擇。

範例：

將自然語言日期轉換為 ISO 8601 格式
將自由文本地址轉換為結構化 JSON
將純文本表格轉換為 Markdown
從自然語言生成 SQL（帶有受限 schema）

在這些任務上，微調小型模型在 1,000-2,000 個範例訓練後達到 97-99% 的精確匹配率。GPT-4o 在沒有微調的情況下通常達到 88-93%。差距不是關於智能——而是關於一致性。

受限範圍的領域問答

當問題空間是有界的且所需知識是特定領域的時，微調模型表現良好。在 2,000 個關於你產品 API 的問答對上訓練的模型將比 GPT-4o 更準確地回答 API 問題，因為它已經看到了用戶提問的確切類型和他們需要的確切答案。

約束很重要：問題空間必須是有界的。如果用戶可以問任何事情，微調模型將在分佈外的問題上苦苦掙扎。

GPT-4o 勝出的地方

開放式推理

需要在不同領域進行多步邏輯推理的任務仍然牢固地屬於 GPT-4o 的領域。

基準測試：多跳推理問題（100 個需要 3 個以上推理步驟的範例）

模型	準確率
GPT-4o	78.2%
Llama 3.3 8B（在推理範例上微調）	51.4%
Llama 3.3 8B（基礎，零樣本）	42.1%

微調有幫助——模型從 42% 提升到 51%——但它沒有縮小差距。多跳推理需要大型模型在預訓練期間建立的廣泛、深厚的知識表示。你無法用幾千個訓練範例來走捷徑。

多步規劃

當任務需要生成和執行帶有多個依賴步驟的計劃時，GPT-4o 的優勢是顯著的。這包括：

複雜的工作流程生成
多步資料分析，其中每步依賴於前一步
非平凡程序的代碼生成（100 行以上）
帶多個競爭因素的戰略建議

模式很清楚：推理鏈中的步驟越多，每步所需的知識越多樣，GPT-4o 和微調小型模型之間的差距就越大。

新穎問題解決

GPT-4o 比微調小型模型更好地處理超出其訓練分佈的輸入。如果你的生產流量包括真正新穎的邊緣案例——不僅僅是不常見的——GPT-4o 更廣泛的訓練給它帶來顯著優勢。

微調模型擅長插值（在類似訓練資料的輸入上表現良好）。它們不擅長外推（在與訓練資料顯著不同的輸入上表現良好）。GPT-4o 在兩方面都更好，雖然不是完美的。

需要廣泛世界知識的任務

如果任務需要跨多個領域的知識——連接物理學、歷史和經濟學的資訊來回答問題——微調模型無法競爭。7B 模型沒有足夠的參數來存儲這個廣度的知識，同時在你的特定任務上表現良好。

成本差距

財務差異並不微妙。

GPT-4o 定價（截至 2026 年初）：

輸入：每百萬 token $2.50
輸出：每百萬 token $10.00
典型請求的平均成本（200 個輸入 + 50 個輸出 token）：$0.001

本地運行的 Llama 3.3 8B：

硬體：任何帶 8GB 以上 VRAM 或 16GB RAM 的機器
推理成本：每次請求 $0.00
一次性微調成本：$5-25

每月 100,000 次請求時：

GPT-4o：每月 $100（每年 $1,200）
本地 Llama 8B：一次性 $10-25 投資後每月 $0

每月 1,000,000 次請求時：

GPT-4o：每月 $1,000（每年 $12,000）
本地 Llama 8B：每月 $0

本地推理的成本優勢是絕對的。沒有任何量的 GPT-4o 更便宜，因為零始終小於任何正數。

延遲比較

延遲通常是本地模型被遺忘的優勢。

本地 Llama 3.3 8B（Q4 量化，RTX 4090）：

首個 token 時間：15ms
生成速度：80-120 token/秒
典型請求（50 個輸出 token）：總計 55-65ms
P99 延遲：約 90ms

GPT-4o API：

首個 token 時間：200-800ms（取決於負載）
生成速度：40-80 token/秒
典型請求（50 個輸出 token）：總計 600-1,500ms
P99 延遲：2,000-3,000ms

本地 Qwen 2.5 7B（Q4 量化，M2 MacBook Pro）：

首個 token 時間：20ms
生成速度：30-50 token/秒
典型請求（50 個輸出 token）：總計 100-140ms
P99 延遲：約 200ms

即使在筆記本電腦上（CPU 推理），本地模型對於短輸出也比 API 調用快 5-10 倍。在專用 GPU 上，優勢增長到 10-25 倍。而且本地延遲是一致的——沒有冷啟動、沒有隊列延遲、沒有網絡變化。

對於實時應用程式（自動完成、內嵌建議、交互式工具），這種延遲差異是「即時」和「明顯」之間的差異。

混合方法

對於許多團隊來說，最實用的架構是混合的：對落在定義明確模式內的 80% 請求使用微調的本地模型，對剩餘 20% 路由到 GPT-4o 或 Claude 處理複雜的邊緣案例。

以下是在實踐中的工作方式：

使用你的本地模型的置信度分數對傳入請求進行分類
如果置信度大於 0.85，直接提供本地模型的響應
如果置信度小於 0.85，路由到 GPT-4o 處理

這種方法給你：

與純 API 使用相比節省 80% 成本
更好的平均延遲（80% 的請求在 50-100ms 本地提供）
GPT-4o 品質在重要的難案例上
如果 API 停機的優雅降級（本地模型處理一切，邊緣案例品質可能較低）

置信度閾值是可調的。從 0.85 開始，根據你的品質要求和成本目標進行調整。一些團隊以 0.70 運行（將更多路由到本地模型），品質可接受；其他人以 0.95 運行（將更多路由到 API），當邊緣案例的品質至關重要時。

如何正確基準測試

如果你正在評估是否為你的任務微調小型模型，以下是給出可靠結果的方法：

第一步：創建測試集

從你的生產資料（或者如果你在預生產階段，則是真實的合成範例）收集 200-500 個真實範例。這些範例應該代表你的輸入的完整分佈，包括邊緣案例。

用正確的輸出標記它們。這是人工努力不可避免的地方——你需要基礎真相標籤來衡量品質。

第二步：用 GPT-4o 建立基線

用你最好的提示通過 GPT-4o 運行你的測試集。記錄準確率、F1、延遲和成本。這是你的超越目標。

第三步：微調和評估

在單獨的訓練集上微調你選擇的小型模型（不要在測試資料上訓練）。在同一測試集上評估。比較指標。

第四步：運行成本品質分析

繪製每種方法的品質（準確率、F1）與成本的對比圖。確定你的應用程式需要的品質閾值。如果微調模型滿足閾值，成本優勢使它成為明顯的贏家。

第五步：專門測試邊緣案例

創建一個單獨的 50-100 個邊緣案例集——模糊的、不尋常的或在類別邊界上的輸入。在這個集合上評估兩個模型。這揭示了微調模型的限制將在生產中出現的地方。

決策標準

在以下情況使用微調小型模型：

你的任務定義明確，有清晰的輸入/輸出格式
你可以創建 1,500 個以上高品質訓練範例
輸出一致性比創意靈活性更重要
你需要低且可預測的延遲
成本是一個因素（幾乎總是如此）
資料隱私阻止將資料發送到外部 API

在以下情況使用 GPT-4o（或 Claude）：

你的任務需要跨多個領域的廣泛推理
輸入高度可變且不可預測
你無法精確定義輸出格式
你需要模型處理真正新穎的情況
你的請求量足夠低，API 成本可以管理
你正在原型開發，還沒有訓練資料

在以下情況使用混合方法：

大多數請求是可預測的，但一些是複雜的
你想在不犧牲難案例品質的情況下節省成本
你需要 API 停機的備用方案
你的量足夠高，即使部分成本降低也是顯著的

Ship AI that runs on your users' devices.

Ertas early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.

View early bird pricing or join the waitlist →

誠實的底線

微調小型模型不是魔法。它們不會在所有領域取代 GPT-4o。但在構成大多數生產 AI 工作負載的特定、定義明確的任務上——分類、提取、格式化、領域問答——它們更快、更便宜、更一致，通常更準確。

問題不是「小型模型能打敗 GPT-4o 嗎？」問題是「我的任務是否夠窄，讓小型模型能夠處理？」如果答案是肯定的，經濟學是明確的。

若要深入了解為客戶項目選擇小型模型，請閱讀小型 vs 大型模型：對客戶真正有效的是什麼。要了解完整的成本圖景，請參閱按 token 計費 AI 定價的隱性成本。