What is Zero-Shot Learning（零樣本學習）?

Definition

零樣本學習是模型處理從未見過標注範例的任務的能力，僅依賴其預訓練的知識和任務的自然語言描述。在 LLM 的背景下，零樣本意味著向模型提供一個指令——例如「將以下文字分類為正面或負面情緒」——而不在提示中包含任何示範範例。

這種能力源於預訓練期間編碼的廣泛知識。在數兆 token 的網路文字上訓練的模型已經隱含地見過嵌入在其訓練語料庫中的幾乎每種常見 NLP 任務的範例。當給定任務描述時，模型可以利用這些隱含的模式來產生合理的輸出。零樣本效能隨模型大小擴展——較大的模型在零樣本任務上一致表現更好，因為它們編碼了更多樣的模式。

零樣本學習代表了 AI 採用最可及的入口點，因為它不需要資料準備、不需要標注、不需要訓練。一個團隊可以在幾分鐘內透過簡單地撰寫提示來評估 LLM 是否可以處理他們的使用場景。然而，零樣本效能通常是三種範式（零樣本、少樣本、微調）中最弱的，對於生產應用，它通常作為下限基準而非最終解決方案。

Why It Matters

零樣本能力是使 LLM 開箱即用即有用的關鍵。與需要特定任務訓練資料才能產生任何輸出的傳統 ML 系統不同，具備零樣本能力的模型可以在部署的那一刻嘗試任何文字任務。這從根本上改變了 AI 採用的經濟學——團隊可以在沒有任何前期資料投資的情況下開始從 AI 中提取價值。

從實際角度來看，零樣本效能確立了給定任務的效能下限。如果模型在分類任務上零樣本達到 70% 的準確度，實踐者知道少樣本提示可能將效能推到 80-85%，而微調可以達到 90-95%。這種漸進幫助團隊做出關於每個使用場景值得在資料和訓練上投入多少的知情決策。

How It Works

LLM 中的零樣本學習透過指令遵循和隱含知識轉移的交叉來運作。在預訓練期間，模型跨多樣文字學習統計模式。在指令調優（大多數現代 LLM 經歷的階段）期間，模型學習遵循自然語言指示。在推論時，零樣本提示透過指令啟用相關的預訓練知識，模型生成匹配請求格式的輸出。

零樣本提示的效果在很大程度上取決於提示的清晰度和具體性。模糊的指令產生模糊的結果。描述輸出格式、列出可能的類別或定義邊緣案例的具體提示顯著改善零樣本效能。這就是為什麼即使在零樣本設定中提示工程仍然有價值——精心設計的零樣本提示有時可以匹配少樣本效能。

Example Use Case

一家新創公司需要快速分類傳入的客戶郵件到各部門。在構建任何訓練資料集之前，他們部署一個帶有零樣本提示的模型：'Classify the following email as Sales, Support, Billing, or Partnership. Reply with only the category name.'。他們立即達到 72% 的準確度，這對於初始路由來說已經足夠好了，同時他們收集標注資料以進行微調。零樣本系統從第一天就處理郵件分類，隨著微調模型取代它而逐漸改善。

Key Takeaways

• 零樣本學習允許模型僅使用指令執行任務，無需任何示範範例。
• 它不需要資料準備、標注或訓練——使其成為獲得初始結果的最快路徑。
• 效能隨模型大小擴展；較大的模型有更強的零樣本能力。
• 零樣本準確度作為評估少樣本和微調方法潛力的下限基準。
• 提示的清晰度和具體性是改善零樣本效能的主要槓桿。