What is Few-Shot Learning（少樣本學習）?

Definition

少樣本學習是指機器學習模型在僅看到少量範例（通常 2 到 20 個）後即能泛化到新任務或類別的能力。在大型語言模型的背景下，少樣本學習最常以上下文學習的形式出現：使用者在提示中包含數個示範範例，模型推斷出要應用於新輸入的模式，而無需任何權重更新。

這種能力在大型預訓練模型中自然出現，因為它們在預訓練期間接觸了大量文字。少樣本學習佔據了零樣本學習（無範例）和完整微調（數千範例加權重更新）之間的中間地帶。它對快速原型設計特別有價值——團隊可以在投資資料集建立和微調前測試模型是否能處理某項任務。

Why It Matters

少樣本學習大幅降低了為新任務部署 AI 的門檻。開發人員只需製作包含 3-5 個示範的提示即可立即評估方法是否可行。對於生產用例，少樣本學習提供了衡量微調模型的基準線。當少樣本表現達到上限時——複雜任務通常在 60-80% 準確度——它提供了微調必要的明確證據。

How It Works

上下文少樣本學習透過在查詢前添加示範範例來工作。模型的注意力機制同時處理示範和查詢，在單次前向傳遞中即時學習任務模式。不計算梯度、不更新權重。效果很大程度取決於範例選擇、排序和格式。

Example Use Case

產品團隊想將使用者回饋分為「錯誤報告」、「功能請求」和「讚美」。在投資標記資料集前，他們製作了每類 3 個範例的提示並在 100 條回饋上測試。少樣本方法達到 78% 準確度——足以確認可行但不夠生產使用。然後收集 500 個標記範例微調，達到 94%。

Key Takeaways

• 少樣本學習使模型僅從提示中的 2-20 個示範範例即可執行新任務。
• 不發生權重更新——模型依賴注意力機制中的模式識別。
• 少樣本表現作為基準線和微調可行性信號。
• 範例選擇、排序和格式顯著影響少樣本表現。
• 少樣本學習將 AI 原型設計週期從數週壓縮到數小時。