AI & ML Glossary

一種機器學習方法，模型有選擇性地向人類標註者查詢，標記最具資訊價值的範例，以最大化每個已標記樣本的學習效率。

一組插入到凍結預訓練模型中的小型可訓練參數，能在不修改原始模型權重的情況下實現高效微調。

一種多智慧體編排模式，由協調者智慧體將工作分派給多個並行子智慧體，再彙整其結果——2026 年由 Kimi K2.6 的 Agent Swarm 執行環境推廣，可擴展至 300 個子智慧體與 4,000 個推理步驟。

一種設計範式，AI 系統能自主規劃、推理、使用工具並執行多步驟工作流程——超越單輪問答，實現持續的、目標導向的行為。

由 AI 智慧體執行的軟體工程：規劃跨多檔案的修改、在整個程式碼庫中執行修改，並依測試或建置回饋反覆迭代——以 SWE-Bench Verified 與 SWE-Bench Pro 等基準衡量。

一種自主軟體系統，使用大型語言模型感知環境、做出決策並採取行動來實現目標——通常具備存取檔案系統、API、瀏覽器和訊息平台等工具的能力。

由人類標註者或自動化系統為原始資料添加結構化元資料、標籤或標記的過程，以建立用於監督式學習的訓練資料集。

Transformer 模型中的一種機制，允許每個 token 在計算其表示時動態加權並關注輸入序列中最相關的部分。

Activation-aware Weight Quantization——一種 4-bit 量化方法，依活化值大小保護關鍵權重，在相同位元寬下產生比樸素量化更高品質的壓縮模型。

一個在大型通用語料庫上預訓練的基礎模型，作為針對領域特定任務進行微調的起點。

在模型訓練的一次前向-反向傳遞中同時處理的訓練範例數量，影響記憶體使用、訓練速度和收斂行為。

一套具有明確任務和指標的標準化測試套件，用於評估和比較不同模型和配置下的語言模型表現。

一種透過測量生成輸出與一個或多個人類參考文字之間的 n-gram 重疊來評估機器生成文字品質的指標。

一種現象，神經網路在新資料上微調時失去先前學習的知識，導致之前表現良好的任務上效能下降。

一種格式化結構，定義對話訊息（系統、使用者、助手）如何被分詞並排列為語言模型的輸入。

在訓練特定時間點保存的模型權重和訓練狀態快照，用於恢復、評估和選擇最佳效能版本。

一種 AI 智慧體架構，LLM 以撰寫並執行 Python（或其他語言）程式碼作為主要動作格式，而非透過 JSON 函式呼叫從固定工具清單中挑選——由 Hugging Face 的 smolagents 框架推廣。

語言模型在單次輸入輸出序列中能處理的最大 token 數量，決定了模型一次能「看到」多少文字。

一組透過建立現有資料點的修改副本來人為增加訓練資料集大小和多樣性的技術。

識別並移除資料集中重複或近重複項目的過程，以防止記憶化偽影並提高訓練效率。

將有意義的標籤、類別或標註分配給原始資料的過程，使機器學習模型能夠從結構化範例中學習。

追蹤資料從來源經過每個轉換、處理步驟和模型訓練使用的實踐，以維持完整的稽核軌跡。

追蹤和管理資料集隨時間推移的不同版本，實現機器學習工作流程中的可重現性、回滾和可稽核性。

DeepSeek-V3.2 引入並於 V4 延續的可學習稀疏注意力機制，每個查詢 token 僅指向部分鍵 token，而非對所有 token 計算注意力，大幅降低長脈絡推論的運算成本。

調整在通用資料上訓練的模型以在特定領域（如醫療、法律或金融）中表現良好的過程。

RLHF 的更簡單替代方案，直接在人類偏好資料上優化語言模型，無需單獨的獎勵模型或強化學習。

在終端使用者裝置或邊緣伺服器上本地運行 AI 模型推論，而非在集中式雲端資料中心，實現離線操作和資料隱私。

模型在所宣稱脈絡視窗中，實際仍能維持高檢索準確度的部分——通常遠短於宣稱上限，目前多數模型在脈絡中段的資訊損失可達 10-25%。

token、詞或段落在連續數學空間中的密集向量表示，語義相似性對應幾何鄰近性。

在模型微調過程中完整通過整個訓練資料集一次。

一種技術，模型僅從少量標記範例中學習執行任務，通常作為提示中的示範提供。

取得預訓練 AI 模型並在更小的領域特定資料集上進一步訓練的過程，以針對特定任務或行業專業化其能力。

允許語言模型生成帶有適當參數的結構化函數調用的能力，使其能與外部工具和 API 互動。

Generalized Experience-based Procedural Acquisition——一種 AI 智慧體的自我提升機制，從成功完成的任務中創建可重複使用的技能，並透過反覆使用持續精煉，由 Nous Research 的 Hermes Agent 框架推廣。

一種用於儲存量化大型語言模型的二進位檔案格式，針對透過 llama.cpp 和相容執行時進行快速載入和高效 CPU 及 GPU 推論而優化。

Generalized Post-Training Quantization——一種 4-bit 權重量化方法，使用校正資料集的二階資訊逐層最小化量化誤差，產出比樸素量化更高品質的壓縮模型。

圖形處理器上的專用高頻寬記憶體，在訓練和推論期間儲存模型權重、激活值和梯度。

一種訓練技術，透過在多次前向傳遞中累積梯度後執行單次權重更新來模擬更大的批次大小。

應用於 LLM 輸入和輸出的安全機制和過濾器，防止有害、偏離主題或違反政策的內容到達使用者。

當語言模型生成聽起來合理但事實不正確、捏造或無依據的資訊。

一種模型架構模式，將延伸的思維鏈推理整合進標準聊天 checkpoint，並提供執行時控制以在快速直接回應與較慢的審慎推理之間切換——取代了過往以分離式推理專用模型為主的做法。

在訓練開始前設定的配置值，控制學習過程本身，與訓練期間學習的模型參數不同。

運行已訓練 AI 模型從新輸入資料生成預測或輸出的過程。

在指令-回應對上訓練語言模型以遵循自然語言指示並產出特定任務輸出的微調方法。

基於文字的資料格式，每行是有效的 JSON 物件，廣泛用於微調資料集結構化。

較小的「學生」模型被訓練來複製較大「教師」模型行為的模型壓縮技術。

儲存先前計算的注意力鍵和值張量的記憶體緩衝區，避免自回歸生成期間的冗餘計算。

控制模型權重在每批訓練資料後調整幅度的超參數。

參數高效微調技術，將小型可訓練低秩矩陣注入凍結的預訓練模型。

由 Anthropic 提出的開放協定，用於將 AI 助理連接到外部資料來源、工具與系統——提供標準介面，讓任何模型用戶端都能與任何相容 MCP 的伺服器互動。

將每個輸入路由到專業化子網路子集的神經網路架構，在不成比例增加計算成本下實現更大模型容量。

結合機器學習、DevOps 和資料工程以在生產環境中可靠部署、監控和維護 ML 模型的實踐集合。

描述機器學習模型預期用途、效能指標、局限性和訓練資料來源的標準化文件。

將知識從大型教師模型轉移到更小更快的學生模型的技術。

使用定量指標和領域基準系統化測量語言模型效能的過程。

將兩個或多個微調模型的權重組合成單一模型的技術。

根據請求屬性將 AI 推論請求導向不同模型或適配器，實現高效多模型部署。

透過按租戶 LoRA 適配器從單一模型部署服務多個客戶。

表示機器學習模型的開放標準格式，實現不同框架間的互操作性。

模型記憶訓練資料中的特定範例而非學習可泛化模式的訓練失敗模式。

神經網路中的可學習值，模型在訓練期間調整以最小化預測誤差。

衡量語言模型預測文字序列能力的指標，較低值表示更好的預測。

在使用資料進行模型訓練前，檢測並移除或遮罩個人可識別資訊的過程。

設計和迭代輸入提示以從大型語言模型引出期望輸出的實踐，無需修改模型權重。

帶佔位符的結構化格式，定義使用者輸入、上下文和指令如何組裝成完整提示。

結合 4 位元量化和 LoRA 適配器的微調技術，使大型語言模型能在單一消費級 GPU 上微調。

降低模型權重數值精度以縮小記憶體佔用並加速推論的過程。

使用對抗性輸入系統化探測 AI 系統以發現漏洞和安全缺口的實踐。

透過從外部知識庫檢索相關文件並作為上下文納入提示來增強 LLM 回應的架構。

使用人類偏好判斷微調語言模型，使輸出與人類價值觀對齊的訓練技術。

安全、快速且記憶體高效的神經網路權重儲存格式，設計為 Python pickle 格式的更安全替代。

使用小型快速草稿模型一次提議多個 token，由較大目標模型並行驗證的推論加速技術。

語言模型以特定機器可解析格式（如 JSON）生成符合預定義模式回應的能力。

使用前沿模型或規則系統建立的人工生成訓練資料，用於補充或替代真實世界資料。

在對話開始時提供的特殊指令，定義模型的行為、角色、限制和回應格式。

控制語言模型輸出隨機性的採樣參數——較低值更確定性，較高值更有創造性。

NVIDIA 的高效能深度學習推論優化器和執行時。

語言模型處理的基本文字單位——通常是詞、子詞或字元。

將原始文字轉換為語言模型可處理的數值 token 序列的組件。

LLM 在生成回應的過程中調用外部函式、API 或工具的能力——透過模型產出、執行環境執行的結構化函式呼叫綱要實作，是所有現代智慧體架構的基礎。

從累積機率超過閾值 p 的最小 token 集合中選擇的採樣策略。

用於微調機器學習模型的精選範例資料集，通常為 JSONL 格式的結構化輸入-輸出對。

在一個任務上訓練的模型被適應用於不同但相關任務的機器學習技術。

幾乎所有現代大型語言模型底層的神經網路架構，使用自注意力機制並行處理序列。

專門用於儲存、索引和查詢高維向量嵌入的資料庫。

使用 AI 輔助工具透過自然語言提示和迭代式 AI 協作建構應用程式的開發方法。

神經網路中在訓練期間學習的數值參數，決定模型如何轉換輸入為輸出。

由一家公司開發並由另一家重新品牌化的 AI 產品，允許代理商提供客製化 AI 解決方案。

模型僅使用自然語言指令就能執行從未訓練過的任務的能力，無需示範範例。