What is Hallucination（幻覺）?

當語言模型生成聽起來合理但事實不正確、捏造或無依據的資訊。

Definition

大型語言模型中的幻覺是指生成事實不正確、內部不一致或完全捏造的內容，儘管這些內容以與準確資訊相同的自信語氣呈現。這種現象的發生是因為 LLM 被訓練為產生統計上最可能的文字接續，而非驗證事實準確性。模型生成的 token 形成連貫、自然的句子，但可能引用不存在的研究、捏造聽起來合理的統計數據，或將真實引言歸給錯誤的人。

幻覺分為兩個主要類型。內在幻覺與提供的輸入或上下文相矛盾——例如，摘要一份文件時包含原始文本中不存在的事實。外在幻覺引入無法從上下文中驗證的資訊，例如引用不存在的研究論文或捏造公司的成立日期。這兩種類型都會破壞使用者信任，並可能在準確性至關重要的領域造成實際傷害。

幻覺被認為是 LLM 部署面臨的最重大挑戰之一。與傳統軟體錯誤會產生明顯錯誤的輸出不同，幻覺被包裝在流暢、自信的語言中，使非專業使用者難以察覺。這創造了一種危險的失敗模式，使用者因為 AI 生成的資訊讀起來令人信服而信任不正確的內容。

Why It Matters

幻覺是 LLM 在醫療、法律、金融和政府等高風險領域採用的主要障礙。一個自信地推薦不存在藥物或引用捏造臨床試驗的醫療 AI 構成直接的安全風險。一個捏造判例法引用的法律 AI（如 Mata v. Avianca 案中著名的事件）可能導致法院制裁和執業不當責任。

對於企業部署，幻覺風險直接轉化為業務風險。面向客戶的 AI 系統如果提供不正確的產品資訊、捏造的政策細節或錯誤的定價，會增加客服負擔、侵蝕客戶信任，並使組織面臨法律責任。因此，透過 RAG、在經過驗證的資料上微調以及生成後驗證來減輕幻覺是核心工程需求，而非可選的增強功能。

How It Works

幻覺源於語言模型訓練的根本性質。在預訓練期間，模型學習 token 之間的統計模式，而沒有任何區分事實與虛構的機制——聽起來合理但不正確的陳述與正確的陳述具有相同的訓練信號。模型針對流暢性和連貫性進行優化，而非事實準確性。

緩解策略在多個層級運作。檢索增強生成（RAG）將回應建立在檢索到的文件基礎上，減少對參數記憶的依賴。在高品質、經過事實驗證的資料上微調，教導模型產生準確的特定領域輸出。思維鏈推理和指示模型說「我不知道」等提示工程技術減少無依據的宣稱。使用事實查核模型、引用驗證和信心校準的生成後驗證在幻覺到達使用者之前加以攔截。

Example Use Case

一個金融諮詢平台部署 LLM 來回答關於投資法規的問題。在測試中，基礎模型捏造了 SEC 法規編號並編造了合規違規的罰款金額。在經過驗證的法規文件上微調並對完整的 SEC 資料庫實施 RAG 後，幻覺率從 23% 降至回應的 2%。生成後驗證步驟透過對照資料庫檢查所有引用的法規編號來攔截剩餘的 2%。