What is 幻觉?

Definition

大语言模型中的幻觉是指生成事实不正确、内部不一致或完全虚构的内容，但却以与准确信息相同的自信语气呈现。这种现象发生是因为LLM被训练产生统计上可能的文本续写，而非验证事实准确性。模型生成构成连贯、自然的句子的token，但可能引用不存在的研究、编造看似合理的统计数据，或将真实引语归于错误的人。

幻觉分为两大类。内在幻觉与提供的输入或上下文相矛盾——例如，摘要文档时包含了原文中不存在的事实。外在幻觉引入了无法从上下文中验证的信息，如引用不存在的研究论文或编造公司的成立日期。这两种类型都会损害用户信任，在准确性至关重要的领域可能造成实际伤害。

幻觉被认为是LLM部署面临的最重大挑战之一。与产生明显错误输出的传统软件bug不同，幻觉被包裹在流畅、自信的语言中，使非专业用户难以察觉。这造成了一种危险的故障模式，用户因为AI生成的信息读起来令人信服而信任它。

Why It Matters

幻觉是LLM在医疗、法律、金融和政府等高风险领域采用的主要障碍。一个自信地推荐不存在的药物或引用虚构临床试验的医疗AI构成直接的安全风险。一个编造判例法引用的法律AI（正如Mata v. Avianca案件中实际发生的那样）可能导致法庭制裁和职业过失责任。

对于企业部署来说，幻觉风险直接转化为商业风险。提供不正确产品信息、虚构政策细节或错误定价的面向客户的AI系统会增加支持负担、侵蚀客户信任，并使组织面临法律责任。因此，通过RAG、在已验证数据上微调和生成后验证来缓解幻觉是核心工程需求，而非可选增强功能。

How It Works

幻觉源于语言模型训练的根本性质。在预训练期间，模型学习token之间的统计模式，没有任何区分事实与虚构的机制——一个听起来合理但不正确的陈述与正确的陈述具有相同的训练信号。模型优化的是流畅性和连贯性，而非事实准确性。

缓解策略在多个层面运作。检索增强生成（RAG）将回复建立在检索到的文档上，减少对参数记忆的依赖。在高质量、经过事实验证的数据上微调教会模型产生准确的领域特定输出。思维链推理和指示模型说「我不知道」等提示工程技术减少了无根据的声明。使用事实核查模型、引用验证和置信度校准的生成后验证在幻觉到达用户之前捕获它们。

Example Use Case

一个金融咨询平台部署LLM回答投资法规问题。在测试中，基础模型虚构了SEC法规编号并编造合规违规的罚款金额。在经过验证的监管文件上微调并对完整SEC数据库实施RAG后，幻觉率从23%降至2%。生成后验证步骤通过将所有引用的法规编号与数据库核对来捕获剩余的2%。

Key Takeaways

• 幻觉发生在模型生成看似合理但事实不正确或虚构的内容时。
• LLM产生幻觉是因为它们优化的是流畅性和可能性，而非事实准确性。
• 内在幻觉与上下文矛盾；外在幻觉引入无法验证的声明。
• RAG、在已验证数据上微调和生成后验证是主要的缓解策略。
• 幻觉是LLM在医疗和法律等高风险领域采用的最大障碍。