速览 · Quick View
幻觉检测与评估
事实性与归因
RAG 与检索增强
缓解方法
多模态幻觉
基准与数据集
什么是 AI 幻觉：三种类型与四大成因
AI 幻觉（Hallucination）是指大语言模型生成看似流畅合理、实则与事实不符或无法验证的内容。这是当前 AI 系统面临的核心可靠性挑战之一。根据 PaperScope 收录的 377 篇相关论文，幻觉问题已经从早期的边缘研究话题演变为覆盖检测、评估、缓解和基准构建的完整学科方向。[1]
幻觉可以按照产生机制分为三种核心类型：
事实性幻觉 (Factual)
生成与现实世界事实矛盾的内容。例如模型声称"北京是日本首都"或错误地将某论文归属于错误的作者。这是最容易被检测到的幻觉类型，因为存在客观的事实标准可供比对。
忠实性幻觉 (Faithfulness)
生成与输入上下文不一致的内容。典型场景是摘要任务中，模型生成的摘要包含原文中不存在的信息，或在检索增强生成（RAG）中"编造"检索文档中没有的内容。
开放域幻觉 (Open-ended)
在创造性任务中生成看似合理但无法验证的内容。例如在角色扮演或故事创作中，模型生成的细节虽然自洽，但缺乏任何事实基础。这类幻觉最难检测，因为没有明确的"正确答案"。
幻觉的四大产生原因：
训练数据噪声与偏见
大模型训练语料中不可避免地包含错误信息、过时数据和来源偏差。OLMoTrace[4] 的研究表明，模型输出可以追溯到训练数据中的具体段落，当这些段落本身包含错误时，模型会"忠实地"复现这些错误。
模型过度自信
LLM 缺乏"知道自己不知道什么"的元认知能力。LLMs Know More Than They Show[7] 发现模型内部表征实际上编码了输出的真实性信息，但这些信号无法传递到外部输出中——模型"知道"自己在幻觉，却无法阻止自己。
解码策略的随机性
Temperature 和 Top-p 采样策略引入的随机性在提升生成多样性的同时也增加了幻觉风险。较高的温度值会让模型在多个"似是而非"的 Token 之间随机选择，偏离事实正确的路径。
知识截止与时效性
模型的参数化知识存在固有的时间截止点。对于训练截止后发生的事件，模型只能基于已有知识进行"推断"，往往产生看似合理但实际错误的回答。RAG 技术正是为解决这一问题而设计的核心方案。[10]
幻觉检测与评估：从可信度基准到内部表征探测
幻觉检测与评估是所有反幻觉工作的起点——如果无法准确识别幻觉，就无法有效缓解。这一方向以 187 篇论文成为最活跃的研究领域之一。从早期的简单规则匹配，到基于 NLI（自然语言推理）的自动评估，再到最新的内部表征探测，检测方法经历了三代技术演进。
TrustLLM: Trustworthiness in Large Language Models
TrustLLM 构建了迄今为止最全面的大模型可信度评测框架，覆盖真实性、安全性、公平性、鲁棒性、隐私和机器伦理六个维度。研究团队对 16 个主流 LLM（包括 GPT-4、Claude、Llama 2 等）进行了系统评测，结果揭示了一个重要发现：开源模型在可信度上正在迅速追赶闭源模型，部分开源模型在特定维度上甚至已经超越了商业模型。[1]
TrustLLM 在幻觉检测领域的核心贡献在于：它将"真实性"从模糊的直觉指标转化为了可量化、可比较的评测体系。通过 30+ 个子任务和标准化评分方法，研究者首次可以在统一框架下对比不同模型的幻觉倾向。这一框架也成为后续幻觉检测研究的重要基准参考。
Can Knowledge Editing Really Correct Hallucinations?
知识编辑（Knowledge Editing）一度被视为修正 LLM 幻觉的"银弹"——通过精确修改模型参数中的特定知识点来消除错误。然而这篇论文通过严谨的实验设计挑战了这一乐观假设。研究者发现，编辑后的模型在与被编辑知识相关但略有不同的问题上仍然会产生幻觉——知识编辑的效果远比预期更加局部化和脆弱。[2]
更重要的是，论文提出了一个更系统的评估框架来衡量知识编辑的真实效果：不仅测试被编辑的知识点本身，还测试相关的推理链和知识迁移能力。这一方法论的贡献超越了知识编辑本身，为所有幻觉缓解技术提供了"是否真正解决问题"的评估思路。
LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations
这篇论文的发现堪称"令人不安"：LLM 的内部表征已经编码了输出的真实性信息，模型在某种意义上"知道"自己正在产生幻觉，但外部行为并没有反映这一点。研究者通过训练线性探针（linear probe）从模型的中间层激活值中提取真实性信号，发现这些信号的判别准确率远高于基于输出文本的检测方法。[7]
这一发现对幻觉检测有重要的实践启示：与其从模型的最终输出中事后检测幻觉，不如从内部表征中实时提取真实性信号。这为构建"自省式"幻觉检测系统提供了理论基础——未来的 LLM 可能具备内置的"幻觉报警器"，在产生不确定输出时主动标记。
事实性增强：从训练数据溯源到 RL 驱动的真实性
事实性与归因方向以 189 篇论文成为体量最大的研究领域，核心目标是从根源上提升 LLM 输出的事实准确性。这一方向的技术路线可以归纳为三条主线：训练数据溯源（理解幻觉从何而来）、内部知识激活（释放模型已有但未表达的知识）、以及强化学习驱动的真实性优化（将"说真话"作为奖励信号）。
OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens
OLMoTrace 实现了一项前所未有的技术能力：将语言模型的每一个输出追溯到万亿规模训练数据中的具体来源段落。这相当于为模型输出提供了"出处证明"——当模型声称某个事实时，OLMoTrace 可以找到训练数据中支撑（或矛盾于）这一声明的原始文本。[4]
对于幻觉研究而言，OLMoTrace 的价值是双重的。首先，它让我们能够理解幻觉的产生机理：模型是在"复述"训练数据中的错误，还是在"创造性地组合"不同来源的信息？其次，它为事实核查提供了自动化工具——如果一个声明可以追溯到可靠的训练来源，它的可信度就更高。这种"溯源即验证"的思路正在成为反幻觉工程的重要范式。
Inside-Out: Hidden Factual Knowledge in LLMs
Inside-Out 揭示了 LLM 的一个反直觉特性：模型内部储存的事实知识比其外部输出表达的要丰富和准确得多。通过系统性地探测模型的中间层表征，研究者发现大量正确的事实知识虽然被编码在模型参数中，但在生成过程中未能被有效激活。[5]
这一发现的实践意义在于：减少幻觉的关键可能不在于向模型"灌输"更多知识，而在于如何激活和利用模型已有的隐藏知识。这为推理时干预（inference-time intervention）技术提供了理论支撑——通过在推理时操纵特定层的激活向量，可以引导模型更多地"表达"其内部已有的正确知识，而非生成幻觉。
TruthRL: Incentivizing Truthful LLMs via Reinforcement Learning
TruthRL 将强化学习（RL）的成功经验从"推理能力提升"迁移到"真实性增强"——将"说真话"直接作为 RL 的奖励信号。传统 RLHF 的奖励信号来自人类偏好（模型输出是否"有帮助"），而 TruthRL 的奖励信号来自事实验证器（模型输出是否"真实"）。这一转变与 RL for Reasoning 中 RLVR 的思路如出一辙——用可验证的信号替代主观偏好。[6]
实验表明，TruthRL 训练后的模型在事实性基准上的表现显著提升，同时在其他维度（如有用性和安全性）上没有明显退化。这证明了"真实性"可以作为独立的优化目标，而不必以牺牲其他能力为代价。随着 RL 技术的持续进步（GRPO、GSPO 等），TruthRL 式的方法有望成为模型训练流程的标准组件。
LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA
LongCite 为"可验证输出"提供了一套完整的技术方案：让 LLM 在长上下文问答中为每个声明生成精确的源文本引用。不同于简单的段落级引用，LongCite 实现了句子级甚至子句级的细粒度引用，每个事实性声明都附带来源文本的精确位置。[8]
从反幻觉的角度看，LongCite 代表了一种"可验证性优先"的设计哲学：与其试图消除幻觉，不如让每个声明都可以被独立验证。当用户可以点击引用直接查看源文本时，幻觉的危害就被大幅降低了——即使模型偶尔出错，用户也能快速识别。这一思路对 AI-Insight 的引用体系设计有直接的启发意义。