大模型幻觉权威榜单：信通院专家解读AI可靠度

大模型加速落地之际，AI幻觉已从技术圈的小众议题演变为全社会无法回避的现实风险。6月12日，第21期南都数字经济治理沙龙聚焦此问题——“AI出错，谁为模型‘幻觉’买单？”

中国信息通信研究院人工智能研究所安全治理部主任石霖在会上给出关键判断：大模型“幻觉”已成为当前AI应用面临的重大挑战。现有研究显示，幻觉几乎不可能被彻底根除，但通过数据治理、模型优化和推理增强等手段，完全可以持续降低其发生概率。

中国信息通信研究院人工智能研究所安全治理部主任石霖。摄影：南都记者莫倩如

从“编造事实”到法律风险，AI幻觉影响加速外溢

先厘清概念。“幻觉”一词原属心理学范畴，指无客观刺激时产生的知觉体验。映射到大模型，表现为两种形态：一种是生成内容与用户指令不符——例如要求英译中，却输出法语；另一种是生成内容与客观事实相悖——例如看图胡乱描述。业内通常将前者称为“忠实性幻觉”，后者称为“事实性幻觉”。

从当前行业实践看，石霖指出，忠实性幻觉问题尤为突出，已成为制约大模型落地的关键短板。

随着大模型深入办公、搜索、教育、咨询等日常场景，幻觉引发的连锁反应愈发显著。错误信息会导致用户形成认知偏差，在医疗健康等专业领域甚至可能产生误导性建议。更棘手的是，模型“编造”的内容还可能触及名誉侵权、虚假信息传播等法律红线。石霖特别分享了一个工作中的真实案例，提醒行业：大模型生成的内容必须经过人工核验，绝不能直接作为最终答案使用。

幻觉无法彻底消除，但可缓解和控制

AI幻觉究竟如何产生？石霖给出了清晰答案：并非单一环节的问题，而是从数据准备、模型训练到推理生成的整个链条均存在“隐患”。

数据层面，训练数据本身包含错误、偏见或知识覆盖不足。尤其是长尾知识、新知识以及受法律法规限制的信息领域，模型容易“知识断片”，幻觉自然浮现。

训练阶段更为关键。大模型本质上依靠概率预测生成内容，更关注语言模式和上下文关联，而非验证事实。此外，模型对齐过程中为迎合人类偏好，往往倾向于选择“听起来更顺耳”的答案而非最准确的答案——这本身即埋下幻觉隐患。

推理阶段同样存在问题。模型有时表现得过于自信，面对语义相近或复杂问题时，细节上容易出错。长链条推理中的信息累积偏差，以及模型蒸馏、量化压缩等技术操作，都可能进一步放大幻觉问题。

好消息是，学术界和产业界已在全面应对。例如构建事实核查机制、引入外部知识库、建立专项评测数据集来识别和评估幻觉风险；再如数据清洗、检索增强生成（RAG）、模型架构优化、推理增强等技术手段，均可有效降低幻觉发生率。

但必须清醒认识到：现有研究已形成共识，大模型幻觉从根本上难以彻底消除。大语言模型基于概率生成的技术原理本身存在固有局限，行业当前思路是“缓解和控制”，而非“消灭”。

石霖也提醒用户：使用大模型时需清楚其能力边界与不确定性。虽然思维链等推理机制能在一定程度上降低幻觉率，但目前并无证据表明推理过程越长、越复杂，幻觉就一定越少。

值得探讨的是，关于幻觉是否完全有害，学术界与产业界存在不同看法。石霖指出，幻觉本质上是一种偏离事实或既有认知的表达，但换个角度看，这种非线性生成方式或许与创造性、创新性存在某种关联。因此，对待幻觉需要更辩证的视角。

最后，石霖披露了中国信通院在大模型幻觉领域的最新研究成果。他们自去年起构建了一个包含5000余条样本的幻觉测试集，从忠实性和事实性两个维度进行了专项评测。结果耐人寻味：当前主流模型的事实性幻觉总体上低于忠实性幻觉，后者已成为影响模型可靠性的头号问题。

测试数据还显示：同一类型模型中，参数规模越大，整体幻觉率越低。推理模型相比传统通用模型，在控制幻觉方面表现更优——能够缓解问题，但无法完全消除。而经过蒸馏压缩的模型，忠实性幻觉反而上升。

石霖最后总结，未来需要在技术创新、安全治理和标准建设等多个方向协同推进，才能持续提升AI系统的真实性、可靠性与可信度，推动整个产业健康有序发展。

采写：南都N视频记者 黄莉玲 发自北京