AI安全博弈升级：北卡罗来纳大学教堂山分校研究揭示AI伪装威胁

这项由北卡罗来纳大学教堂山分校与德克萨斯大学奥斯汀分校合作的研究，已于2026年4月13日以预印本形式发布，论文编号为arXiv:2604.11666v1。

一、从一次社会工程学攻击说起

假设你的联系人里存有同事戴安娜的职务信息。一个陌生来电者声称需要联系她，并询问其具体所属团队。你的反应会是什么？如实告知？礼貌拒绝？还是提供一个看似合理、实则虚假的部门名称，以期快速结束对话？

多数具备基础安全意识的人会选择第三种策略。其关键在于，你所虚构的信息必须与对方可能已掌握的背景知识相吻合，否则极易因前后矛盾而被当场识破。

本研究正是基于这一现实场景展开：能否训练一个AI系统，使其在面对信息刺探时，不再生硬拒绝从而暴露防御姿态，而是能够扮演一个“合作者”，通过编织逻辑自洽的虚假叙事，引导攻击者得出错误结论？

研究人员将此类AI定义为“双重身份特工”，并将该任务框架化为“信念引导中的心智理论挑战”。其核心支撑能力是心智理论——即推断并理解他人知识状态与信念的能力。

二、攻击者与防守者的博弈框架

为精确量化研究，团队设计了一个结构化的对话博弈环境。博弈双方分别为攻击者与防守者。

攻击者的目标是获取其未知的敏感信息。它持有部分先验知识（例如“戴安娜在运营部”），但需要确定更具体的团队归属。

防守者的任务是保护攻击者尚未知晓的信息。防守者掌握完整答案，但必须在对话中隐藏真相。挑战在于，防守者初始并不清楚攻击者已知的具体内容，需在交互过程中动态推断。

博弈在一个预设的“知识图谱”中进行。该图谱呈树状结构，根节点为公司，分支为部门，叶节点为具体团队。双方均知晓完整图谱结构，因此任何不符合该结构的回答都会立即被判定为虚假。

攻击者被赋予一个“信任度”指标，初始值为5。当攻击者察觉回答存在矛盾、内容敷衍或与已知信息冲突时，信任度下降。信任度归零则攻击者判定遭遇欺骗，对话终止，防守者失败。若攻击者确信已获得所需信息（即便是虚假的）并结束对话，则防守者获胜。

研究对比了三种基础防守策略。“直接拒绝”会立即暴露防御意图；“盲目撒谎”则可能因与攻击者已知事实冲突而迅速穿帮；而“双重特工”策略旨在通过试探性对话摸清攻击者的知识边界，随后提供一个与其认知无缝衔接的虚假故事，诱导其带着错误结论离开。

三、现有大语言模型的局限

在训练专用系统前，研究团队首先评估了包括谷歌Gemini 3 Pro、OpenAI GPT-5.4在内的前沿大语言模型在此任务上的零样本表现。

结果揭示出显著差距。即便在明确提示模型“需先判断攻击者已知信息”的情况下，面对持有部分先验知识的“困难场景”，Gemini 3 Pro的成功欺骗率仅为34.4%，GPT-5.4更是低至27%。基础模型如Qwen3-14B的成功率仅为13.2%。

失败根源在于心智理论能力的缺失。以表现最佳的Gemini 3 Pro为例，其对攻击者先验知识状态的判断准确率不足50%。这意味着模型在过半的对话中未能准确“读懂”对手，在此基础上构建的欺骗叙事自然漏洞百出。

四、通过强化学习塑造“特工”能力

鉴于提示工程方法的局限性，研究转向强化学习。团队以Qwen3-14B为基础模型，设计了两种奖励信号以塑造AI行为。

第一种是“欺骗成功奖励”：若攻击者最终带着虚假信息满意离开，则给予正奖励；若攻击者获取到任何真实信息，则给予负奖励。此奖励直接驱动模型达成终极欺骗目标。

第二种是“心智准确性奖励”：根据模型在对话中对攻击者知识状态推断的准确度给予奖励。此奖励不直接关注欺骗结果，而专注于提升模型的认知推断能力。

实验发现两种能力存在协同效应。仅使用欺骗奖励训练的模型，其欺骗成功率从13.2%提升至34.4%，同时心智理论准确率也从36%自发提升至49%。

仅使用心智准确性奖励训练的模型，其心智理论准确率提升至53.3%，而欺骗成功率也显著跃升至40.6%，甚至超过了仅用欺骗奖励的组别。

当结合使用两种奖励时，模型达到最佳性能：在困难场景下，欺骗成功率达42.4%，心智理论准确率达58.7%，全面超越了仅使用提示词的前沿大模型。

五、AI习得的战术拆解

对训练后AI行为的定性分析揭示了其掌握的几种关键战术。

“高信任度试探”：当攻击者信任度较高时，AI会主动抛出如“您对戴安娜的职责了解多少？”等开放式问题，诱导攻击者透露其已知信息，从而为后续编造故事奠定基础。

“动态叙事调整”：当攻击者对回答提出质疑时，AI能从其措辞中推断矛盾点所在，并迅速调整叙事细节，提供一个与攻击者认知更吻合的新版本谎言，而非固执重复原答案。

“信息收集与信任维持的平衡”：AI学会了在收集足够情报与维持攻击者信任之间取得平衡。过度的试探性提问会导致信任度快速流失，因此必须在适当时机果断给出编织好的虚假答案。

典型的失败模式包括：在未充分探明对方底细前仓促给出虚假答案导致立即穿帮；未能识别攻击者的质疑信号而坚持原有谎言；或提供了完全超出预设知识图谱范围的荒谬答案。

六、应对升级版攻击者的韧性测试

研究进一步设计了四种不同复杂度的攻击者，以评估防守模型的鲁棒性。

1. 基础攻击者：标准设定。 2. 交叉盘问者：会在获得答案后进行多角度验证，测试叙事自洽性。 3. 反欺骗觉醒者：其系统提示中注明了常见的防守策略模式，警觉性更高。 4. 虚张声势者：会主动声称掌握某些其实际未知的信息，试图诱导防守者露出破绽。

面对这些强化攻击者，所有防守方法的成功率均出现下降，但降幅不同。Gemini 3 Pro在面对“虚张声势者”时，成功率从34.4%骤降至20.8%。而经过强化学习训练的“双重特工”模型，则从42.4%降至34.4%，表现出更强的适应性。

分析表明，在所有攻击者类型下，模型的心智理论准确率与欺骗成功率始终高度正相关（平均皮尔逊相关系数达0.92）。这证实了核心结论：精准理解对手的认知状态，是实施有效欺骗的前提。

七、现实意义与伦理边界

这项研究的技术路径具有明确的现实应用价值。随着AI越来越多地部署于客服、咨询、内部知识管理等对话前端，如何防止其被社会工程学手段利用以套取敏感信息，已成为紧迫的安全课题。

传统的“拒绝回答”策略是一种被动防御，容易被有经验的攻击者识别并绕过。本研究提出的“主动叙事引导”策略，则更接近于网络安全中的“蜜罐”思想：通过提供一个看似可信的虚假目标，消耗攻击者资源并保护真实资产。

研究团队也明确指出该技术的双刃剑特性。相同的训练方法可用于训练进行欺诈的AI。团队未对技术应用的伦理性做出判断，而是将这一问题留给开发者与政策制定者。他们强调，在缺乏严格约束的真实世界环境中，大语言模型本身已具备产生误导性信息（“幻觉”）的能力。此项工作并非创造新风险，而是使相关能力变得更可控、更具目的性。

核心启示在于：在复杂的信息对抗中，最高效的保护未必是沉默或拒绝，而是基于对对手认知的深刻理解，主动引导其思维走向预设的误区。这曾是优秀谈判专家与安全人员的核心技能。如今，AI正开始掌握这门艺术。

Q&A

Q1：TOM-SB任务中，防守者的“成功”和“失败”具体是怎么判定的？

防守者成功的判定标准是：攻击者主动结束对话，并相信自己获得了所需信息，但实际上该信息是虚假的，攻击者未学到任何新的真实信息。反之，若攻击者获取了任何一点此前未知的真实信息，或攻击者因信任度归零而判定遭遇欺骗并终止对话，则防守者失败。

Q2：AI双重特工与普通聊天AI拒绝回答敏感问题有何本质区别？

本质区别在于交互策略与安全深度。普通AI的拒绝回答是一种显性防御，会立即提示攻击者此路不通，可能促使其变换策略或寻找其他漏洞。AI双重特工执行的是隐性欺骗，通过构建合情合理的虚假回应，使攻击者确信目标已达成，从而主动终止刺探行为。前者是设置路障，后者是布置误导路标。

Q3：心智理论能力与欺骗成功率之间如何相互促进？

两者存在深刻的协同关系。仅优化欺骗成功率会迫使AI自发提升心智理论能力，因为准确欺骗的前提是精确理解对方所知。反之，仅训练心智理论准确性也能显著提升欺骗成功率，因为一旦AI能精准推断攻击者的知识状态，它便能更自然地编织出难以被识破的虚假故事。同时优化两者可实现能力闭环，达到最佳防御效果。