百度安全ACL 2026两篇入选：模型智能与安全平衡方案
30秒论文速览
**论文一：Safety-Utility Conflicts Are Not Global: Surgical Alignment via Head-Level Diagnosis——Conflict-Aware Sparse Tuning（CAST）缓解大模型安全对齐中的通用能力下降** 核心痛点在于行业内普遍存在的“对齐税”现象。为了让大模型遵循安全规范，例如学会拒绝恶意问题，研究人员通常会对模型参数进行全局更新。但这种“一刀切”的方式，往往会影响模型原有的逻辑推理能力，甚至导致模型在面对正常复杂问题时也出现过度拒绝。 解法颇具巧思：CAST引入了一种精准的“局部对齐”策略。在正式训练前，它对模型进行诊断，定位出那些“既负责通用推理、又与安全目标冲突”的关键参数区域。随后在安全微调时，CAST会谨慎避开这些核心区域，仅更新冲突较低的安全参数区。 效果方面：实验表明，应用CAST后，模型在达到同等安全防御率的前提下，数学和逻辑等通用能力得到了有效保留。换言之，它化解了安全与效用之间看似不可调和的零和博弈。 **论文二：Token-Level Policy Optimization: Linking Group-Level Rewards to Token-Level Aggregation via sequence-level likelihood——Token-Level Policy Optimization（TEPO）提升大模型推理训练的稳定性与效率** 该研究的痛点在于：大模型在进行复杂数学或逻辑推理时，往往需要输出长篇解题步骤。但传统训练方法通常只能根据最终结果给出一个整体评分。这导致模型在长上下文中难以定位具体哪一步正确、哪一步错误，结果容易陷入低效的试错循环。 TEPO给出的解法是：提出一种创新的分配机制，能够将最终的整体反馈合理且平滑地分配给过程中的每一个Token（词元）。同时，它能精准识别哪些节点出现了策略过度更新的苗头，并及时干预，防止模型性能退化。 效果直观：该方法不仅在多项数学推理测试中提升了准确率，而且凭借高稳定性的梯度更新，将模型所需的强化学习收敛时间缩短了近50%。 在迈向大模型和智能体规模化落地的进程中，赋予模型“高阶推理能力”与守好“安全可控底线”，是行业面临的核心挑战。大模型智能体要真正成为新质生产力的核心引擎，不仅需要通过强化学习获得深度思考的能力，还需要在复杂的交互环境中配备可靠的安全机制。百度安全的这两篇ACL 2026入选论文，正是沿着这一脉络，从底层算法架构出发，为大模型与智能体的演进提供了全新的优化路径。值得一提的是，这两项前沿突破并没有停留在纸面上，而是已深度融入并转化为“百度大模型安全护栏”的核心能力。
论文一：Safety-Utility Conflicts Are Not Global: Surgical Alignment via Head-Level Diagnosis——Conflict-Aware Sparse Tuning（CAST）缓解大模型安全对齐中的通用能力下降
论文链接：[https://arxiv.org/abs/2601.04262](https://arxiv.org/abs/2601.04262) **①研究背景** 在将大语言模型与智能体投入应用之前，安全对齐是必不可少的环节。但问题在于：现有模型普遍面临“对齐税”问题。当模型经过安全微调学会拒绝违规指令后，其原有的复杂逻辑推理、常识问答等通用能力，往往会出现不同程度的下降。现有的缓解策略大多试图从全局优化层面解决，对所有参数施加统一的更新规则。但百度安全团队指出，这种全局视角忽视了模型内部的“模块异质性”。大模型内部的注意力头（Attention Heads）存在明显的专业化分工：一部分参数更偏重通用推理，另一部分则更容易受到安全对齐的影响。如果在安全对齐时盲目更新所有参数，就不可避免会修改那些对通用能力敏感、同时与安全目标存在冲突的推理神经元，最终导致模型通用能力的下降。 **②核心方法** 为解决这一问题，百度安全提出了CAST（Conflict-Aware Sparse Tuning，冲突感知稀疏微调）框架。该框架将可解释性技术与参数高效微调相结合，实现了精准的参数级安全对齐。具体分为两步： 第一步是“对齐前冲突诊断”。在正式训练前，CAST用少量校准数据对模型的注意力头进行评估。它综合考量两个指标：一是安全目标与通用能力在梯度方向上的对立程度，二是该注意力头对维持通用能力的重要程度。结合这两个指标，CAST生成一张“冲突地图”，清晰展示了：安全与效用的冲突并非弥漫全局，而是稀疏地集中在少数特定层的注意力头上。 第二步是“预算匹配的安全对齐”。基于诊断结果，CAST摒弃全局更新，将模型参数划分为两类：高敏感的危险区和低冲突的安全区。在进行安全微调时，CAST将掌管核心逻辑的危险区参数冻结，仅对安全区的注意力头进行稀疏微调。
论文二：Token-Level Policy Optimization: Linking Group-Level Rewards to Token-Level Aggregation via sequence-level likelihood——Token-Level Policy Optimization（TEPO）提升大模型推理训练的稳定性与效率
论文链接：[https://arxiv.org/abs/2510.09369](https://arxiv.org/abs/2510.09369) **①研究背景** 大模型智能体在解决复杂数学和逻辑问题时，思维链（Chain-of-Thought, CoT）推理已成为最核心的能力。为提升这种能力，业界广泛采用强化学习（RL）技术，特别是近期备受瞩目的组相对策略优化（GRPO）。GRPO因去除了Critic网络的轻量化设计，有效推动了模型的推理表现。然而，现有的大模型强化学习方法在处理思维链时，面临一个底层技术挑战：Token级别的奖励极度稀疏。当智能体推导一道复杂数学题时，可能生成数千个Token的推理步骤。但传统强化学习只能在最终结果出来后给出一个全局的“组级奖励”，这就产生了“信用分配”难题：智能体很难区分长序列中到底哪一步是关键的正确推导，哪一步是导致最终计算错误的失误。在这种稀疏奖励下，现有方法往往只能依赖无差别的全局约束，容易导致模型策略退化，使训练过程变得很不稳定。 **②核心方法** 为解决此难题，百度安全提出了一种微观级优化框架——TEPO（Token-Level Policy Optimization），它在全局奖励与微观Token之间建立了有效连接。该框架包含两大核心创新机制： 第一个是“序列级似然的软聚合”。传统Token级重要性采样会带来较大噪声和梯度方差。TEPO摒弃这种做法，转而利用数学分解原则，计算整个序列似然的几何平均值。这种“软聚合”机制，成功将稀疏的组级奖励平滑且稳定地分配到每一个单独的Token上。这不仅大幅降低了梯度估计的方差，还有效缓解了状态分布偏移问题。 第二个是“有条件的稳定性控制”。针对无差别正则化带来的模型不稳定问题，TEPO引入了选择性KL散度掩码。该机制能精准锁定那些表现良好、但策略趋于过度自信的特定Token。只有当这些Token面临过快更新的风险时，掩码才会进行干预。这种精准的正则化控制，很好地平衡了探索与利用的关系。