人大腾讯联合研发AI奖励放大训练法：学生模型超越教师表现的全新突破

长期以来，人工智能模型蒸馏领域存在一个普遍假设：学生模型的性能上限被其教师模型严格限定。然而，中国人民大学高瓴人工智能学院与腾讯大模型团队的最新联合研究，正挑战这一范式。他们提出的“奖励外推”训练框架，首次在实验中实现了学生模型对教师模型的稳定超越。相关论文（arXiv:2602.12125v1）已详细阐述了这一突破。

该研究聚焦于“在线策略蒸馏”这一前沿技术。与传统蒸馏不同，在线策略蒸馏允许学生模型在动态交互中学习，而非静态模仿。尽管这种方法提升了学习效率，但其性能瓶颈依然受制于教师模型的质量。

研究团队从理论层面找到了突破口。他们指出，在线策略蒸馏可被形式化为一个强化学习过程。传统方法对奖励与约束采用固定权重处理，限制了学习潜力。为此，团队构建了“广义在线策略蒸馏”框架，其核心创新在于引入一个可调节的“奖励缩放因子”及灵活的“参考模型”机制。当缩放因子大于1时，训练进入“奖励外推”状态，学生模型得以捕捉教师策略中更精微的模式差异。该方法被命名为ExOPD。

实验验证：从数学推理到代码生成

研究在数学推理与代码生成两大关键任务上进行了系统验证，模型基于Qwen3系列，参数规模覆盖1.7B至30B。

数学任务采用AIME、HMMT等竞赛级数据集，代码任务则使用HumanEval+、LiveCodeBench等基准。实验设计如下：

在单一教师蒸馏中，当奖励缩放因子处于0到1之间时，学生表现介于初始状态与教师水平之间，呈现“插值效应”。然而，当因子调至1.25时，转折点出现：学生模型在所有数学测试集上稳定超越教师，平均准确率提升约2%。

多教师蒸馏实验的结果更具启发性。研究人员训练了多位专项“专家教师”，传统方法仅能使学生融合达到平均水准。而ExOPD训练出的统一学生模型，在多项任务上同时超越了每一位专项教师。

针对实际部署中常见的“大教小”场景，ExOPD同样有效。使用30B教师模型蒸馏1.7B或4B学生时，小模型在部分数学任务上性能提升超过4%。团队进一步提出的“奖励修正”技术，通过精准校准知识传递方向，带来了额外增益，尽管会小幅增加计算成本。

原理与边界：为什么能成功？

ExOPD的成功源于其训练动力学特性。分析显示，该方法能获得更高的训练奖励，并倾向于生成更长、更丰富的回答，表明其学习了更复杂的模式。理论推导证实，当缩放因子大于1时，学生的最优策略会包含一个附加项，该项编码了“教师相对于参考模型的知识演进”。这意味着学生不仅模仿结果，更理解了教师决策的改进轨迹。

奖励外推存在明确边界。实验发现，当缩放因子过高（如1.5），性能会出现波动甚至下降。过度的信号放大可能导致模型过拟合，损害泛化能力。因此，1.25附近被确定为性能稳定的“甜点区”。

与“权重外推”等替代方案相比，ExOPD的优势在于其可控性与稳定性。它通过对学习信号进行精细的、动态的方向性调节，实现了更可预测的性能突破。

意义与展望：打破天花板的新思维

此项研究的价值超越了具体的技术指标。它动摇了“学生无法超越老师”这一深层假设，为思考模型能力进化提供了新视角。

对于资源受限的边缘计算与移动端部署场景，ExOPD提供了新的方法论。它使得将大模型能力高效压缩至小模型成为更可行的路径，推动“小而精”模型的实际应用。

研究也指出了当前局限：奖励修正技术需获取教师预训练版本，并非总能满足；方法会引入额外计算开销；其在大规模模型及多样化任务上的泛化性仍需进一步验证。

一个关键发现是：在某些情况下，直接继续训练教师模型带来的收益，反而低于使用ExOPD蒸馏一个学生模型。这提示我们，突破瓶颈的关键可能不在于堆砌更多数据与参数，而在于设计更高效的知识迁移与放大机制。

本质上，ExOPD提供了一把开启“策略性学习”的钥匙。它证明，通过调整学习过程的反馈机制，能够释放模型未被开发的潜力。这项技术不仅是实现“青出于蓝”的工具，更是一种重新审视机器学习范式的基础性启发。

Q&A

Q1：什么是ExOPD方法？

A：ExOPD（奖励外推的在线策略蒸馏）是一种创新的模型蒸馏技术。它通过动态增强训练中的奖励信号强度，使学生模型能够突破其教师模型的性能上限，实现超越性学习。

Q2：ExOPD方法是如何让学生超越老师的？

A：核心机制在于将奖励缩放因子设置为大于1。这相当于放大了教师策略中的细微模式信号，引导学生模型学习更深层的决策规律，从而构建超越教师原始知识的基础。

Q3：这种方法在实际应用中有什么限制吗？

A：主要存在三方面考量：其一，部分优化技术需要访问老师模型训练前的版本，这并非总能实现；其二，会引入额外的计算开销；其三，需要精细调节参数（如缩放因子），以避免过度外推导致的性能不稳定。