EAPO – 阿里通义推出的全新强化学习框架

EAPO是什么

在长文本推理领域，一个长期困扰业界的难题是：模型给出的答案看似正确，但其推理依据却可能来自“幻觉”或错误的引用。阿里通义实验室最近推出的EAPO框架，正是为了根治这一顽疾。这个全称为“证据增强策略优化”的强化学习框架，其核心创新在于将监督信号从最终答案“下沉”到了证据提取的过程本身。简单来说，它不再只关心模型“答对了没有”，而是更关心模型“是怎么答对的”。

这项已被ACL 2026录用的工作，效果相当显著：在8个权威的长文本基准测试中，基于EAPO训练的300亿参数模型，其综合表现甚至反超了参数规模达1200亿的GPT-OSS及Claude-Sonnet-4等闭源大模型。这标志着一种以小博大的新路径正在被验证。

EAPO的主要功能

那么，EAPO具体是如何实现这一目标的呢？它主要依靠以下几项核心功能：

• 结构化证据推理：它强制模型遵循一套严格的四步工作流：“任务分析→证据提取→推理执行→答案生成”。每一步都用特殊标记分隔，使得中间的证据状态不再是“黑箱”，而是可以被直接监督和评估。
• 多粒度过程奖励：EAPO构建了一套复合奖励信号。这不仅仅包括最终答案的准确率，还纳入了格式遵循奖励和证据质量的相对评估。这样一来，训练信号就从稀疏的“结果对错”，转变成了密集的“过程优劣”指导。
• 群组相对证据评估：针对同一个问题，模型会采样生成多条证据轨迹。奖励模型会像一个严格的评委，统一对这些证据集进行1-5分的质量评分，并在组内进行归一化处理。这种方法能有效引导模型去优先寻找那些最高质量的证据片段。
• 奖励-策略协同进化：这是一个精妙的动态设计。随着策略模型能力变强，它会生成更高置信度的证据链。这些优质数据会被筛选出来，反过来用于对奖励模型进行微调。于是，评判标准也随着模型能力的提升而“水涨船高”，两者形成了一个相互促进的进化闭环。
• 长文本推理增强：上述所有功能，最终都服务于一个目标：提升长文本推理能力。在SEAL、LongBench等权威测试集上的表现已经证明，EAPO能让中等规模的模型，在需要处理数十万token的复杂任务中，展现出超越庞然大物的实力。

EAPO的技术原理

理解了功能，我们再来深入看看其背后的技术原理。EAPO的成功并非偶然，而是基于几个环环相扣的设计。

• Evidence-Augmented Reasoning（EAR）范式：这是框架的基石。它建立了一种结构化的推理范式，要求模型在给出最终答案前，必须先从原文中逐字摘录出相关的证据片段。通过“任务分析→证据提取→推理执行→答案生成”这四步拆解，模型的思考过程被完全“暴露”出来。这从根本上解决了传统模型可能“蒙对答案但引用错误”的幻觉问题，让推理变得可追溯、可验证。

• Group-Relative Evidence Reward（群组相对证据奖励）：EAPO巧妙地转移了强化学习的优化重心——从“结果正确”转向“证据正确”。训练时，模型会对同一问题生成多条证据路径。奖励模型则扮演仲裁者，对这些证据进行效用评分，并在组内转化为相对奖励。这种密集的过程监督传递了一个明确信号：找对证据，比猜对答案更重要，从而有效抑制了模型走参数化捷径的倾向。

• Adaptive Reward-Policy Co-Evolution（自适应奖励-策略协同进化）：一个常见的困境是，固定的奖励模型会跟不上策略模型的进化速度。EAPO设计了一个自我强化的闭环：通过“结果一致性拒绝微调”，筛选出那些高置信度的数据（例如，证据评分高且答案正确，或者证据评分低且答案错误），用它们来持续微调奖励模型。这就好比一个学生和老师共同进步——学生（策略模型）学得越好，提出的问题（生成的数据）就越有深度；老师（奖励模型）为了能评判学生，也必须不断学习，从而形成动态的同步进化。

• 基于GRPO的复合奖励机制：EAPO以群组相对策略优化（GRPO）算法为基座，构建了一个多目标复合奖励函数。其中，格式遵循奖励（权重α=0.1）确保输出结构规范；群组相对证据质量奖励（β=0.3）提供核心的过程监督；结果准确率奖励（γ=0.6）则负责验证最终成效。三者的加权组合，成功地将稀疏的结果信号，转化成了能够细致指导每一步推理的密集信号。

EAPO的关键信息和使用要求

如果你对EAPO感兴趣，计划深入研究或尝试应用，以下这些关键信息和技术要求需要重点关注：

• 研发团队：来自阿里通义实验室（核心作者包括Xin Guan、Zijian Li、Shen Huang等），相关论文已被顶级会议ACL 2026录用。
• 基座模型：研究基于Qwen3系列模型开展，包括Qwen3-14B（密集架构）、Qwen3-30B-A3B-Instruct（混合专家架构）以及Qwen3-30B-A3B-Thinking。
• 上下文长度：训练和评估样本均统一限制在128K tokens以内，专为超长文本场景设计。
• 训练数据：使用了4,664条复合样本，涵盖上下文长度从32K到128K的多跳问答及维基百科混合问答任务。
• 奖励模型：基于Qwen3-30B-A3B-Thinking模型初始化，并在训练过程中，每进行20个强化学习步骤就更新一次。
• 奖励权重：复合奖励中，格式遵循、证据质量和结果准确率的权重分别设置为α=0.1，β=0.3，γ=0.6。
• 核心算法：以GRPO为基座算法，并创新性地引入了群组相对证据奖励和协同进化机制。
• 模型基础：要应用EAPO框架，需要基于支持长文本的Qwen3系列模型进行训练。其中，推荐使用Qwen3-30B-A3B-Thinking作为基础，以获得最佳效果。

EAPO的核心优势

综合来看，EAPO的优势体现在多个维度，不仅在于性能提升，更在于其方法论上的突破。

• 过程监督革新：它真正打破了长文本强化学习中稀疏奖励的瓶颈，首次实现了证据级别的密集过程监督。强制性的四步工作流，让模型的每一步推理都变得有迹可循，透明度大幅提升。

• 效能突破：数据最能说明问题。基于Qwen3-30B-Thinking训练的EAPO模型，在多个基准上的平均得分达到63.1%，成功超越了参数规模大得多的闭源模型。这为“小而精”的模型发展路线提供了有力实证。

• 错误双降：其效果是立体的。在提升答案准确率的同时，证据错误率从17.7%降至13.5%，推理错误率从20.7%降至15.4%。这意味着，无需额外显式监督推理步骤，通过狠抓证据质量，就能带动整体推理可靠性的全面提升。

• 训练效率领先：与仅依赖结果奖励的基线方法相比，EAPO的收敛速度更快，且达到的准确率上限更高。在整个训练过程中，其证据质量得分始终保持着断崖式的领先优势，这证明了过程监督的有效性。

• 评判标准进化：奖励模型与策略模型的协同进化机制，是一个颇具远见的设计。它确保了评判标准不会固步自封，而是能随着模型能力的提升而动态调整，避免了能力天花板过早出现。

EAPO的项目地址

对于希望深入了解技术细节的研究者和开发者，可以通过以下途径获取原始资料：

• 技术论文：详细的算法设计、实验设置和结果分析均已公开，论文地址为：https://arxiv.org/pdf/2601.10306

EAPO的同类竞品对比

为了更清晰地定位EAPO，我们将其与同期其他主流技术路线进行一个简要对比：

通过对比可以看出，EAPO在监督信号的密度、推理过程的可解释性以及动态进化能力上，构成了其差异化的竞争优势。当然，它也需要付出独立维护和更新奖励模型的额外成本。

EAPO的应用场景

基于其技术特性，EAPO在多个对事实准确性和推理可追溯性要求极高的场景中，具有广阔的应用潜力：

• AI搜索与问答：直击当前AI搜索引擎“搜对了但答错了”的核心痛点。它能强制模型在海量检索结果中精准定位并引用支撑证据，从根本上杜绝“幻觉”作答，提升答案的可信度。

• 专业领域文档分析：在法律、金融、医疗等领域，任何结论都需要严格的事实依据。EAPO可以确保自动生成的报告、分析或摘要，每一句关键判断都有明确的原文出处和证据链支撑，满足合规与审计要求。

• 科研文献综述：面对成百上千篇论文，研究者需要进行交叉验证与综合推理。EAPO能够自动从多篇文献中提取关键实验数据、结论，并准确引用来源，极大提升文献调研的效率和准确性。

• 企业知识库问答：在企业内部，合同、手册、历史文档往往卷帙浩繁。EAPO可以帮助员工快速从超长文档中定位决策依据，提供的每一个业务答案都附带出处，减少信息误传的风险。

• 教育辅导与自动批改：在解题辅导中，它可以要求模型像优秀教师一样，展示每一步推理所依据的题目条件。在自动批改时，则能验证学生的答案是否真正基于题目所给材料进行推导，而非套用模板或记忆。

总而言之，EAPO代表了一种重要的研究方向转变：从只关注模型输出的“终点”，到深入监督其思考的“过程”。这种对可解释性和事实准确性的极致追求，或许是通向更可靠、更可信人工智能的关键一步。