ICLR 2026论文解读：上交大揭示大模型运筹建模新范式
当大语言模型从通用推理工具迈向专业领域时，运筹优化（OR）无疑是一个充满诱惑又布满荆棘的战场。说它诱人，是因为运筹问题通常有清晰的数学结构和可验证的答案，看起来像是为自动化建模量身定做的。但现实往往更骨感：真正的运筹建模，其变量定义、约束条件和目标函数之间环环相扣，牵一发而动全身。这远不是算出个正确答案那么简单，而是一个强步骤依赖、强逻辑耦合的复杂推理过程。
正是在这种理想与现实的张力下，当前运筹建模大模型的研究暴露出了一个核心困境：模型能在求解器里跑出正确结果，不代表它真的建对了模型。问题出在训练上——无论是只看最终答案给奖励，还是对中间步骤进行割裂的、局部的监督，都很难精准刻画运筹建模这种长链条推理的真实质量。监督信号和任务本质之间的错位，让建模错误可能被掩盖甚至被强化，这正成为大模型迈向工业级运筹应用的关键瓶颈。
面对这一挑战，上海交通大学智能计算研究院的葛冬冬、林江浩研究团队带来了一项新研究：《StepORLM: A Self-Evolving Framework with Generative Process Supervision for Operations Research Language Models》。他们没有选择一味堆叠模型规模或数据量，而是从训练范式这个根子上进行反思，提出了一种由策略模型与“生成式过程奖励模型”协同进化的自进化训练框架。其核心思路是，将最终求解结果与对完整推理过程的全局、回顾式评估相结合，引导模型真正学会构建一致、可靠的运筹模型，而不是仅仅生成一个碰巧可行的解。
小模型，赢在方法
这项研究在6个具有代表性的运筹优化基准上进行了系统测试，覆盖了从简单的线性规划到贴近真实工业场景的复杂混合整数规划问题。评估标准相当严格：模型只生成一次解题轨迹，必须通过外部求解器的验证——代码能成功执行、建模过程正确、且结果被判定为可行且最优，才算成功一次。
实验结果颇具启发性。首先，与零样本的通用大模型相比，参数规模仅8B的StepORLM，其平均准确率竟然超过了DeepSeek-V3（671B）和Qwen2.5-72B等“庞然大物”，也全面优于GPT-4o的零样本表现。尤其是在ComplexOR和IndustryOR这些高难度场景中，优势更为明显。这传递出一个清晰的信号：在运筹建模这件事上，模型参数规模已非决定性因素，训练范式和监督信号的设计才是关键。
其次，与那些专门为OR任务微调过的模型相比，StepORLM在所有基准上都取得了更好的成绩。在NLP4LP、ComplexOR等极度依赖多步骤正确推理的任务中，提升尤为显著。这说明，它的性能增益并非来自更多数据，而是源于更高质量、更贴合任务本质的监督信号。
再者，与各种需要多次推理尝试的智能体方法相比，StepORLM仅凭单次生成就能获得更稳定、错误更少的表现。根本区别在于，智能体方法是在推理阶段对已生成的结果进行“事后修补”，而StepORLM则在训练阶段就引入了过程级监督，从源头上减少了错误推理路径被学习和强化的可能性。
研究还评估了将训练出的生成式过程奖励模型用作推理阶段“验证器”的效果。结果显示，当StepORLM与这个奖励模型结合使用时，平均准确率能进一步提升到85.6%，在最具挑战性的两个数据集上分别获得了约9.9%和9.5%的显著增益。更重要的是，这个奖励模型并非StepORLM的“专属配件”，当它与其他运筹模型结合时，同样能带来接近10%的性能提升。这表明它学到的是模型无关的、通用的运筹推理判据，而非针对某个特定模型的“小窍门”。
一系列的消融实验则验证了框架中各个组件的必要性：去掉预热阶段的监督微调，性能会大幅下滑；取消自进化训练，模型性能很快会停滞不前；如果冻结奖励模型不让它进化，或者用普通的偏好优化方法替代加权的版本，学习效果都会打折扣。训练过程分析也清晰地显示，模型性能的提升是随着自进化迭代逐步累积的，而非一蹴而就。
从偶然正确，到系统可靠
这项研究直指大语言模型在运筹建模中可靠性不足的痛点。研究团队指出，现有方法主要存在两类根本缺陷。
第一类是“结果导向奖励的信用分配问题”。简单说，就是只根据外部求解器是否成功来奖励模型。这很危险：只要最终解是对的，哪怕中间推理有错误，模型也会被强化。在运筹场景里，比如漏掉一个不那么紧的约束，或者变量定义不严谨，可能在某个具体例子里不影响最优值，但会让模型误以为这种建模方式可行，从而把不稳定甚至错误的逻辑固化下来。
第二类缺陷是“传统过程监督的短视性”。这类方法通常对推理的每一步进行独立打分，难以理解步骤间的依赖关系，也无法判断某个早期决策在整体建模语境下是否合理。然而，运筹建模恰恰是一种步骤高度耦合的长链条推理，这种割裂的、局部的监督信号，很难准确反映整体推理的质量。
针对这些问题，StepORLM框架采用了“两阶段训练+自进化闭环”的设计。第一阶段是预热，目标是构建一个具备基本运筹建模能力的初始策略模型。研究人员利用教师模型自动生成多样化的问题，并为每个问题生成覆盖分析、定义、建模、编码全过程的推理轨迹，并经过严格验证，最终用于对策略模型的监督微调。
第二阶段才是核心的创新所在：策略模型与生成式过程奖励模型的协同进化。系统同时维护这两个模型：策略模型负责生成完整的解题轨迹；而生成式过程奖励模型则扮演“全局审查官”的角色，从整体视角回顾并评估整条推理过程的合理性。它并非对单步进行简单打分，而是具备综合判断能力，能捕捉步骤间的依赖关系。
在每一轮迭代中，策略模型对同一问题生成多条候选轨迹，并接受“双源反馈”的评估：一是外部求解器给出的最终结果正确性反馈；二是奖励模型给出的过程质量评价。在此基础上，不同轨迹被两两比较以构造偏好对——求解成功的优于失败的，结果相同时则过程质量高的胜出。研究团队进一步引入了加权的偏好优化方法，区分严重错误与细微改进，据此更新策略模型。
与此同时，生成式过程奖励模型自身也利用高质量轨迹进行持续微调，使其评估标准变得越来越准、越来越严。于是，一个正反馈闭环形成了：策略模型生成更高质量的轨迹，为奖励模型提供更好的训练样本；进化后的奖励模型又能给出更精确的过程反馈，进一步指导策略模型提升。二者就在这种协同进化中，推动整个系统的运筹建模能力持续向上。
一种可迁移的训练范式
这项研究的价值，不仅在于提升了运筹建模的性能，更在于其方法论上的启示。首先，它明确并验证了一个关键观点：在运筹优化这类强步骤依赖的任务中，如果奖励模型本身缺乏推理能力，就很难为策略模型提供有效的监督。传统上那种“结果正确即推理正确”的假设，或者认为对中间步骤逐步打分就能弥补不足的想法，在这类场景下都存在系统性的偏差。只有具备整体理解能力的过程监督，才能有效缓解归因错误和短视问题。
其次，在运筹优化与大模型结合的研究领域，这项工作显著提升了模型在建模正确性、约束完整性和应用可靠性方面的表现。通过引入过程级监督与自进化机制，模型不再只是“会写线性规划代码”，而是向“会进行严谨的运筹建模”迈进了一步。
更进一步看，这项研究提出的训练范式，其思想内核具有相当的普适性。它所强调的“整体化、回顾式过程监督”，完全可以迁移到数学证明、代码生成、科学建模等其他复杂的长链条推理任务中，为解决强依赖推理场景下监督信号失真的问题，提供了一条值得借鉴的新路径。
这篇论文的第一作者是上海交通大学智能计算研究院的博士生周宸宇，导师为叶荫宇教授和葛冬冬教授。他的研究方向集中于大语言模型与运筹优化、复杂推理任务的训练方法。除了学术研究，他也在产业界积累了人工智能与优化相关的实践经验。
论文的通讯作者是林江浩博士，他现任上海交通大学安泰经济与管理学院助理教授，研究方向涵盖大语言模型、AI智能体及其在推荐系统、运筹优化等领域的交叉应用，在相关领域已发表了多项有影响力的研究成果。
