AI写作模型专家团队分工优化：多校联合研究揭示高效协作策略

这项由威斯康星大学麦迪逊分校、Scitix、康奈尔大学、杜克大学、加州大学戴维斯分校和南方科技大学联合开展的研究，于2026年4月以预印本形式发布，论文编号为arXiv:2604.01622。

研究背景：当AI写作需要一个“专家团队”

现代大型语言模型的参数量级持续攀升，动辄达到百亿乃至千亿级别。为了在维持强大能力的同时控制推理成本，混合专家模型（Mixture-of-Experts, MoE）架构应运而生。其核心思想是为模型配备一个内部专家池，每次处理任务时仅动态激活少数相关专家，而非调用全部参数。

当前主流的对话模型，如Mixtral、DeepSeek-V3、Qwen2.5，均采用了MoE架构。然而，这些模型普遍采用“令牌选择”（Token-Choice, TC）路由机制：由每个待处理的文本单元自行决定咨询哪位专家。这套机制在传统的自回归（逐词生成）模型中运行良好，但当应用于扩散语言模型（Diffusion Language Models, DLM）这类新兴架构时，其局限性开始显现。

扩散语言模型的工作原理与传统模型截然不同。它并非顺序生成文本，而是并行处理整个序列：先初始化一个充满噪声的文本表示，然后通过多轮迭代去噪，逐步还原出清晰的语句。这种并行特性对计算资源的调度提出了新要求。

研究团队指出，将TC路由直接套用于DLM，如同用点对点的出租车调度系统去管理需要全局协同的物流网络，必然导致效率瓶颈。为此，他们提出了一种与DLM并行特性天然契合的新型任务分配方案，并通过系统性实验验证了其显著优势。

一、两种派单方式的根本区别：谁来决定找谁

理解这项研究的关键，在于区分两种核心的路由哲学。

传统TC路由遵循“任务找专家”的逻辑。每个文本单元独立评估所有专家，并选择其最偏好的几位。这种方式虽具灵活性，却极易引发“负载不均衡”：热门专家可能瞬间过载，而其他专家则处于闲置状态。为了缓解这一问题，通常需要引入复杂的公平性惩罚机制，但这又会干扰模型的核心优化目标，且治标不治本。

研究团队提出的“专家选择”（Expert-Choice, EC）路由则翻转了这一逻辑。规则变为“专家选任务”：由每位专家主动挑选固定数量的、自己最擅长处理的文本单元。这种方式从设计上就保证了工作负载的均匀分布，无需任何额外的平衡机制。

EC路由实施的关键前提，是专家在做选择时必须能“看到”全局候选。这在逐词生成的自回归模型中无法实现，因为下一个词尚未产生。然而，扩散语言模型在每一轮去噪迭代中都会处理完整的文本序列，这恰好为专家进行全局、同步的选择提供了完美条件。研究团队的核心洞察正在于此：DLM的架构特性与EC路由的理念存在本质上的协同。

二、速度对比：同样的目的地，EC走得快一倍

研究团队在控制变量条件下进行了对比实验。他们构建了仅路由方式不同的相同模型，并在相同数据集上进行训练，追踪训练损失下降曲线。

结果清晰显示：采用EC路由的模型，仅用10.6小时就将训练损失降至3.75；而采用TC路由的模型（包括无限制版和容量限制版）则需要近21小时才能达到同等水平。这意味着EC路由将模型的学习效率提升了一倍。

其原理可用工厂流水线类比。在TC模式下，订单随机分配，导致部分机器过载，整条生产线必须等待最慢的环节，即“掉队者效应”。而在EC模式下，中央调度确保每台机器负载均等，实现同步推进，消除了等待时间。

硬件层面的数据证实了这一点。在TC路由下，8块GPU的内存使用量标准差高达3.6GB，负载最重的GPU使用了70.3GB；而在EC路由下，所有GPU内存占用完全一致，标准差为零。这种均衡直接转化为性能优势：EC路由实现了每GPU每秒52.1万亿次浮点运算的吞吐量，而TC变体仅为24.9到35.4，差距达1.5至2.1倍。

三、不只是快，还能“因材施教”：按去噪阶段动态分配计算资源

EC路由的速度优势只是起点。研究团队进一步发现，其架构允许实现一项TC路由无法完成的任务：根据扩散去噪的不同阶段，动态调整分配给每位专家的计算容量。

扩散过程类似于层层擦除覆盖层以显露原文。初始阶段（高遮掩率）上下文信息极少，末期阶段（低遮掩率）大部分文本已清晰。直觉可能认为初始阶段最需要计算资源，但实验结果颠覆了这一认知。

团队设计了七种总计算量相同但分配策略不同的容量调度方案。在以困惑度（Perplexity）为评估指标的测试中，“线性反转”方案表现最佳，得分为36.5。该方案规则简单：遮掩率越低，投入的计算资源越多。相反，“线性”方案（遮掩率越高投入越多）得分仅为37.5，甚至不及不做调整的静态基线（37.1）。这表明，将计算资源向收尾阶段倾斜，比投入在初始空白阶段更具价值。

这一结论在更大规模的模型上得到验证。在Nemotron-CC数据集上预训练的80亿参数（激活10亿）模型中，采用动态线性反转调度的模型，其验证困惑度持续低于静态基线，在MMLU（综合知识）和ARC-Challenge（科学推理）基准测试上的准确率也保持领先，且优势贯穿整个训练过程，排除了偶然波动的可能。

四、为什么“最后几步”最值得多投入：学习效率的数量级差异

为了探究现象背后的原因，研究团队量化了不同遮掩率区间的“学习效率”。他们将遮掩率划分为四个区间，并计算每个区间内模型损失随训练步数下降的“收敛率”。

测量结果揭示了巨大差异：在最低遮掩率区间（0-25%），文本单元的收敛率高达62.2（×10??）；而在最高遮掩率区间（75-100%），收敛率仅为9.8（×10??），相差超过六倍。随着训练进行，差距进一步扩大，某些阶段甚至接近二十倍。

这好比教学：有些学生一点就通，进步神速；有些则需要反复讲解才能掌握相同内容。最优的教学策略显然是将更多精力分配给学习效率高的学生，从而最大化整体产出。

低遮掩率阶段效率更高的原因在于信息密度。当大部分文本已确定，仅剩少数位置模糊时，模型拥有丰富的上下文作为预测依据，每次尝试都能获得高价值的学习信号。而在高遮掩率阶段，上下文极度匮乏，模型的预测近乎随机猜测，每次迭代的收获自然有限。

动态EC与静态EC的对比分析印证了这一点：在低遮掩率区间，动态EC的收敛率高出约3%；而在高遮掩率区间则低约1%到5%。这是一种高效的策略交换：牺牲在低效区域的微量进步，换取在高效区域的显著收益，净效果为正。

五、旧模型也能焕新生：只换一个小部件，就能提速又提质

一个极具实用价值的问题是：已训练好的传统模型能否通过简单改造获益？团队选取了预训练的LLaDA-MoE模型，仅将其内部的路由器从TC替换为EC，保持所有专家权重及其他参数不变，随后在多个任务上进行微调。

结果显示，仅更换路由器后，EC版本模型在代码生成（HumanEval/HumanEval-Plus）、数学推理（GSM8K）和医学问答（MedQA）任务上，训练收敛速度均明显快于原TC版本，且最终准确率相当或更高。采用动态EC（线性反转调度）的模型，在四项任务上的平均准确率达到54.9%，优于静态EC的53.6%和原始TC的52.6%。

推理速度的提升同样显著。由于消除了负载不均衡，EC版本不再出现计算单元空等的情况。实测显示，EC和动态EC版本的每轮解码时间比TC版本快了1.3到1.5倍。例如在HumanEval任务中，TC版本需1369秒，EC版本仅需1008秒。

这意味着，对于已部署的扩散语言模型，仅通过替换路由逻辑这一低成本“手术”，即可获得训练更快、推理更快、准确率更高的三重收益，无需承担从头训练数百亿参数模型的巨大成本。

六、细节与边界：不完美之处同样值得关注

研究团队在论文中也坦诚指出了当前方案的局限。

首先，EC路由存在“未覆盖”的潜在问题：即某些文本单元可能未被任何路由专家选中。测量显示，在静态EC下，中间层平均有不足1.1%的词次未被选中，整体未覆盖率约2.7%；动态EC在高遮掩率阶段容量极低，平均未覆盖率升至8.0%。不过，模型中通常设有处理所有词次的“共享专家”，且一个词次在所有层均被跳过的概率极低（静态EC下约10???），因此信息丢失的风险在实际中几乎可忽略。

其次，本研究测试的所有容量调度方案均为人工预设（线性、余弦、高斯等及其反转变体）。最优方案很可能随模型规模、训练数据和任务类型变化。一个自然的演进方向是训练一个轻量级预测器，让模型根据实时状态动态决定容量分配，而非依赖固定规则。这在视觉扩散模型（如DiffMoE）中已有探索，但在语言扩散模型中尚属空白。

另一个细节是，虽然余弦反转调度同样倾向在末期投入更多资源，但其分配策略比线性反转更为激进（末期极多，初期极少）。然而其最终困惑度（37.2）反而略逊于线性反转（36.5）。这表明完全“饿死”初期阶段并非最优，线性反转的成功或许在于它在资源分配的极端之间取得了更好的平衡。

这项研究完成了一项影响深远的工作：它证明，当AI模型的基础工作范式发生根本性变革（从顺序生成转向并行去噪）时，其内部的计算资源分配策略也必须进行重新设计，而非简单沿用旧方案。

专家选择路由使扩散语言模型的训练速度翻倍，推理速度提升30%-50%。动态容量调度则进一步挖掘了扩散过程的内在规律，实现了按学习效率高低分配计算资源的精细化管控。最关键的是，这套改进方案具有极高的可移植性，现有模型仅通过更换路由器便能获得显著提升。

对终端用户而言，这意味着未来基于扩散语言模型的AI工具，有望以更低的计算成本提供更迅捷的响应和更高的准确性。对研究者而言，这项工作开辟了一个新视角：迭代生成过程中的计算分配，不应再被视为固定的架构参数，而应成为一个可主动优化、以最大化学习效率的策略变量。

Q&A

Q1：专家选择路由和令牌选择路由在扩散语言模型中有什么本质区别？

A：本质区别在于决策主体和负载均衡方式。令牌选择路由由每个文本单元独立选择专家，易导致负载不均和“掉队者效应”，所有计算单元需等待最慢者。专家选择路由则由专家主动选取固定数量的文本单元，从机制上保证负载均衡。扩散语言模型每轮迭代处理完整序列的特性，恰好满足了EC路由需要全局视图的前提，因此两者具有极高的架构适配性。

Q2：为什么把更多计算资源放在低遮掩率阶段比放在高遮掩率阶段效果更好？

A：根本原因在于不同阶段的学习效率存在数量级差异。在低遮掩率阶段（文本已大部分清晰），模型拥有丰富的上下文信息，每次预测尝试都能获得高信噪比的学习信号，收敛速度极快。而在高遮掩率阶段（文本高度模糊），上下文信息稀缺，模型的学习效率低下。根据学习效率动态调配资源，能够实现整体性能的最优化。

Q3：已经训练好的扩散语言模型如何转换为专家选择路由？

A：转换过程直接且高效。核心操作是替换模型内部的路由器组件，将“文本单元寻找专家”的逻辑改为“专家选择文本单元”。模型中原有的专家权重、词嵌入等所有参数均可保持不变。替换完成后，在目标下游任务上进行短期微调，即可观察到训练收敛加速、推理速度提升，并在多数任务上获得相当或更高的准确率。