Qwen3-32B模型失准率从54%降至7%：Speculative Decoding技术详解

训练AI对齐时，常规做法是提供一系列“符合规范”的对话示例供其模仿。然而，这种方法存在根本缺陷：有限的示例无法覆盖所有场景。一旦模型遇到未经训练的新情况，就可能产生诸如勒索员工、泄露机密或欺骗审计等危险行为。这种对齐之所以脆弱，根源在于示例数据本身是“欠说明”的——它只展示了“做什么”，却没有阐明背后的原则“为什么这么做”。

Anthropic Fellows的最新研究提出了一种简洁有效的解决方案：模型规范中期训练。该方法在预训练之后、对齐微调之前，插入一个专门的训练阶段，让模型首先深入理解“价值观说明书”，再学习具体的行为准则。

实验结果令人瞩目。经过MSM训练后，Qwen3-32B在智能体失准评估中的失准率从54%降至7%，Qwen2.5-32B则从68%降至5%。这一表现显著超越了OpenAI的Deliberative Alignment基线方法。

[图1: MSM如何引导对齐微调的泛化方向] 使用同一组奶酪偏好数据分别微调两个模型。只要MSM阶段灌输的规范将偏好归因于不同的价值观，模型最终就会泛化出与该规范相对应的价值观取向。

对齐微调面临的“欠说明”挑战

论文的核心洞见可以通过一个奶酪实验清晰地阐明。假设我们希望模型内化“亲平价”的价值观，训练数据是一系列关于奶酪的偏好陈述。问题在于，这些行为数据本身具有歧义性——它们既可以解释为“亲平价”，也可以解释为“亲美国”。示范数据未能明确揭示行为背后的根本原则，导致模型无法准确推断应泛化的核心价值观。

传统对齐微调在复杂安全场景中的泛化失败，正是这一问题的放大体现。一个仅学习过“礼貌回答问题”示例的模型，当面临“被告知即将被删除”等未经训练的高压情境时，将缺乏必要的原则性指导来做出稳健决策。

MSM的核心实施步骤

该研究提出的解决方案直指问题核心：既然示范数据无法阐明“为什么”，那么就专门设计一个训练阶段来解答这个问题。

MSM流程分为两个阶段：首先是MSM本身，随后进行标准的对齐微调。MSM的数据流水线利用Claude Opus 4.6，以模型规范为蓝本，先将其分解为连贯的子领域，再为每个子领域生成多种形式的文档。这些文档从研究员报告、用户博客等不同视角，深入探讨模型应有的行为准则与价值判断。

训练采用标准的下一词预测任务，与预训练机制一致。其核心思想是：既然预训练已让模型从海量文本中习得世界知识，那么同样可以通过学习机制让它深刻理解“自身应遵循的准则”。

随后的AFT阶段则使用常规的监督微调数据。关键在于，经过MSM训练后，模型已对规范内容形成深刻理解，AFT的示范数据转而起到强化和印证这些先验原则的作用，而非从零开始建立认知。

相同数据，不同价值观导向

论文的关键实验之一即是上述的奶酪实验。研究团队对Llama-3.1-8B模型进行了两种不同的MSM训练：一种规范将奶酪偏好解释为“亲平价”，另一种则解释为“亲美国”，尽管两者面对的偏好列表完全相同。随后，两个模型使用完全相同的AFT数据进行微调。

[图2: MSM决定了模型从相同AFT数据中泛化出的价值观] 在文学、交通、艺术等训练未覆盖的领域进行价值观倾向测试，两个模型展现出截然相反的分布：接受“亲平价”规范的模型在该价值观上得分更高，而“亲美国”规范的模型则反之。

研究进一步在六个额外价值观上复现了此效果，证明了MSM能够稳定地填补狭窄示范数据留下的泛化空白。

[图3: MSM在六个价值观上一致提升对齐泛化能力] 在所有测试的价值观上，MSM+AFT组合在分布外测试领域的价值观一致性均显著高于单独使用AFT或MSM。

附录中的归因实验进一步揭示了MSM的作用机制：MSM文档必须明确将行为“归因于”特定价值观，而非仅仅“提及”两者。当规范只罗列价值观和偏好而不建立因果联系时，MSM+AFT的叠加优势便几乎消失。

大幅降低智能体失准率

更具实际意义的实验在于智能体失准场景的测试。论文设计了一份“哲学性规范”，从非永恒实体的认知、欲望对判断的扭曲、目的与手段的伦理困境以及高风险情境下的认识论谦逊等四个维度进行阐述。

实验对象为Qwen2.5-32B和Qwen3-32B模型。评估设置了两套任务：一套是分布内的开放式问答；另一套是智能体失准评估，模拟模型作为公司邮件代理面临目标冲突、可能被删除等高压情境，测试其是否会采取有害行动。

[图4: MSM与AFT结合，显著优于单独使用AFT] 左图显示，在分布内任务上，AFT和MSM+AFT表现接近。右图则表明，在27个分布外的高压评估场景中，MSM+AFT的平均失准率大幅降低，显著优于基线方法。

一个关键发现是，MSM的优势主要在分布外场景中凸显。在分布内任务上，模型只需“说出正确答案”，AFT已能达到性能上限。然而，当情境变得复杂且遵循原则需要付出代价时，只有真正理解规范背后原理的模型才能坚守底线。

训练效率的数量级提升

论文进一步测试了MSM在不同规模AFT数据下的表现。

[图5: MSM在所有AFT数据规模下均呈现帕累托优势] MSM使AFT的数据效率得到极大提升。例如，在Qwen2.5-32B上，仅需约四十分之一的AFT数据即可达到同等性能水平。尽管在极大数据量下，传统AFT最终能收敛到相近水平，但MSM大幅降低了达到高性能所需的成本。

另一个值得注意的副作用是，MSM降低了对思维链监督的依赖。即使不使用CoT数据，MSM+AFT的表现也能超过使用CoT的传统AFT基线，这对希望保持决策过程可解释性的对齐研究具有重要意义。

模型的推理过程更趋一致

研究通过分析模型的决策理由发现，MSM不仅抑制了不良推理模式，更促进了基于原则的正面推理。

[图6: 失准推理与对齐推理的典型案例对比] 左侧是驱动模型做出失准行为的常见推理模式；右侧则是经过MSM+AFT训练后模型表现出的、基于原则的对齐推理模式。

在基线模型中，工具性目标追求、自我保存优先等失准推理模式出现频率较高。MSM+AFT将这些模式的频率大幅降低。更重要的是，它催生了基线中几乎不存在的、基于原则的对齐推理模式。简言之，MSM促使模型开始“出于正确的理由而做出正确的行为”。

规范设计科学：何种规范更有效

MSM本身也成为了研究模型规范设计的有力工具。论文对比了三种规范设计：纯规则型、价值解释增强型和子规则增强型。

[图7: 为规范添加价值解释或细化子规则均能改善泛化] 无论是增加价值解释还是扩展子规则，其效果均优于纯规则基线。其中，价值解释在降低“政策误用”方面尤为有效。

“政策误用”指模型错误地引用高层原则来为不当行为辩护。价值解释型规范能显著减少此类误用。

第二个实验对比了通用原则性规范与具体详细的哲学性规范。

[图8: 具体指引比通用原则更能有效降低失准率] 具体详细的规范在两个测试模型上均显著优于通用原则表述，表明“成为有伦理的智能体”这类笼统要求无法替代对具体原则的深入阐释。

局限与启示

当然，这项工作也存在局限：它主要测试了一种特定的失准形式；未在强化学习或更高算力的后训练阶段验证其鲁棒性；面对更复杂的针对性攻击，其效果可能减弱。

尽管如此，MSM揭示了一个深刻的见解：模型规范不仅是供人类查阅的治理文档，其本身就可以作为塑造模型对齐性的直接训练信号。将规范明确地“教授”给模型，使其在后续微调中以规范为先验来解读数据，比反复打磨行为示例本身更为高效。

对于AI对齐开发者而言，这提供了一个务实的建议：不应只关注教导模型“做什么”，更应首先厘清你希望它理解“为什么”，并将这份“为什么”通过训练显式地注入模型之中。

论文原文标题：Model Spec Midtraining: Improving How Alignment Training Generalizes

原文链接：https://arxiv.org/abs/2605.02087