浙江大学与阿里巴巴AI语音助手评测：如何实现智能与情感兼备

这项由浙江大学、阿里巴巴集团通义音频团队及北京工业大学联合开展的研究，于2026年4月以预印本形式发布，论文编号为arXiv:2604.14932。

与语音助手交互时，你是否常感到一种割裂？要么它给出的答案准确但语调机械，要么在模仿人类情感时语义却开始出错。这种“准确度”与“表达力”难以兼得的矛盾，是端到端语音对话AI长期面临的核心挑战，也是本论文着力攻克的关键。

研究团队将这一难题类比为烹饪：既要食材入味，又要保持鲜嫩口感。传统方法往往顾此失彼。而这支产学界联合团队提出的Wa vAlign方案，则像一位精通火候的大厨，能够动态调控，在同一模型中实现双重优化目标。

一、语音对话AI训练的核心困境

在深入方案前，有必要厘清技术瓶颈的根源。

当前主流语音对话系统主要分为两类。“级联系统”将语音识别、理解、生成等模块串联，稳定性高但存在信息损耗与协同难题。“端到端系统”将所有处理集成于单一模型，理论上能实现语义与声学的深度融合，潜力更大，但开源模型的实际表现常不尽如人意。

一个直接的优化思路是引入在游戏AI与文本大模型中验证有效的“强化学习”技术，通过试错反馈进行学习。然而，直接将强化学习应用于端到端语音模型，往往会陷入两难：语义准确性提升时，声音的自然度与情感表达会受损；反之，优化声音质量时，语义准确性又会下降。

这背后存在三个相互交织的根本原因，研究团队称之为“三重困境”。

第一重：跨模态参数干扰。 在端到端模型中，文本与语音信息共享参数空间。优化文本内容时，参数更新会不可避免地扰动语音表征，这种跨模态干扰通常是破坏性的。

第二重：梯度能量失衡。 训练中的“梯度”决定了优化方向与强度。研究发现，文本任务产生的梯度信号强度远高于语音任务。这导致模型训练严重偏向语义优化，而语音质量的改进信号被淹没。

第三重：语音奖励信号不可靠。 强化学习依赖准确的奖励信号。评估语义对错相对容易，但评判语音的“自然度”或“情感丰富度”则缺乏金标准。研究数据显示，主流AI评判模型在语义维度上与人类评估相关性较高，但在语音维度上一致性显著偏低且不稳定，这意味着指导语音优化的“裁判”本身并不可靠。

二、四项关键实验洞察

在提出解决方案前，团队通过一系列诊断性实验，获得了四项核心发现，为方案设计奠定了实证基础。

发现一：训练范式决定优化幅度。 “监督微调”会在整个输出序列上引发显著且一致的概率分布变化；“强化学习偏好优化”则因内在稳定性约束，变化更局部、更细微。这表明，监督微调更适合对模型进行全局、稳定的塑造，而偏好优化更擅长局部精调。

发现二：语音奖励信号信噪比低。 数据证实，AI评分在语义维度与人类评分相关性良好，但在语音维度相关性显著下降，部分评判模型表现不佳。直接使用此类信号指导语音优化极易引入偏差。

发现三：文本与语音优化方向正交甚至对抗。 数学分析显示，在混合训练中，文本任务的梯度方向与语音任务的梯度方向，其一致性接近零且方差极大。这意味着两者的优化目标基本无关，甚至经常冲突。将整句级别的奖励信号平摊到每个语音片段，会导致大量片段接收到无效或有害的更新信号。

发现四：弱模型的语音辨别度不足。 当模型能力较弱时，其对同一问题生成的多个回答，在语音质量上差异微小，缺乏清晰的优劣梯度。在此情况下进行偏好学习，无异于在噪声中寻找信号，效率低下。

三、动态混合训练：协同优化的精妙框架

基于上述洞察，Wa vAlign的核心——单阶段动态混合训练框架——得以构建。其核心逻辑是：

对于需要稳定塑造的“语音质量”，采用监督微调进行持续、密集的指导；对于需要精准调整的“语义质量”，采用偏好优化进行针对性修正；同时，引入一个动态权重机制，根据当前生成样本的状态，智能调配两种训练目标的混合比例。

具体实现包含三个层面的核心设计：

1. 模态分离的优化策略。 监督微调的损失函数作用于所有文本和语音片段；而偏好优化的损失函数仅作用于文本片段，语音部分被完全屏蔽。这从根本上阻断了偏好优化对语音表征分布的干扰，实现了目标解耦。

2. 动态权重门控机制。 总损失是监督微调损失与偏好优化损失的加权和，关键权重λ并非固定。它由两个“门”动态计算：“方向门”检查当前批次生成的回答中是否存在质量合格的选项，若无则降低λ；“信息量门”检查回答之间的奖励分数是否分散，若差异过小则降低λ。两个门共同决定λ值，且即使条件最优，监督微调也至少保留20%的权重，作为稳定语音质量的“锚点”。

3. 指数移动平均平滑。 为防止权重因训练随机性剧烈波动，引入平滑系数（α=0.9），使当前权重由90%的历史权重与10%的当前计算值共同决定，相当于为控制杆增加了惯性缓冲，确保了训练过程的稳定性。

整个训练是单阶段同步进行的，而非传统的两阶段流水线。实验证明，这种同步协同对最终性能至关重要。

四、跨架构验证方案通用性

为证明方案的普适性，团队在两种结构迥异的模型上进行了全面验证：

• VITA-Audio：采用文本与语音片段交错输出的架构。
• KimiAudio：采用文本流与语音流并行生成的架构。

训练数据涵盖了常识问答、数学推理、多轮对话、指令遵循及安全对齐等共计13510条音频指令样本。评估从三个维度展开：衡量智能质量的VoiceBench与OpenAudioBench，以及专门评估语音表达能力的VStyle。

结果具有说服力：

在智能质量方面，标准监督微调会导致模型能力下降（即“对齐税”）。而对所有片段进行偏好优化的方案，得分大幅下跌。Wa vAlign的动态混合方案则在两种架构上均取得了最高分，成功实现了智能提升。

在语音表达质量方面，监督微调在风格控制上表现良好，验证了其对学习精细语音行为的有效性。而对所有片段进行偏好优化的方案得分极低，完全印证了“噪声梯度破坏语音分布”的预测。Wa vAlign方案实现了全面超越，在两种架构上均达到最高分，真正兼顾了准确性与自然度。

五、消融实验：验证每个设计环节的贡献

团队通过系统的消融实验，逐一验证了每个设计环节的必要性。

模态分离的价值： 在固定权重下，仅对文本片段进行偏好优化的版本，其综合得分显著优于对所有片段进行优化的版本。这直接证明了隔离语音片段免受偏好干扰的必要性。

动态权重的必要性： 测试了多种固定权重组合。结果发现，偏向监督微调的方案语音质量更优但智能下降，偏向偏好优化的方案智能更优但语音质量稍逊。没有任何固定比例能同时优化两个维度。而动态权重方案在两个指标上均优于所有固定组合。

EMA平滑的关键作用： 移除平滑操作后，智能与语音表达得分均出现明显下降。这表明平滑不仅是锦上添花，而是稳定训练、保障性能的关键组件。实验也确定了α=0.9为最优平滑系数。

此外，人类主观评估提供了最直观的证据：在盲测对比中，Wa vAlign方案在“有用性”和“自然度”两个维度上，对原始基础模型的胜率分别达到63.8%和66.2%，整体胜率接近4:1，且统计显著性极高。

本质上，Wa vAlign解决的不仅是一个工程问题。它揭示了一个深层原理：当试图同步优化一个系统中两种共享参数但性质不同的能力时，粗暴的混合训练会导致目标相互干扰。这项研究通过严谨实验证明了三点：语音质量的奖励信号确实更不可靠；对语音片段施加偏好优化会破坏其分布；而动态、分离的混合训练策略，是实现协同增效的关键路径。

研究也指出了当前局限：例如仍使用序列级奖励信号，未来若能引入更精细的片段级反馈，效果可能更佳；同时，语音质量评判模型本身的可靠性，仍是整个领域需要共同攻克的挑战。

对用户而言，这项研究意味着未来的语音助手将有望真正变得既智能又自然——它不仅能提供准确信息，还能以恰当的语气和情感进行交流，无需在“准确”与“生动”之间做出妥协。这让我们向真正流畅、自然的人机语音交互迈出了坚实的一步。

Q&A

Q1：Wa vAlign方法与常规的强化学习训练有何本质区别？

常规强化学习直接对模型输出的全部片段（包含文本和语音）进行偏好优化，导致语音部分受到噪声梯度干扰而质量恶化。Wa vAlign的核心区别在于三点：一是将偏好优化严格限定于文本片段，语音质量由监督微调独立负责；二是根据每轮生成回答的质量动态调整两种训练目标的混合权重，而非固定比例；三是通过指数移动平均平滑权重变化，确保训练稳定。这三者共同保障了语义与语音质量的同步提升。

Q2：Wa vAlign实验选择了哪两种语音对话模型进行测试？为何选择两种？

研究团队选择了VITA-Audio（交错流架构）和KimiAudio（并行架构）这两种结构完全不同的模型进行测试。目的是验证Wa vAlign方案的架构无关性与通用性。若方案仅对特定架构有效，则说明其依赖于某种特殊设计；而在两种截然不同的架构上均能稳定提升性能，则证明这是一套通用的训练框架。

Q3：Wa vAlign训练所用的13510条数据如何构建？偏好数据对是如何生成的？

训练数据综合了多个公开数据集（如GSM8K、UltraChat、Alpaca等）以及团队自建的情感对话、音量语速控制等数据，总计13510条。偏好数据对的构建流程是：针对每个问题，让模型重复采样生成8个回答，使用AI评判模型分别给出语义分和语音分，按各占50%的权重合并为综合效用分。随后选取效用分最高和最低的两个回答，组成一个偏好对。为确保数据质量，仅保留两者分差超过0.5的数据对，以最小化噪声信号的干扰。