复旦大学揭示AI训练新视角：偏差陷阱如何成为模型稳定性的关键

由复旦大学计算机学院、牛津大学及科罗拉多大学等机构联合主导的研究，于2026年3月11日在预印本平台arXiv发布（编号：arXiv:2603.10444v1）。论文《FP4量化大语言模型训练中均值偏差的诅咒与祝福》深入探讨了AI模型低精度训练的核心挑战，并提出了一项根本性的解决方案。

移动设备中日益智能的功能，依赖于庞大的AI模型驱动。为了在资源受限的终端高效部署，研究者致力于“低精度训练”——将高精度计算压缩为更紧凑的数值格式。其中，将数据从16位浮点数压缩至4位（FP4），是平衡效率与性能的前沿课题，也最具技术挑战。

然而，这种极致的量化往往导致模型性能骤降与训练过程失稳。传统观点将问题归咎于数据分布的“各向异性”，即少数维度承载了绝大部分信息方差。在4位表示的有限数值范围内，这些极端值会挤占量化区间，致使大量细微但关键的信息丢失。

一、隐藏的“主谋”：均值偏差的真面目

复旦大学团队通过系统性分析，揭示了问题的核心并非复杂的高维统计特性，而是一个贯穿训练始终的一阶统计量：均值偏差。

这一发现修正了领域的普遍认知。研究指出，在模型每一层的激活输出中，都存在一种系统性的、方向一致的偏移。这种偏移并非随机噪声，而是所有数据点共同朝向某个特定方向的平移。

可以将其类比为高维空间中的一股“定向风”。关键在于，当模型工作在数千甚至数万维度时，即便每个维度上的微小偏移，其整体效应也会随维度平方根增长而放大。最终，这导致量化范围的边界被少数受偏差主导的极端值所控制。

二、追根溯源：偏差从何而来

均值偏差的产生与放大是一个逐层累积的链式反应，主要分为三个阶段。

首先是偏差的“初始化”。在词嵌入层，自然语言中词汇频率的极度不均衡导致高频词（如“的”、“是”）获得更多梯度更新。这使整个词表向量在训练早期就形成了一种共同的背景偏移方向。

其次是偏差的“层内再生与放大”。即便输入均值为零，模型中广泛使用的非对称激活函数（如ReLU、SwiGLU）也会在输出端重新引入正的均值偏移。同时，自注意力机制会倾向于关注那些与当前主导方向一致的特征，从而指数级放大这种一致性。

最后是偏差的“跨层累积”。残差连接本为缓解梯度消失设计，却也成为了偏差传递的高速通道。每一层产生的均值偏差被保留并传递至下一层，随着网络深度增加，偏差如雪球般累积，最终在深层形成数值上的极端激活。

三、数学揭秘：偏差如何主导极值

为定量揭示均值偏差的主导作用，研究团队对激活矩阵进行了正交分解：均值分量、尖峰分量与尾部残余分量。

分析表明，在绝大多数情况下，那些绝对值最大的异常激活值，其主要贡献源正是均值分量。随着训练进行，均值偏差对极值的贡献比例持续上升，后期几乎完全决定了量化范围的边界。

团队通过三条定理从理论上确立了这种主导性的必然：
1. 元素级极值主导性：存在确定性均值偏移时，单个坐标超出量化阈值的概率保持恒定，而非随阈值升高呈指数衰减。
2. 密集极值放大效应：均值偏差能在大量样本中产生密集的极值分布，这与随机波动产生的稀疏异常点截然不同。
3. 高维极值分离：在高维空间中，受均值影响的坐标最大值，其理论上限远高于纯随机波动所能达到的水平。

这些理论证明，一旦表示空间中形成一致的均值分量，它便会自然接管量化动态范围的控制权。

四、化腐朽为神奇：A veris方法的智慧

基于“简单问题，简单解决”的思路，团队提出了A veris方法。其核心是“分离与量化”：在量化前，将激活矩阵分解为均值向量与去均值后的残差矩阵，然后对两者分别进行4位量化。

具体操作高效而优雅：前向传播时，计算激活矩阵的行均值并减去，对均值向量和残差矩阵独立量化；反向传播时，对梯度进行对称的分解处理以保持一致性。A veris的计算开销极低，仅涉及均值计算和矩阵减法，远低于需要奇异值分解的复杂方案，且对GPU架构高度友好。

五、实验验证：理论照进现实

在Qwen-3 0.6B模型上的实验采用了极具挑战性的W4A4G4全4位量化配置。

结果对比显著：传统4位量化导致训练损失剧烈波动且性能恶化；应用A veris后，训练曲线趋于稳定，损失与16位基准的差距大幅缩小。在涵盖常识推理与阅读理解的七项下游任务评估中，模型平均性能从45.64%提升至46.61%。在如此激进的量化设定下，这一提升具有实质性意义。

消融实验证实，性能增益确实源于均值偏差的移除。分析显示，A veris有效约束了极值的产生，使激活分布更匹配有限的量化区间。

六、突破的意义：重新定义AI训练的游戏规则

这项研究的价值超越了单一的算法改进。

在理论层面，它扭转了将训练不稳定性归因于复杂高维结构的传统观点，将研究焦点锚定在更本质的一阶统计量上，为低精度训练理论提供了更清晰的路径。

在工程实践上，A veris为高效的低精度AI训练铺平了道路。其低开销与硬件友好特性，能显著降低大模型训练与部署的算力成本，推动更轻量、更强大的AI模型普及。

更深层次看，研究揭示了“祸福相依”的技术哲学。引发问题的“均值偏差之咒”，在被透彻理解后，反而成为了设计稳定量化方案的“祝福之钥”。这种视角转换极具启发性。

其影响可能更为广泛：类似的均值偏差问题很可能普遍存在于图像、语音等领域的低精度任务中，A veris的分离量化思路具备跨模态潜力。同时，该研究为未来专用AI硬件（如原生支持均值-残差计算的芯片）提供了设计新思路，并增强了对模型内部数值行为的可解释性。

这项研究的方法论启示或许最为宝贵：当领域趋向复杂化探索时，回归问题本源，往往能发现那个简洁而有力的真相。在AI技术快速迭代的进程中，关键突破有时并非源于更复杂的构造，而是源于对核心矛盾那一次精准的洞察。

Q&A

Q1：均值偏差是什么，为什么会导致AI训练不稳定？
A：均值偏差是模型激活值在特定方向上出现的系统性、一致性偏移。在进行4位等低位量化时，有限的数值表示范围会被这些偏差产生的极端值所占据，导致大量具有细微差别的信息被压缩至狭窄区间甚至丢失，从而引发梯度异常与训练震荡。

Q2：A veris方法如何解决均值偏差问题？
A：A veris采用“先分离，后量化”的策略。它在量化前，将数据分解为均值分量和去均值后的残差分量，并对两者进行独立量化。这避免了单一均值偏差主导整个动态范围，确保了量化过程的数值稳定性，且额外计算成本极低。

Q3：这项研究对普通人使用AI有什么意义？
A：该技术能大幅降低运行先进AI模型所需的计算资源。这意味着未来在智能手机、物联网设备等终端上，可以直接部署更强大的本地AI功能，同时云端AI服务的成本与能耗也将下降，最终使更高效、更易获得的AI应用成为可能。