字节跳动AI训练新突破：渐进式学习算法深度测评与实战指南

训练大型语言模型的成本始终是AI领域最核心的挑战之一。数百万美元的计算投入与长达数月的训练周期，构成了极高的准入门槛。然而，字节跳动与北京大学联合团队近期提出了一种范式级的解决方案——让AI模型像生命体一样“渐进式生长”。这一方法可能从根本上重塑大模型的训练经济学。

这项名为SPARKLING（信号保持与对称性破坏的宽度渐进式学习）的研究于2026年2月发布于arXiv。其核心理念极具颠覆性：与其耗费巨资直接训练一个完整规模的巨型模型，不如先构建一个紧凑高效的“种子模型”，并在训练过程中动态、智能地将其扩展至目标尺寸。

传统训练如同一次性浇筑整座摩天大楼，所有资源必须前置投入。SPARKLING则采用了“模块化扩建”策略：先搭建一个功能完备的核心架构，随后在训练中同步进行横向扩展。实验证明，该方法不仅将训练成本削减了35%，其最终模型在多项基准测试中的表现甚至超越了传统方法训练的等规模模型。

“渐进式学习”本身并非新概念。类似于为植物更换更大的花盆，神经网络领域的“深度扩展”（增加网络层数）已有较多研究。然而，“宽度扩展”（增加每层神经元数量）因其固有的技术难题，长期被视为训练效率的瓶颈。

一、为什么AI模型的“增肥”这么困难

理解SPARKLING的突破性，首先要剖析宽度扩展的两大核心障碍：信号失真与对称性锁定。这绝非简单的参数复制，而是涉及神经网络动力学的深层问题。

你可以将一个训练良好的模型视为精密调谐的通信系统。信号失真问题在于，当网络层中突然加入新的神经元时，会破坏各层间已平衡的信号强度分布。这如同在一条稳定传输的管道中接入规格不匹配的部件，导致信息流畸变或衰减，严重拖慢后续学习进程。

对称性锁定则更为棘手。通过复制现有神经元进行扩展时，新参数与旧参数在初始化状态和优化历史中完全一致。这导致它们在训练过程中始终接收到相同的梯度更新，行为模式完全同步，无法演化出差异化的特征表征。最终，模型参数数量翻倍，但表达能力和性能却陷入停滞。

此前的研究表明，粗暴的扩展方法往往在初期带来性能假象，随着训练深入，模型效果甚至会退化至扩展前的水平。这好比仓促扩建的建筑，虽然面积增大，结构完整性与功能性却大打折扣。

二、SPARKLING的核心创新：像调音师一样精确控制

针对这两大顽疾，SPARKLING设计了两套精密的控制机制：信号保持与对称性破坏。其目标是成为模型扩展过程中的“首席调音师”，确保新加入的组件能无缝融入现有体系。

信号保持机制专注于维护网络内部信息流的稳定性。研究团队通过严格的数学推导，为网络每一层的信号强度定义了动态平衡的“黄金区间”。他们提出了一套普适的缩放公式，无论是扩展当前层的输出维度，还是适应上一层的输入维度扩展，都能精确计算出新增参数的初始化方案，确保整体信号的均方根量级始终处于最优范围，从而避免扩展引发的性能震荡。

对称性破坏机制则旨在打破克隆神经元之间的“行为同步”。SPARKLING通过两个关键操作实现这一点：首先进行“优化器状态重置”，清空新增神经元对应的历史动量等状态，使其从零开始积累学习轨迹；其次实施“非对称学习率预热”，为新增部分设定独立于原始参数的学习率调度策略，强制其探索不同的优化路径。这相当于为复制出的“双胞胎”安排差异化的训练课程，促使它们快速形成各自的专业化分工。

三、实验验证：数据说话的成功故事

任何理论创新都需要实证检验。研究团队选择了结构复杂的混合专家模型作为试验场，设计了严格的对比实验。

他们首先训练了一个包含5亿活跃参数的基础模型，在训练中期应用SPARKLING方法将其宽度扩展一倍，随后继续训练。结果极具说服力：在涵盖常识推理、文本理解、数学解题等12项任务的综合评估中，通过SPARKLING“生长”出的模型，其性能全面对标甚至超越了从头训练的等规模大型模型。

经济效益指标更为突出。与传统方法所需的1800万亿次浮点运算相比，SPARKLING仅消耗1170万亿次，直接节省35%的计算资源。训练时间也从209小时压缩至140小时，效率提升显著。该方法在AdamW、Muon等多种主流优化器下均表现稳定，证明了其良好的架构兼容性与鲁棒性。

另一个关键指标是扩展后的“性能恢复速度”。传统扩展方法往往伴随漫长的性能调整期，而SPARKLING扩展后的模型能够迅速适应新结构，损失曲线平滑过渡，极大增强了训练流程的可预测性与工程可控性。

四、技术细节：科学严谨的数学基础

SPARKLING并非经验性的工程技巧，其背后有坚实的理论框架作为支撑。研究团队从高维概率统计的视角，严格推导了神经网络信号传播的稳态条件，并据此构建了信号保持的数学准则。对于对称性锁定问题，他们则从优化动力学的角度，分析了参数与优化器状态双重对称所导致的梯度坍缩现象，并设计了针对性的解耦策略。

这种“理论驱动，实验验证”的研究范式，标志着大模型训练正从依赖大量试错的“经验科学”，向更具可预测性和设计性的“计算工程学”演进。

五、广泛影响：改变AI训练的游戏规则

SPARKLING的潜在影响是生态级的，它可能从多个维度重构AI研发的格局。

经济层面，35%的成本削减直接将百万美元级的大模型训练门槛大幅降低。这使得学术机构、独立研究团队和资源有限的初创公司，获得了参与前沿探索的切实可能性。

技术范式层面，它成功验证了“动态架构学习”的可行性。未来的AI系统或许能够根据任务复杂度与数据流，自主、弹性地调整其模型容量，实现计算资源的按需分配与智能调度。

产业部署层面，企业可以采用“从小开始，随需增长”的部署策略。初期投入小规模基础模型以满足当前需求，伴随业务增长和数据积累，再平滑、无损地扩展模型能力。这种渐进式投资模式显著降低了技术采纳的初期风险与成本压力。

当然，研究团队也指出了当前工作的边界：其主要聚焦于宽度扩展，如何与深度扩展策略优雅协同仍是开放课题。同时，该方法在万亿参数乃至更大规模模型上的泛化能力，有待进一步的探索与验证。

展望未来，SPARKLING所体现的“智能计算”哲学——即通过深刻理解系统内在动力学，以精巧的设计替代蛮力计算——或许是AI技术走向更高效率与更广普及的关键路径。它清晰地表明，在追求模型规模的同时，对训练“智慧”的投入同样能产生巨大的回报。

Q&A

Q1：SPARKLING方法相比传统AI训练能节省多少成本？

根据论文数据，SPARKLING可实现高达35%的训练成本节约，并带来约1.49倍的训练加速。具体表现为：将计算量从1800万亿次浮点运算降至1170万亿次，同时将训练时长从209小时缩短至140小时。

Q2：为什么AI模型扩展会遇到对称性锁定问题？

对称性锁定源于扩展时的参数复制行为。新复制的神经元不仅在初始权重上与源神经元相同，其关联的优化器历史状态（如动量、方差估计）也完全一致。这导致在整个训练过程中，它们接收完全相同的梯度更新，参数更新路径高度耦合，无法发展出功能分化，从而使扩展部分沦为计算冗余。

Q3：SPARKLING方法适用于哪些类型的AI模型？

该研究已在混合专家模型架构上完成了核心验证，测试了隐藏层维度和专家中间维度的扩展场景。实验证明其与AdamW、Muon等多种优化算法兼容，具备良好的通用性。其理论框架具有普适潜力，可迁移至其他基于前馈网络的模型架构进行探索。