4位精度训练技术测评：奥地利IST如何高效优化大模型训练

训练大型语言模型的资源消耗，一直是制约AI发展的核心瓶颈。降低计算精度以提升效率，已成为行业关键研究方向。从16位、8位到如今英伟达推出的4位浮点格式NVFP4，每一次精度压缩都旨在实现数倍的性能跃升。然而，现有4位训练方法普遍面临精度损失问题，其根源在于传统“随机舍入”技术引入了过大的量化误差，导致模型质量难以保障。

一、突破性的“微缩EDEN”技术

针对这一核心挑战，奥地利科学技术研究所（IST Austria）与Red Hat AI的研究团队提出了“微缩EDEN”（MS-EDEN）技术。其创新在于重构了随机性的引入层级：传统方法在单个数据元素层面进行随机舍入，而MS-EDEN则将随机性上移至数据块的缩放因子层面。

具体而言，NVFP4格式将每16个4位数值组织为一个数据块，并共享一个8位缩放因子。MS-EDEN首先对块内数据进行旋转变换，随后对4位数值采用精确舍入，仅对8位缩放因子施加随机性。这种分层处理策略，在严格保证训练过程无偏性的前提下，将量化误差降低了2倍以上，为低精度训练提供了前所未有的稳定性基础。

二、全面的“Quartet II”训练方案

基于MS-EDEN这一基石，研究团队构建了完整的4位训练方案“Quartet II”。该方案针对训练流程的不同阶段进行了差异化优化。

在前向传播阶段，Quartet II采用了一种“四比六”的缩放选择技术。系统为每个数据块动态尝试两种缩放因子（4.0和6.0），并自动选取量化误差更小的方案，从而最大化数据表示的精度。

在反向传播阶段，方案全面应用MS-EDEN技术来处理梯度量化。尽管此过程涉及部分数据的重新量化，但由于MS-EDEN本身极低的误差特性，其带来的精度收益远超计算开销，最终实现了整体训练效果的显著优化。

三、令人印象深刻的实验结果

研究团队在参数量从3000万到19亿不等的多种语言模型上进行了验证。实验结果表明，相较于现有4位训练方法，Quartet II在验证损失上平均改善了20%以上。

更重要的是，在英伟达最新的Blackwell GPU架构上，团队实现了完整的硬件内核支持，最终取得了相对于传统16位训练高达4.2倍的端到端速度提升。在Nanochat等标准基准测试中，Quartet II训练的模型在多项语言理解任务上表现卓越，在逼近16位训练精度的同时，完整保留了其速度优势。

四、技术创新的深层意义

Quartet II的成功标志着一种思维范式的转变：它证明通过精巧的算法设计，可以打破精度与效率的传统权衡，实现双赢。

MS-EDEN技术的核心洞见在于，无偏性与低量化误差并非不可兼得。通过将随机性从元素级提升至块级进行管理，有效维持了统计性质，同时大幅抑制了噪声干扰。这种“分层随机化”的设计思想，为其他机器学习领域的优化提供了新思路。

此外，研究团队为实现该算法专门开发了高性能GPU内核，并辅以“后验范围对齐”等优化技术，将内存带宽开销进一步降低了20%以上，展现了从理论创新到工程落地的完整闭环能力。

五、对未来的深远影响

Quartet II为AI训练的未来发展指明了清晰路径。随着模型规模持续指数级增长，计算效率已成为核心瓶颈。这项研究证实，极低精度训练不仅是可行的，更能成为不牺牲模型质量前提下的效率革命关键。

对产业应用而言，训练成本的大幅下降将直接推动AI服务更加廉价和普及，催生更丰富的应用场景。从能效角度看，计算效率的提升也直接减轻了AI训练的碳足迹，契合全球可持续发展的目标。

对于研究社区，Quartet II的成功扫清了关键障碍，激励人们向更极端的量化技术（如3位、2位训练）探索。这标志着AI发展史上的一个重要里程碑，其突破固有技术权衡的创新精神，将持续推动人工智能向更高效、更普惠的方向迈进。

Q&A

Q1：MS-EDEN技术相比传统随机舍入有什么优势？

传统随机舍入在单个数值级别引入随机性，导致累积误差较大。MS-EDEN将随机性转移至更高层级的缩放因子，在严格保证训练无偏性的同时，将量化误差降低了2倍以上，从根本上提升了4位训练的稳定性与最终模型精度。

Q2：Quartet II训练方案能带来多大的性能提升？

在英伟达Blackwell GPU的硬件支持下，Quartet II可实现相对于16位训练4.2倍的端到端速度提升。在模型质量上，其验证损失比现有主流4位训练方法平均改善超过20%，实现了速度与精度的双重突破。

Q3：NVFP4格式训练对普通用户有什么意义？

最直接的影响是AI模型训练与推理成本的大幅下降，这将促使AI服务价格降低、响应更快、应用更普及。同时，更高的计算能效意味着更环保的AI发展路径，有助于推动整个产业的可持续发展。