英伟达软件优化实测：无需升级GPU，性能提升高达2.8倍

混合专家模型（MoE）的稀疏激活特性，在提升推理效率的同时，也带来了专家间通信的固有挑战。NVIDIA通过其软件栈的深度优化，特别是程序化依赖启动和全对全通信原语的革新，在三个月内将GB200平台的单GPU推理吞吐量提升了2.8倍，充分释放了Blackwell架构的硬件潜能。

2026年1月的数据证实，基于Blackwell架构的推理软件栈关键升级，为MoE模型带来了阶跃式的性能突破。单GPU吞吐量实现2.8倍增长，直接转化为可观的推理成本降低。

GB200 NVL72：为MoE而生

软件优化为何能带来如此显著的性能飞跃？答案在于MoE模型独特的计算模式。

以DeepSeek-R1为例，这个6710亿参数的稀疏MoE模型，每次前向传播仅激活约370亿参数。这种动态路由机制虽然节省了计算量，却对系统提出了严苛要求：专家模块间需要频繁进行低延迟的数据交换，同时预填充（计算密集型）与解码（内存密集型）阶段对资源的需求截然不同。传统架构极易在此遭遇通信瓶颈或精度损失，形成性能天花板。

NVIDIA的策略是，在其强大的硬件基础上，通过精准的软件优化来扫清这些障碍。

图1：GB200 NVL72机柜

GB200 NVL72机架级平台是此次性能突破的硬件基础。它通过第五代NVLink互连72块Blackwell GPU，提供高达1800GB/s的双向带宽。这一设计专为MoE的稀疏通信模式优化，如同为众多专家模块构建了超高速数据通路，彻底消除了专家间通信的瓶颈。

软件层面的核心创新之一是NVFP4四比特浮点格式。相较于传统FP4，NVFP4采用了NVIDIA自研的数值分布优化算法，在实现高压缩比的同时，最大程度地保持了模型精度。这对于MoE模型至关重要，能有效防止因精度下降导致的路由决策错误。结合Blackwell架构中硬件级的NVFP4加速单元，模型得以在低精度下高效运算，同时获得优于其他FP4格式的准确性。

图2：在 HGX B200 上，开启NVFP4与FP8时的吞吐量与交互性曲线对比

此外，“分解服务”策略进一步挖掘了GB200的潜力。该策略将计算密集的预填充阶段与内存密集的解码阶段，调度到不同的GPU组上执行。借助NVLink Switch的灵活拓扑，实现了计算资源与内存资源的解耦，避免了单一资源类型成为整个推理流水线的短板。

软件引擎：TensorRT-LLM三个月狂飙2.8倍吞吐

如果说硬件提供了坚实的基础，那么软件优化则扮演了精细调校的引擎角色。NVIDIA TensorRT-LLM开源库近期的关键更新，直接驱动GB200 NVL72运行DeepSeek-R1的单GPU吞吐量，在三个月内实现了2.8倍的跃升。

这主要归功于三项核心优化：

1. 程序化依赖启动（PDL）：通过减少内核启动延迟，使GPU保持更高的利用率。尤其在追求高吞吐、低交互性的推理场景中，显著降低了GPU的空闲等待时间。

2. 底层内核优化：针对Blackwell Tensor Core的微架构特性，重构了计算流水线，提升了核心计算单元的利用效率。

3. 全对全通信原语革新：优化了通信模式，消除了接收端的中间缓冲区，直接降低了数据传输延迟。这对于MoE模型中频繁的专家间通信而言，效果尤为显著。

正是这三项软件层面的创新协同作用，使得GB200平台运行DeepSeek-R1的性能，相比2025年10月的基线版本获得了巨大提升。

图3：软件更新给GB200带来的性能提升

随着AI应用对实时性要求的提高，从聊天对话到代码生成，用户对低延迟的期待日益增长。吞吐量的倍增，直接意味着更快的响应速度和更流畅的用户体验。

小机柜也适用：HGX B200也能高效运行DeepSeek

当然，并非所有部署都需要GB200 NVL72这样的超大规模平台。对于采用风冷部署的企业或云服务商，NVIDIA HGX B200（8卡Blackwell平台）同样展现了卓越的性能。其关键在于多token预测（MTP）技术与NVFP4格式的组合应用。

传统自回归推理逐token生成，存在严重的序列依赖。MTP技术通过预测多个候选token序列，让GPU在一次计算中完成多个生成步骤，相当于在解码阶段实现了“批量处理”，显著提升了计算效率。

图4：MTP及不同精度带来的性能提升

实测表明，在多种输入/输出序列长度组合下，MTP均能有效提升吞吐量。在对交互性要求极高（即延迟约束更严格）的场景中，其收益更为明显。

当MTP与NVFP4结合时，性能增益被进一步放大。NVFP4不仅通过4比特精度降低了内存带宽压力，更依托Blackwell张量核心实现了高效计算。结合TensorRT-LLM与TensorRT Model Optimizer的全栈支持，HGX B200在维持模型精度的前提下，其吞吐性能曲线随着MTP+NVFP4的启用持续向右上方移动——这意味着在同等延迟要求下可服务更多并发请求，或在同等负载下提供更低的响应延迟。

对于企业用户而言，现有的Blackwell GPU通过软件栈升级即可获得高达2.8倍的吞吐提升，这相当于一次高效的“免费扩容”，显著延长了硬件投资的生命周期。对于AI开发者，TensorRT-LLM提供的高级API与对PyTorch架构的原生支持，在易用性和扩展性之间取得了平衡，降低了底层性能优化的门槛，让开发者能更专注于模型设计与应用创新。

这种“不依赖硬件换代即可实现性能跃升”的能力，凸显了NVIDIA在专业计算领域的深厚积累。Blackwell架构与TensorRT-LLM软件生态的紧密结合，在应对MoE模型推理挑战时，精准地平衡了高精度、低延迟、高吞吐与低成本等多重目标。这再次证明，NVIDIA的核心优势不仅在于顶尖的芯片设计，更在于那套能够深度挖掘硬件每一分潜力的、强大而成熟的软件生态系统。