DiffusionGemma深度评测：将推理瓶颈从内存转向算力

2026-06-23阅读 0热度 0

其他

DiffusionGemma 发布后，AI 社区讨论热度持续走高。核心原因在于它直接颠覆了当前 LLM 文本生成的底层逻辑。这一技术动向值得深入拆解。

标准的 Gemma 4 系列沿用自回归解码——逐 Token 顺序生成，每一 Token 依赖前一步结果。DiffusionGemma 则采用离散文本扩散方法，能够并行生成并逐步精炼整段文本，从根本上绕开了长期制约本地 AI 推理性能的关键短板——硬件瓶颈。

要理解 DiffusionGemma 的价值，先要看清传统自回归模型的性能瓶颈在哪里。

单 GPU 本地运行标准 LLM 时，最拖慢速度的通常是内存带宽。每生成一个 Token，都需从内存中完整读取权重矩阵，GPU 张量核心大部分时间处于闲置等待状态，算力无法充分释放。

DiffusionGemma 的策略是将瓶颈从内存带宽转移到算力上。每次前向传播并行起草一个 256 Token 的画布，一次性向处理器投喂更大工作负载，从而真正利用硬件的算术强度。这一架构变化相当于从逐字打印的打字机升级为整块印刷的印刷机，效率提升的根源正在于此。

DiffusionGemma 基于 26B 参数的混合专家模型 Gemma 4，推理时实际调用的参数量约为 3.8B 到 4B。稀疏 MoE 设计使其在保留深度推理能力的同时，经量化后能塞入高端消费级 GPU 的 18GB 显存限制内。

模型采用编码器-解码器架构：自回归编码器处理初始 Prompt 上下文，使用因果注意力，结果存入 KV Cache；双向去噪器在生成画布上应用双向注意力，256 Token 画布上的每个位置都能同时感知其他所有位置的信息，也能参考 KV Cache 中的历史上下文。

当序列超过 256 Token 时，模型启动块自回归扩散机制——完成一个块去噪后提交至 KV Cache，下一个画布以已生成的历史为条件重新开始。这种混合方式将并行扩散的速度与长文本顺序生成的稳定性结合在一起。

整个生成过程是一个迭代去噪循环，与 AI 图像生成器的思路类似，分三个阶段推进：

首先，画布初始化。模型用随机占位 Token 填满一个 256 Token 的块。接着是迭代精炼。经过多轮去噪，置信度高的 Token 先被确定下来，作为全局上下文引导剩余占位符逐步精炼。最后是收敛。所有 Token 逐渐收敛，序列最终形成一段连贯文本。

整块一次性评估带来了自回归模型不具备的能力：自我修正。如果某次传播中某个位置的置信度下降，采样器可对该位置重新加噪并替换。而自回归模型一旦采样某个 Token 就无法回头——这是两种架构之间最实质的技术差异。

最直观的指标是原始生成速度。在实验室专用硬件上的测试结果如下：

与同等硬件上的传统模型相比，Token 生成速度最高提升 4 倍。不过，这些数字在低并发的本地工作流中最具说服力。在请求已批量处理、GPU 算力本就饱和的高流量云环境中，并行解码的优势会减弱，部署成本反而可能上升。

研究人员用数独测试双向上下文的实战价值。数独让自回归模型头疼——网格中每个数字受水平、垂直、宫格三重约束的交叉限制，必须能评估后续位置并在发现冲突时回溯。顺序生成的架构在结构上天然吃亏。

实验结果很有意思：

必须承认，这是实验性发布。整体输出质量目前低于标准自回归 Gemma 4 模型，因此更适合对速度敏感的交互式本地工作流，而非高要求的生产级文本生成任务。

从落地场景看，主要集中在三类：内联编辑与快速迭代等需要实时反馈的场合；非线性文本结构如代码填充、氨基酸序列、数学图（双向上下文在此优势明显）；以及代码生成中的实时渲染和闭合复杂 Markdown 格式。

DiffusionGemma 在技术层面证明了一件事：文本生成确实可以从打字机模式切换到印刷机模式。双向注意力加迭代并行去噪，在专用 GPU 上实现了推理速度 4 倍提升。虽然原始质量尚不及标准自回归模型，但它在解决非线性约束问题上的潜力以及面向本地的高吞吐量，都值得持续关注。

相关阅读