大语言模型最熟悉的工作方式，是从左到右逐个预测下一个 token。它简单、稳定，也带来了一个根深蒂固的限制：后一个 token 必须等待前一个 token，生成天然是串行的。
Google DeepMind 发布的实验性开放模型 DiffusionGemma，尝试换一条路。它不再逐字“接龙”，而是把一整块文本当作需要反复修正的画布，通过离散扩散逐步去噪。每轮可以并行处理最多 256 个 token，让文本像扩散模型生成图片一样，从模糊轮廓逐渐收敛为完整答案。
从“下一个 token”到“整块文本”
传统自回归模型在每一步只确定一个新 token。即使 GPU 拥有大量并行计算单元，解码阶段仍需要频繁读取模型权重，瓶颈往往落在内存带宽上。
DiffusionGemma 先建立一个 256-token 的“画布”，再让解码器用双向注意力同时观察画布中的所有位置。采样器反复预测、保留高置信 token，并重新去噪不确定的位置，直到整块文本稳定下来。
这带来两个关键变化：
- 同一画布中的 token 可以相互参考，而不只是查看左侧上下文；
- 已经写入画布的内容仍可在后续步骤中修正，不必像自回归模型那样一次提交、无法回头。
对于超过 256 token 的输出，模型仍以块为单位向前推进：完成一块后，将其写入 KV Cache，再生成下一块。因此它并非一次完成无限长度文本，而是采用“块自回归 + 块内扩散”的混合路线。
为什么它会更快
并行处理整块 token，把推理负载从偏内存带宽的串行解码，转向 GPU 更擅长的密集并行计算。Google 表示，DiffusionGemma 在单张 NVIDIA H100 上可超过每秒 1,000 个 token，在适合的单用户、小批量场景中，输出速度最高可达到同级自回归 Gemma 模型的约 4 倍。
模型本身基于 Gemma 4 的 MoE 架构：总参数约 252 亿，但每一步只激活约 38 亿参数。量化后可落入高端消费级 GPU 的显存范围，这让它不仅是数据中心里的速度实验，也具备本地运行的现实意义。
速度之外，双向注意力更值得关注
“每秒多少 token”最吸睛，但 DiffusionGemma 更有意思的地方，可能是它能在生成过程中看见整块答案。
这种机制天然适合非线性任务：
- 代码补全：同时参考缺口之前和之后的代码；
- 行内编辑：修改句子中部时兼顾全局结构；
- 结构化输出：在生成过程中检查括号、标签和格式是否闭合；
- Agent 循环：更快地产生短计划、工具参数或中间结果；
- 本地助手：在低并发的个人设备上提高硬件利用率。
它还支持文本、图片和视频输入、最长 25.6 万 token 上下文、函数调用与可配置思考模式。开放权重采用 Apache 2.0 许可，可通过 Hugging Face、Kaggle 和 Vertex AI 获取。
代价：它不是全面替代 Gemma 4
并行并不等于没有取舍。Google 公布的模型卡显示，DiffusionGemma 在多项知识、代码、数学和视觉基准上仍低于同规模的自回归 Gemma 4。扩散采样还需要多轮去噪；最终速度取决于任务复杂度、停止条件、硬件和批量大小。
它的优势主要集中在单用户、低到中等批量的低延迟推理。云端服务若同时处理大量请求，自回归模型可以依靠批处理充分利用硬件，扩散解码的相对收益会缩小。换句话说，“最高 4 倍”是特定工作负载下的结果，而不是所有部署方式都能获得的固定加速。
此外，256 token 是画布长度，不代表一次前向传播就最终确定 256 个 token。模型通常需要 12—16 个自适应去噪步骤，复杂任务最多可运行 48 步；每一步只是逐渐锁定更有把握的位置。
文本生成正在出现新的解码路线
DiffusionGemma 的意义不只是一个更快的 Gemma。它证明语言模型的交互体验不必永远受限于逐 token 输出：当模型可以并行起草、全局检查并反复修正一块文本时，代码编辑、结构化生成和实时 Agent 都可能形成新的产品形态。
短期看，它更像面向开发者和研究者的实验模型，而不是通用质量冠军。长期看，它提出了一个重要问题：未来的语言模型是否还需要像打字机一样，一个字一个字地思考？
