扩散语言模型如何改变文本生成：并行、双向与可控性突破
扩散语言模型的核心机制：从加噪到去噪
扩散语言模型（Diffusion Language Models, DLM）不再像GPT那样一个词一个词地“猜”下去，而是采用一种更接近图像生成的方式：先把一段干净文本逐步“污染”成噪声，再训练模型学会一步步把它还原回来。这个思路源自Stable Diffusion等图像模型的成功，但迁移到离散的文本世界并不简单。
前向扩散过程负责破坏原始文本。一种常见做法是使用掩码（mask）或随机替换词汇，在多个时间步内逐渐将原文变成无意义的符号序列。更精细的方法如D3PM（离散去噪扩散概率模型）则设计了复杂的转移矩阵，让每个词以特定概率变成其他词，从而模拟连续的噪声注入过程。
真正关键的是反向过程——模型要从高度噪声化的输入中重建出原始语义。这里不是预测“下一个词”，而是估计“当前这堆乱码原本应该是什么”。2024年提出的SEDD（Score Entropy Discrete Diffusion）在此基础上做了重要改进：它不直接建模概率分布，而是学习数据点之间的相对得分（比如p(y)/p(x)），绕开了归一化常数的计算难题，最终在困惑度指标上比早期扩散方法提升了25%到75%。
架构创新：让Transformer适应扩散流程
现代DLM大多基于Transformer，但做了针对性调整。典型的“扩散Transformer”（DiT）会在每一层引入时间步信息，通常通过正弦位置编码和自适应层归一化（adaLN）实现。这样模型就能根据当前处于去噪的哪个阶段，动态调整注意力和前馈网络的行为。
2025年2月发布的LLaDA（80亿参数）是首个从零训练的大规模DLM。它采用掩码扩散策略：训练时随机遮盖一部分词，模型一次性预测所有被遮盖的位置。这种设计天然支持双向上下文，也让它在“反转任务”上表现突出——比如当训练数据只有“A指导了B”，传统模型很难生成“B的导师是A”，而LLaDA能轻松应对。
另一条路径是混合架构。HART（Hybrid Autoregressive Transformer）先用自回归方式搭出文本骨架，再用扩散模型细化局部内容。实测显示，这种组合在保持质量的同时，吞吐量提升4.5到7.7倍，延迟降低3到6倍，算是目前效率和效果平衡得较好的方案。
2024–2025：性能突破的关键一年
过去一年，DLM从实验室走向实用的关键节点接连出现。谷歌在2025年I/O大会上公布的Gemini Diffusion首次证明，扩散模型可以达到商业部署所需的性能水平。它每秒能生成1479个token，速度是同类自回归模型的五倍。
不过细看指标会发现差距依然存在。Gemini Diffusion在编程任务（LiveCodeBench得分30.9%）上略胜Gemini 2.0 Flash-Lite（28.5%），但在高阶推理（GPQA Diamond仅40.4%，对比56.5%）和综合知识（Global MMLU 69.1% vs 79.0%）上仍有明显短板。这说明对于需要多步逻辑推演的任务，逐字生成的“思维链”可能仍有不可替代的优势。
学术界也在快速推进。SEDD拿下ICML 2024最佳论文，其实际版本用1/32的网络调用次数就达到了比GPT-2好6到8倍的生成质量。而港大团队的DiffuGPT和DiffuLLaMA则展示了另一种思路：把已有的自回归模型“转换”成扩散模型，只需不到2000亿token的微调数据，为现有模型资产提供了升级路径。
相比自回归模型的三大优势
首先是并行生成能力。虽然DLM需要多次迭代去噪，但每次迭代都能同时更新所有位置的词，不像自回归必须等前一个词输出才能算下一个。这对长文本生成尤其有利，理论上可大幅缩短端到端延迟。
其次是双向上下文建模。自回归模型因因果掩码限制，只能看到左侧历史；而DLM在去噪时能看到整个序列的当前状态，相当于拥有全局视野。这不仅提升了整体连贯性，还天然支持文本编辑、填空等操作——你可以在中间插入占位符，模型会根据前后文协同填充。
第三是精细可控性。由于生成是逐步优化的过程，用户可以在每一步干预，比如指定风格、情感或事实约束。已有实验表明，Diffusion-LM能同时控制六个不同属性（如正式度、长度、关键词等）。此外，去噪步数本身就是一个“质量滑块”：步数越多结果越精细，越少则越快，灵活适配不同场景需求。
最令人意外的是，DLM似乎绕开了困扰自回归模型多年的“反转诅咒”。LLaDA在反转诗歌补全任务上甚至超过了GPT-4o，说明其对语义关系的建模更接近人类的双向理解，而非单向预测。
当前面临的四大挑战
尽管前景广阔，DLM离全面替代自回归模型还有距离。首当其冲的是计算效率问题。虽然理论上有并行优势，但实际实现中多次迭代带来的开销往往抵消了收益，多数DLM的总计算量仍是优化后自回归模型的2到10倍。
训练复杂度也更高。噪声调度、损失加权、正则化策略都需要精细调参，稍有不慎就会导致训练不稳定。而且文本是离散的，强行套用连续空间的扩散数学（如高斯噪声）会产生“离散-连续鸿沟”，必须依赖score matching或嵌入空间映射等技巧弥补。
在复杂推理任务上，DLM的表现仍落后于顶尖自回归模型。多跳问答、数学证明等需要严格步骤依赖的场景，似乎更适合逐字推进的生成方式。目前DLM更擅长需要整体协调的任务，比如写故事、生成代码片段或结构化报告。
最后是基础设施适配问题。现有推理框架（如vLLM、TensorRT-LLM）高度优化了KV缓存等自回归特性，而DLM的迭代式生成无法直接复用这些加速手段。部署DLM往往需要定制服务系统，增加了工程成本。
竞争格局：学术与工业界齐头并进
目前DLM生态呈现多元发展态势。斯坦福的SEDD奠定了离散扩散的理论基础，港大团队则通过Diffu系列验证了大规模可行性。谷歌DeepMind凭借Gemini Diffusion走在商业化前列，虽仍在测试阶段，但已证明性能对齐的可能性。
开源社区也在快速跟进。LLaDA、SEDD参考实现、DiffuLLaMA等模型均已公开，让普通研究者无需千亿级算力也能探索DLM。这种开放性加速了算法迭代，比如近期出现的AR-Diffusion就结合了自回归的高效与扩散的可控，成为新的研究热点。
值得注意的是，行业并未押注单一路径。谷歌、Meta等大厂同时推进纯扩散、混合架构甚至流式扩散等多种方案，说明技术路线尚未收敛。未来几年很可能是多种范式共存，各自占据适合的应用场景。
未来方向：不止于文本生成
DLM的潜力远超纯文本。在多模态领域，VideoLLaMA 2和SyncFlow已尝试用扩散框架同步生成音视频和字幕，利用其并行协调能力实现跨模态对齐。这种“一次生成、全局一致”的特性，比逐帧或逐句拼接的方案更具潜力。
提升效率也是重点。将Mixture of Experts（MoE）或状态空间模型（SSM）融入DLM架构，可能在不牺牲质量的前提下降低计算负担。而“流匹配”（flow matching）等新采样方法，有望将去噪步数从几十步压缩到个位数，逼近实时交互的需求。
科学应用可能是突破口。DLM的双向建模和迭代优化特别适合生成结构化内容，比如科研论文、实验报告或分子结构描述。已有初步实验显示，扩散模型在生成符合化学规则的分子式上优于传统方法，未来或成为AI for Science的重要工具。
长远看，如果专用硬件（如针对迭代去噪优化的AI芯片）和流式算法取得突破，DLM完全可能进入对话系统。届时，用户不仅能获得更快响应，还能在生成过程中动态调整语气、事实细节甚至逻辑强度——这才是真正意义上的“可控AI”。