离散扩散语言模型
连续扩散模型在图像生成领域大获成功，但自然语言是离散符号序列，高斯噪声无法直接作用于离散token——如何将扩散框架从连续空间推广到离散空间，同时突破自回归模型逐token串行的效率瓶颈，成为这一方向诞生的根本动因。
Sohl-Dickstein et al. 在 ICML 2015 发表 Deep Unsupervised Learning using Nonequilibrium Thermodynamics，首次将非平衡热力学中的扩散过程引入生成建模：定义逐步加噪的前向马尔可夫链，再学习逆向去噪过程以恢复数据。此框架完全建立在连续高斯空间之上，奠定了扩散模型的理论基石，但无法处理词表索引这样的离散数据。
Ho, Jain & Abbeel 的 Denoising Diffusion Probabilistic Models 在图像生成上超越 GAN，引发学界对扩散范式的广泛关注。然而其核心的重参数化技巧（$\epsilon$-prediction）和高斯噪声假设天然适配连续像素值，令研究者意识到：要将扩散用于文本，需要一套全新的离散数学框架而非简单类比。
Austin, Johnson, Ho et al.（Google Brain）在 NeurIPS 2021 发表 Structured Denoising Diffusion Models in Discrete State Spaces（D3PM），这是离散扩散的里程碑。他们用离散马尔可夫转移矩阵替代高斯噪声，定义了 uniform、absorbing state、discretized Gaussian 三种离散前向过程，并推导了离散空间的变分下界（ELBO）。核心贡献在于证明离散扩散在理论上与连续扩散具有对称的数学结构——前向过程由转移矩阵 $Q_t$ 定义，反向过程通过贝叶斯后验精确计算。但此时离散扩散在文本生成质量上仍远逊于自回归模型。
两条路线几乎同时取得关键进展。Sahoo, Arriola et al. 提出 MDLM（Masked Diffusion Language Models），严格证明