扩散模型的生成轨迹天然存在频率分层现象——先恢复低频全局结构、后填充高频细节——但经典采样器对此视而不见，彩色噪声采样正是为弥合这一理论-实践鸿沟而生。
Einstein对布朗运动的数学描述奠定了随机微分方程(SDE)理论基础，白噪声作为各频率等功率的理想化模型被确立；此后数十年，信号处理领域将偏离白噪声的随机过程统称为"彩色噪声"，其功率谱密度$S(f)\propto f^{-\beta}$中$\beta\neq 0$。
NeurIPS论文"On the Spectral Bias of Neural Networks"首次系统证明：全连接网络优先拟合低频分量，高频学习速度显著滞后。这一发现为后续理解扩散模型的频率动态埋下伏笔。
Ho等人的DDPM使用各向同性白高斯噪声作为前向过程的唯一扰动源，反向采样同样注入白噪声。该设计数学简洁但忽略了生成过程中不同频率分量的信噪比差异。
Choi等人提出Perception Prioritized Training，Hoogeboom等人研究Simple Diffusion中的频率缩放，Daras等人的Soft Diffusion用模糊替代噪声——这些工作共同揭示：扩散模型的去噪轨迹本质上是一条从低频到高频的频谱恢复路径。
Karras在"Analyzing and Improving the Training Dynamics of Diffusion Models"中量化了不同噪声水平对应的有效频率带宽，证明大噪声水平主要影响低频、小噪声水平主要影响高频。这为在采样阶段引入频率自适应噪声提供了直接理论依据。
研究者将反向SDE中的白噪声增量替换为具有特定功率谱的彩色噪声，使每一步注入的随机扰动与当前时刻的有效频率带宽匹配，显著减少高频伪影和低频模糊，在图像与视频生成中均获得一致改进。
标准扩散前向过程为 $q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{\bar\alpha_t}\,x_0,\,(1-\bar\alpha_t)I)$，反向SDE为 $dx = [f(x,t)-g^2(t)\nabla_x\log p_t(x)]\,dt + g(t)\,d\bar{w}$，其中 $\bar{w}$ 是标准Wiener过程（白噪声增量，功率谱 $S(f)=\sigma^2$ 对所有频率 $f$ 恒定）。彩色噪声的核心修改：定义频率依赖的噪声协方差。设图像在频域表示为 $\hat{x}(k)$（$k$ 为空间频率向量），引入时变滤波器 $H_t(k)$ 使注入噪声的功率谱为 $S_t(k)=|H_t(k)|^2$。典型选择为 $|H_t(k)|^2 \propto \|k\|^{-\beta(t)}$，其中 $\beta(t)$ 随时间从大值（偏红，抑制高频扰动）向零（趋白）衰减。实现上，在每步采样时对标准白噪声 $\epsilon\sim\mathcal{N}(0,I)$ 做频域滤波：$\epsilon_c = \mathcal{F}^{-1}[H_t(k)\cdot\mathcal{F}(\epsilon)]$，再代入离散化SDE：$x_{t-\Delta t}=x_t - [f(x_t,t)-g^2(t)\,s_\theta(x_t,t)]\Delta t + g(t)\sqrt{\Delta t}\,\epsilon_c$。关键约束：$H_t$ 的设计需保证边际分布仍收敛到数据分布，通常通过调整 score 网络的训练目标或在采样后做校正步来满足。$\beta(t)$ 的调度函数是核心超参数，其最优值与数据集的自然频谱衰减率相关。
整体逻辑：在不改变训练好的去噪网络的前提下，仅修改采样器中噪声注入的频谱结构，使随机扰动与当前去噪阶段的有效频率带宽对齐，避免"在恢复低频时被高频噪声干扰"或"在精修高频时被低频噪声破坏全局结构"。
首先对预训练模型进行频谱探测：在不同噪声水平 $\sigma_t$ 下，计算去噪输出 $\hat{x}_0(t)$ 的功率谱密度，确定每个时刻的"有效恢复频带" $B(t)$。具体做法是对验证集图像加噪后去噪，统计 $|\hat{x}_0(t)-x_0|$ 在各频率上的残差分布。这一步揭示了模型的内在频率调度——例如在 $t=0.8T$ 时模型主要恢复 $\|k\|
根据Step 1的分析结果，设计时变滤波器 $H_t(k)$。核心原则：在时刻 $t$，对已经被模型"锁定"的频段施加较小扰动（滤波器衰减），对尚未恢复的频段允许较大扰动（滤波器增益接近1）。实践中常用分段线性或余弦调度：$\beta(t)=\beta_{\max}\cdot\cos(\pi t/2T)$，使早期（$t$大）噪声偏红（$\beta$大，高频被抑制），后期（$t$小）噪声趋白（$\beta\to 0$）。关键细节：滤波器需归一化使总方差不变，即 $\sum_k|H_t(k)|^2 = \sum_k 1 = N$（$N$为像素数），否则会改变有效步长。
每步采样的计算流程：①生成白噪声 $\epsilon\sim\mathcal{N}(0,I)$；②FFT变换 $\hat\epsilon=\mathcal{F}(\epsilon)$；③逐频率乘以滤波器 $\hat\epsilon_c(k)=H_t(k)\cdot\hat\epsilon(k)$；④IFFT得到彩色噪声 $\epsilon_c=\mathcal{F}^{-1}(\hat\epsilon_c)$；⑤代入SDE离散化公式更新 $x_t$。计算开销：额外一次FFT+IFFT，对于 $256\times256$ 图像约0.1ms（相比去噪网络前向的~50ms可忽略）。为什么在频域操作：空间域的彩色噪声生成需要大卷积核，频域乘法等价且高效。
由于预训练模型是在白噪声假设下训练的，直接替换为彩色噪声会引入分布偏移。解决方案有三种：(a) 预测器-校正器方法：每N步插入一步Langevin校正（使用白噪声），将分布拉回正轨；(b) 重要性加权：对彩色噪声路径的似然做重要性权重补偿；(c) 轻量微调：用彩色噪声前向过程对模型做少量epoch微调（通常<5%原始训练量）。实践中方案(a)最常用，因为无需重训练且效果稳定。关键参数：校正步间隔通常设为每5-10个采样步做一次校正。
对视频扩散模型，彩色噪声需扩展到时空频域 $(k_x, k_y, k_t)$。时间维度的频谱偏置更为显著：低时间频率（全局运动趋势）先恢复，高时间频率（快速动作细节）后恢复。滤波器变为3D：$H_t(k_x,k_y,k_t)$，其中时间频率的衰减率 $\beta_t^{\text{temporal}}$ 通常大于空间频率的 $\beta_t^{\text{spatial}}$，反映视频生成中时间连贯性优先于空间细节的特点。
彩色噪声采样在不重训练模型的前提下提升FID 5-15%，已被集成到多个开源采样器（如k-diffusion、ComfyUI社区节点）。对视频生成尤为关键：时间维度的频谱匹配显著减少闪烁伪影。该方法揭示了一个深层原理——采样器的噪声结构应与生成过程的信息恢复顺序对齐——这一思想将持续影响未来所有基于随机微分方程的生成模型设计。
当前热点：(1)自适应$\beta(t)$调度——让模型自身预测最优频谱参数而非手动设定；(2)与一致性模型(Consistency Model)的结合——少步采样下彩色噪声的收益是否保持；(3)离散token空间的"频谱偏置"类比——语言/音频离散扩散是否存在类似现象。