神经音频编解码器在生成模型中的大规模普及，催生了一个新的信号取证问题：如何从生成音频中识别出编码器留下的不可见"指纹"——这是数字水印的逆问题，也是信号处理与深度学习交叉的新战场。
在MP3、AAC等有损编解码器普及后，信号处理社区开始研究"编码历史检测"问题。Hany Farid等人在图像取证领域建立了基于统计残差的检测框架：有损压缩会在频域留下可预测的量化噪声模式，通过分析DCT系数的统计分布异常即可判断是否经过压缩。音频领域的类似工作（如双重MP3压缩检测）也在2005年前后出现，核心思想是：任何有损变换都会在信号中留下可统计的痕迹。
SoundStream（Google，2021）、EnCodec（Meta，2022）等基于残差向量量化（RVQ）的神经音频编解码器将音频压缩推向新范式。这些编解码器不再依赖手工设计的心理声学模型，而是用神经网络学习量化码本。关键副作用是：编码器的卷积/注意力层会在频谱上留下周期性的"神经伪影"——这些伪影不同于传统量化噪声，它们是编码器架构归纳偏置的物理印记，频率位置和幅度模式与编码器权重强相关。
随着MusicGen、AudioCraft、Stable Audio等系统将神经编解码器作为生成管道的核心组件，AI生成音乐的检测成为版权和内容真实性的关键问题。早期检测方法（如基于MFCC的分类器）依赖高层语义特征，容易被后处理（重采样、添加噪声）绕过。研究者开始意识到：应当在更底层的物理层面寻找不可抹除的痕迹。
ArtifactNet等工作明确提出"编码器残差"概念：将原始信号与编解码重建信号的差值（残差）作为检测目标，而非直接分析原始信号。这一范式的理论依据是：神经编码器的量化误差在幅度谱图上具有结构化分布，与随机噪声的统计特性显著不同。使用有界掩码UNet从幅度谱图中提取这些残差，参数量仅需360万即可实现高精度检测，远小于通用音频分类模型。
设原始音频信号为 $x \in \mathbb{R}^T$，神经编解码器的编码-解码操作为 $\hat{x} = \text{Dec}(\text{Enc}(x))$，则编码器残差定义为： $$r = x - \hat{x}$$ 在幅度谱图域，设 $S = |\text{STFT}(x)|$ 和 $\hat{S} = |\text{STFT}(\hat{x})|$，残差谱为： $$R = S - \hat{S}$$ ArtifactNet的核心假设是：对于由编码器 $\mathcal{E}_k$ 生成的音频 $x_k$，其残差谱 $R_k$ 满足： $$\mathbb{E}[R_k(f, t)] = \mu_k(f) + \epsilon(f, t)$$ 其中 $\mu_k(f)$ 是编码器 $k$ 在频率 $f$ 处的系统性偏置（由码本量化误差决定），$\epsilon(f, t)$ 是零均值随机噪声。检测器学习一个有界掩码 $M \in [0,1]^{F \times T}$，使得： $$\tilde{R} = M \odot R$$ 其中 $\odot$ 为逐元素乘积。掩码的作用是抑制 $\epsilon$ 主导的频率-时间区域，保留 $\mu_k$ 主导的区域。分类损失为： $$\mathcal{L} = \text{CrossEntropy}(f_\theta(\tilde{R}), y)$$ 有界约束 $M \in [0,1]$ 通过 Sigmoid 激活实现，防止模型放大噪声而非提取信号。这一设计的物理动机是：RVQ码本的量化步长在频域分布不均匀，低频区域量化误差更小，掩码应自适应地关注高信噪比的频率区域。
ArtifactNet的整体逻辑是：先将检测问题从"分析原始音频"转化为"分析编解码残差"，再用轻量UNet在残差谱图上学习编码器特有的频率模式，最终完成溯源分类。
对输入音频 $x$ 先通过目标编解码器（或其近似）做一次编解码得到 $\hat{x}$，计算差值 $r = x - \hat{x}$，再对 $r$ 做STFT得到幅度谱图 $R \in \mathbb{R}^{F \times T}$。这一步的关键设计选择是：为什么不直接分析 $x$ 的谱图？因为原始谱图中音乐内容的能量远大于编码器伪影，直接分类会让模型学到内容特征而非编码器特征，导致跨内容泛化失败。残差操作相当于一个高通滤波器，将内容信号（低频、高能量）大幅衰减，让编码器伪影（结构化、低幅度）浮现。
UNet编码器提取 $R$ 的多尺度特征，解码器输出与 $R$ 同维度的掩码 $M$，通过Sigmoid约束到 $[0,1]$。为什么用掩码而非直接分类？因为残差谱图中并非所有频率-时间位置都携带编码器信息：静音段、瞬态段的残差主要是量化噪声，掩码机制让模型学会"在哪里看"而非"看到什么"，这是一种注意力的物理先验化。有界约束防止了梯度通过放大噪声来欺骗分类器。
将 $\tilde{R} = M \odot R$ 送入分类头（全局平均池化 + MLP），输出各编码器类别的概率。模型参数仅360万，远小于通用音频模型（如CLAP的数亿参数）。轻量化的原因是：掩码已经完成了特征选择，分类头只需处理高信噪比的残差模式，任务复杂度大幅降低。
训练时使用多种编码器（EnCodec、SoundStream、DAC等）的生成音频，测试时评估对未见编码器的泛化能力。关键发现是：不同编码器的残差模式在频率分布上有显著差异（与码本大小、RVQ层数、卷积核尺寸相关），但同一编码器在不同内容上的残差模式高度一致。这验证了"物理指纹"假设：伪影来自架构，而非内容。开集检测通过设置分类置信度阈值实现，低置信度样本标记为"未知编码器"。
实际部署中，生成音频可能经过重采样、MP3压缩、添加背景噪声等后处理。实验表明：RVQ量化伪影在低频区域（<4kHz）的残差模式对MP3压缩（128kbps以上）具有较强鲁棒性，因为MP3的心理声学模型会保留这些频率的精度。但重采样会破坏高频残差，因此掩码机制自适应地降低高频区域的权重。
这一范式直接影响了音频内容真实性验证的工业实践。Spotify、YouTube Music等平台在版权检测管道中面临AI生成音乐的大规模涌入，基于语义的检测（"听起来像AI"）容易被人工混音绕过，而物理残差检测提供了更底层的证据链。Adobe Podcast、Descript等专业音频工具也开始集成类似的编码器溯源功能。更重要的是，这一方法论——"从有损变换的残差中提取系统性偏置"——对图像（GAN指纹、扩散模型检测）和视频取证同样适用，具有跨模态的方法论价值。
当前开放问题包括：①自适应攻击——攻击者可以在生成管道中加入对抗扰动来抹除残差特征，如何设计对抗鲁棒的检测器？②零样本编码器检测——当新编码器出现时，无需重新训练即可检测；③端到端生成模型（如直接波形扩散）不经过显式编解码器，其伪影的物理机制尚不清楚；④多编码器混合生成（如级联系统）的残差叠加分析。