连续自回归生成
语音生成长期依赖离散token自回归范式，但向量量化带来的信息损失构成了音质天花板，连续自回归范式的诞生正是为了绕过这一离散瓶颈，在连续潜在空间中直接预测语音表示。
DeepMind的van den Oord等人发表WaveNet，首次将深度自回归模型用于原始音频波形生成，以每秒16000次的粒度逐点预测离散化的μ-law样本值。WaveNet证明了自回归建模能产出远超拼接合成的自然度，但其推理速度极慢（生成1秒语音需数分钟），且本质上是在离散化的波形空间做分类——256类softmax。这一工作奠定了"自回归是高质量生成之钥"的行业共识，也暴露了在原始波形空间做自回归的效率困境。
Google的Wang等人提出Tacotron（2017）和Tacotron 2（2018），将自回归目标从波形转移到梅尔频谱图——一个80维的连续向量序列。模型在每步预测一帧连续梅尔频谱，用L2回归损失训练，再由WaveNet/WaveGlow声码器转换为波形。这是连续值自回归在语音合成中的首次大规模成功。然而，Tacotron暴露了连续自回归的核心难题：exposure bias（训练时输入真实帧，推理时输入预测帧，误差逐帧累积导致跳帧、重复、漏字）。为缓解此问题，研究者引入了scheduled sampling、attention alignment约束等技巧，但问题从未根本解决。
随着VQ-VAE（van den Oord, 2017）理论成熟和SoundStream（Google, 2021）、EnCodec（Meta, 2022）等神经音频编解码器的工程化，语音生成转向离散token自回归。标志性工作是微软的VALL-E（2023年1月），将语音量化为多层残差向量量化（RVQ）的离散token序列，然后用类GPT的Transformer自回归生成。这一范式完美复用了大语言模型的成熟生态——Transformer架构、大规模预训练、nucleus采样等，迅速成为主流。但离散化的代价逐渐显现：量化误差导致音质上限受限（尤其在低比特率时）、码本利用率低（codebook collapse）、多层RVQ增加了架构复杂度和推理延迟。
研究者开始系统反思离散化的必要性。MELLE（Mitsui等, 2024）首次在连续梅尔频谱空间做大规模自回归语音生成，用高斯混合模型（GMM）替代交叉熵损失，证明连续AR在音质和自然度上可以匹敌甚至超越离散方案。同期，扩散模型和流匹配（Flow Matching）的成功为连续AR提供了新的每步分布建模工具——不再局限于简单的L2回归或GMM，而是用小型扩散/流匹配模型精确建模每帧的条件分布。CosyVoice 2（阿里, 2024）采用连续潜在空间+流匹配的架构，在工业级TTS中验证了这一路线的可行性。
dots.tts（2026）代表了这一范式的成熟形态：20亿参数的连续自回归基础模型，通过多目标AudioVAE构建语义结构化潜在空间，自回归Transformer在该空间中逐帧预测连续向量，配合优化的训练策略实现了与离散方案相当甚至更优的性能。同期F5-TTS、MaskGCT等工作也在连续潜在空间上取得突破，标志着连续自回归从实验性方案正式进入工业部署阶段。
设语音经AudioVAE编码为连续潜在序列 $\mathbf{z} = (z_1, z_2, \dots, z_T)$，其中 $z_t \in \mathbb{R}^d$ 为第 $t$ 帧潜在向量。自回归模型建模联合分布：$p(\mathbf{z}|c) = \prod_{t=1}^{T} p_\theta(z_t | z_{
连续自回归TTS的整体逻辑是：先用AudioVAE将语音压缩到语义结构化的连续潜在空间，再用因果Transformer在该空间中逐帧自回归预测连续向量，最后用解码器将连续向量还原为波形。
①该步将原始语音波形（或梅尔频谱）编码为低维连续潜在序列 $z_1, \dots, z_T$。编码器通常采用多层卷积下采样结构，将24kHz波形压缩至25-50Hz帧率、16-64维的潜在向量。②为什么不直接在梅尔频谱上做自回归？因为梅尔频谱是80维且帧间相关性复杂，直接回归容易过拟合局部模式。AudioVAE通过瓶颈结构迫使模型学习紧凑表示，且通过语义对齐损失（与HuBERT/W2V-BERT特征的余弦相似度）确保潜在空间的语义结构——同一音素的不同发音在潜在空间中聚集，不同音素之间有清晰边界。这使得后续自回归预测变成一个"语义平滑"的序列预测问题，大幅降低建模难度。③关键参数：KL正则系数 $\beta$ 需精心调节（典型值0.01-0.1），太大导致潜在空间过度正则化丢失细节，太小导致空间不规则难以预测。潜在维度 $d$ 的选择是信息保留与预测难度的权衡：$d=16$ 时压缩激进但可能丢失说话人细节，$d=64$ 时信息充分但自回归预测更困难。
①该步用因果Transformer接收文本token和已生成的连续潜在向量，输出下一帧的连续向量或其分布参数。文本通过独立编码器转换为隐状态序列，与语音潜在向量通过交叉注意力或前缀拼接融合。②为什么用因果Transformer而非RNN？因果Transformer在训练时可并行处理所有时间步（teacher forcing），训练效率远高于RNN；推理时通过KV缓存实现 $O(1)$ 每步计算（不含注意力），与LLM推理完全一致。③与离散token AR的关键区别在于输出头：离散AR用softmax+采样，连续AR用线性投影输出 $\hat{z}_t \in \mathbb{R}^d$（回归方案）或GMM参数 $(\pi, \mu, \Sigma)$（混合模型方案）或流匹配条件向量 $h_t$（流匹配方案）。dots.tts采用多层MLP输出头而非单层线性投影，增强非线性拟合能力。④关键细节：dots.tts使用20亿参数Transformer，支持30秒以上语音的上下文窗口。位置编码采用RoPE以支持长度外推。
①该步通过多种技巧缓解训练-推理不一致（exposure bias）。②为什么连续AR的exposure bias比离散AR更严重？离散AR中，即使预测的token有误，它仍是码本中的合法token，偏差是"跳到另一个合法状态"；连续AR中，预测误差是连续空间中的任意偏移，可能将后续预测推向训练分布之外，导致雪崩式退化。③具体策略包括：(a) 输入扰动——训练时对真实 $z_t$ 添加小幅高斯噪声 $z_t' = z_t + \sigma\epsilon$ 再输入模型，模拟推理时的预测误差，$\sigma$ 通常为0.01-0.1；(b) scheduled sampling——以概率 $p$ 使用模型自身预测替代真实输入，$p$ 在训练过程中从0线性增长到0.2-0.5；(c) 序列级损失——除帧级回归损失外，增加对整段语音的感知质量评估（如可微PESQ近似），防止局部最优但全局不连贯。④dots.tts还引入课程学习：先在短语音（2-5秒）上训练至收敛，再逐步扩展