多令牌并行预测
自回归生成天然是串行的——每个token依赖所有前驱token，这使得生成速度受限于序列长度乘以单步前向延迟，多令牌预测的根本动因就是打破这一串行瓶颈。
Gu et al. 在 ICLR 2018 提出 Non-Autoregressive Transformer (NAT)，首次尝试一次性并行生成所有目标token。其核心思路是用"生育率"(fertility)预测每个源词对应几个目标词，然后所有目标位置独立解码。NAT将翻译速度提升了15倍，但BLEU分数显著下降。根本原因是"多模态问题"——同一句话有多种合理翻译，独立预测各位置会产生不一致的拼凑结果（如前半句用正式语体、后半句用口语）。这一工作确立了一个关键认知：朴素的并行化会牺牲质量，必须设计精巧的验证或一致性机制。
Leviathan et al.（Google，ICML 2023）和 Chen et al.（DeepMind，2023）几乎同时独立提出 Speculative Decoding。核心洞见极其优雅：用一个小型"草稿模型"快速自回归生成$k$个候选token，再用大型"目标模型"一次前向传播并行验证这$k$个token。通过精心设计的拒绝采样方案，输出分布与目标模型完全一致——即加速是无损的。Google随即将其部署于PaLM推理服务，实现了2-3倍的吞吐提升。这一方法的精妙之处在于它将"生成"和"验证"的计算不对称性转化为速度优势：验证$k$个token的成本接近生成1个token（因为可以并行计算注意力）。
Cai et al. 提出 Medusa，在目标模型自身上添加多个轻量预测头，每个头预测不同未来位置的token。这消除了对独立草稿模型的需求，简化了部署。Medusa-2进一步引入树状注意力结构，将多个候选序列组织为树，一次前向传播验证整棵树的所有路径，大幅提高了接受率。
Gloeckle et al.（Meta AI，ICML 2024）做出了范式转换：不仅在推理时使用多令牌预测，更将其作为预训练目标。他们在模型上添加4个预测头，训练时同时优化next-1、next-2、next-3、next-4 token的预测损失。实验表明，MTP训练在所有模型规模上都一致改善了下游任务性能，尤其在代码生成和数学推理上提升显著。这揭示了MTP的深层价值：迫使模型学习更具前瞻性的内部表示。
DeepSeek V3（671B MoE）将MTP作为核心训练目标之一，在超大规模上验证了其有效性。训练时的MTP头在推理时直接复用为投机解码的草稿头，实现1.8倍加速，完美统一了训练收益和推理收益。
FlashTTS等工作将MTP引入流式TTS，语音token的自回归生成是流式合成的延迟瓶颈，MTP结合流蒸馏将端到端延迟压缩至百毫秒级，使高质量实时语音生成成为现实。
标准自回归模型建模 $p(x_t | x_{
多令牌预测的整体逻辑是：在训练阶段通过多头损失迫使模型学习前瞻性表示，在推理阶段通过"快速草拟—并行验证"的两阶段流程将串行生成转化为部分并行。
在backbone Transformer之上添加 $k$ 个独立预测头。每个头通常包含一个额外的Transformer层（用于捕获位置特定信息）加一个线性输出投影。第 $j$ 个头负责预测当前位置之后第 $j$ 个token。为什么不用单一头预测所有未来token？因为不同距离的预测依赖不同粒度的信息——next-1更依赖局部语法约束，next-4更依赖高层语义规划，独立的头允许各自学习适合的特征变换。DeepSeek V3的实现中，每个MTP头还接收前一个头的预测embedding作为输入，形成级联结构，使后续头能利用前序头的预测信息。关键参数：头数 $k$ 通常取4-8，实验表明 $k=4$ 已能获得大部分训练收益，继续增加收益递减但训练显存线性增长。
MTP训练需要与标准自回归不同的注意力掩码。第 $j$ 个头在预测 $x_{t+j}$ 时只能看到 $x_{\leq t}$，不能看到中间的 $x_{t+1},...,x_{t+j-1}$。这与标准因果掩码不同——标准掩码允许位置 $t+j$ 看到所有 $x_{
推理阶段，$k$ 个头各自输出 top-$m$ 个候选token，组织为一棵候选树。例如 $k=3, m=2$ 时形成深度3、每层分支2的树，共 $2^3=8$ 条候选路径。将树展开为一个序列，构造树状注意力掩码（每个节点只attend其祖先），用一次前向传播同时计算所有节点的目标概率。然后从根到叶逐层执行拒绝采样，选择最长的被接受路径作为本轮输出。为什么用树而非单条序列？因为第一个头的 top-1 可能被拒绝，但 top-2 可能被接受；树结构允许在每个分支点保留多个候选，显著提高至少接受一条长路径的概率。关键权衡：树的宽度 $m$ 和深度 $k$ 增大会提高接受率，但也增加验证的计算量（注意力的序列长度