📚 AI 知识讲堂

2020年扩散模型（DDPM）横空出世，以"加噪→去噪"的马尔可夫链为核心，在图像生成上取得突破。但扩散模型有一个根本性缺陷：推理时需要数百步迭代，每步都要过一遍神经网络，推理极慢。研究者尝试DDIM等加速方案，但本质上仍是在曲折的扩散路径上采样。2022年前后，多个团队（Lipman等、Liu等、Albergo等）几乎同时提出"流匹配"（Flow Matching）思路：与其学习复杂的曲折路径，不如直接学习从噪声到数据的"直线"传输路径。这一思路源于最优传输理论（Optimal Transport），目标是找到代价最小的概率分布变换。Stable Diffusion 3、FLUX、Sora等顶级生成模型已全面转向流匹配，它正在取代扩散模型成为生成式AI的新基础范式。UniGRPO论文中将流匹配用于图像生成分支，正是这一趋势的体现。

流匹配就是训练一个神经网络，学会把"一团随机噪声"用最短的直线路径"推送"到真实数据分布，推理时只需沿这条直线走几步就能生成高质量样本。

流匹配的核心是学习一个速度场 $v_\theta(x_t, t)$，使得从噪声 $x_0 \sim \mathcal{N}(0,I)$ 出发，沿常微分方程 $\frac{dx_t}{dt} = v_\theta(x_t, t)$ 积分到 $t=1$ 时恰好到达真实数据分布 $p_{data}$。训练目标是条件流匹配损失：其中 $x_t = (1-t)x_0 + t x_1$ 是噪声 $x_0$ 与真实数据 $x_1$ 的线性插值，目标速度 $(x_1 - x_0)$ 就是一个常数向量——指向终点的直线方向。这比扩散模型的 score matching 目标 $\|\epsilon_\theta - \epsilon\|^2$ 更简洁，且路径更直，积分步数可以大幅减少（理论上1步即可）。

**第一步：问题定义** 我们有噪声分布 $p_0=\mathcal{N}(0,I)$ 和数据分布 $p_1=p_{data}$，希望找到一个连续变换把 $p_0$ 变成 $p_1$。**第二步：为什么用ODE？** 连续归一化流（CNF）用ODE描述概率流，保证可逆性和精确密度计算，但训练需要模拟整条轨迹，代价极高。**第三步：条件流匹配的关键洞察** 直接回归边际速度场很难，但如果固定一对 $(x_0, x_1)$，条件速度场就是简单的常数 $(x_1-x_0)$，而且可以证明：对条件速度场的回归等价于对边际速度场的回归（期望的线性性）。**第四步：构造训练样本** 随机采样 $t\sim U[0,1]$，采样噪声 $x_0$ 和真实数据 $x_1$，构造插值点 $x_t=(1-t)x_0+tx_1$，用神经网络预测速度 $v_\theta(x_t,t)$ 并与目标 $(x_1-x_0)$ 做MSE。**第五步：推理** 从 $x_0\sim\mathcal{N}(0,I)$ 出发，用欧拉法或Runge-Kutta法积分ODE，由于路径接近直线，4~8步即可得到高质量结果，比扩散模型快10-50倍。

Stable Diffusion 3（2024）和FLUX.1将流匹配作为核心训练范式，生成质量超越SD XL的同时推理速度提升显著。Meta的Movie Gen视频生成模型、字节跳动的即梦AI也采用流匹配。在实际产品中，8步推理即可生成1024×1024图像，使实时交互式生成成为可能。

主要挑战：①最优传输配对（如何在训练时把 $x_0$ 和 $x_1$ 最优匹配以进一步拉直路径）；②离散数据（文本token）上的流匹配扩展；③视频时序一致性建模；④与强化学习结合的对齐训练（UniGRPO正在探索此方向）；⑤单步蒸馏的理论保证。

视频生成模型（如Sora类架构）的核心训练范式；音频生成（DiT-Flow论文）直接用流匹配做语音增强；理解此原理可直接优化推理步数，降低实时音视频生成延迟。

传统音频编解码器（MP3、AAC、Opus）基于心理声学模型和手工设计的变换（MDCT），在低码率下会产生明显的金属音、预回声等伪影。2020年代大语言模型兴起后，研究者希望把音频也变成"token序列"，像处理文字一样用Transformer生成音频——但这需要一种能把连续波形压缩成离散token、又能高保真重建的编解码器。Meta于2022年发布EnCodec，用残差向量量化（RVQ）将24kHz音频压缩到75 token/秒，开创了神经音频编解码器时代。此后AudioCodec、DAC、SoundStream（Google）、Encodec变体层出不穷。OmniCodec论文进一步提出跨语音/音乐/声音的统一低帧率编解码器，并引入语义-声学解耦，代表了该领域的最新进展。这一技术是当前所有音频大模型（AudioLM、VoiceCraft、CosyVoice等）的基础设施。

神经音频编解码器就是一个"极度压缩的翻译器"：把声音波形压缩成一串数字代码（token），任何大模型都能处理这些代码，用完再还原回声音。

核心是残差向量量化（RVQ）。设编码器输出连续向量 $z \in \mathbb{R}^d$，第一层码本 $\mathcal{C}_1=\{e_k\}_{k=1}^K$ 找最近邻：$q_1 = \arg\min_k \|z - e_k\|_2$，残差为 $r_1 = z - e_{q_1}$。第二层对残差再量化：$q_2 = \arg\min_k \|r_1 - e_k\|_2$，以此类推共 $N$ 层。最终表示为 $\hat{z} = \sum_{n=1}^N e_{q_n}^{(n)}$。训练损失包含重建损失、对抗损失和承诺损失：其中 $\text{sg}[\cdot]$ 是停止梯度操作，防止码本塌缩。码率 = 帧率 × 层数 × $\log_2 K$ bits/s。

**问题定义：** 给定原始波形 $x$，要找到紧凑离散表示 $\{q_1,...,q_N\}$ 使重建 $\hat{x}$ 尽量接近 $x$，且token数量尽量少。**步骤一：编码器** 通常是因果卷积网络（如EnCodec用步长为[2,4,5,8]的卷积），将波形下采样320倍，24kHz音频变为75帧/秒的连续向量序列。**步骤二：RVQ量化** 逐层贪心量化，每层用一个独立码本（通常K=1024），N层RVQ可表示 $K^N$ 种组合。关键技巧：码本用指数移动平均（EMA）更新而非梯度，更稳定。**步骤三：解码器** 将量化向量求和后输入转置卷积网络，重建波形。**步骤四：对抗训练** 引入多尺度/多周期判别器（MSBD/MPD），迫使重建波形在感知上逼真，而非仅MSE最小。**语义-声学解耦（OmniCodec创新）：** 第1层RVQ捕获语义信息（音素、音调），后续层捕获声学细节，可分别控制，实现内容与音色的独立操作。**帧率压缩：** OmniCodec目标是12.5帧/秒（比EnCodec的75帧/秒低6倍），使LLM处理更长音频成为可能。

EnCodec是Meta AudioCraft全系列（MusicGen、AudioGen、MAGNeT）的基础；字节跳动CosyVoice、阿里Qwen-Audio均使用类似架构；苹果在设备端语音合成中用神经编解码器替代传统vocoder，显著提升自然度。低帧率编解码器直接决定音频LLM能处理的上下文长度。

①单码本大词表方案（如SNAC）vs 多层RVQ的权衡；②流式/因果编解码器的延迟优化（实时对话需<20ms）；③跨模态统一tokenizer（音频+视频+文本同一码本）；④编解码器感知的语言模型训练（codec-aware LM）；⑤极低码率（<1kbps）下的语义保真。

这是音频大模型的"基础设施层"——TTS、语音对话、音乐生成全依赖它；理解RVQ层次结构可指导codec选型、帧率与质量权衡，直接影响实时语音系统的延迟和效果。

大语言模型推理的根本瓶颈不是计算量，而是"内存带宽"：每生成一个token，都要把数十亿参数从GPU显存搬到计算单元，这个过程是串行的，GPU大量算力被闲置。2022年前，学界主要靠量化、剪枝来加速，但这些方法以牺牲质量为代价。2023年Google Brain的Leviathan等人和DeepMind的Chen等人几乎同时提出"推测解码"（Speculative Decoding）：用一个小模型（draft model）快速生成多个候选token，再用大模型并行验证——由于验证可以批量计算，总体速度提升2-4倍，且输出分布与原始大模型完全等价（无损加速）。SpecEyes论文将这一思想扩展到多模态智能体场景：视觉感知和工具调用也可以"推测"，进一步压缩端到端延迟。这是目前工业界（Google、Meta、Anthropic）部署大模型的标配加速技术。

推测解码就像"助理起草、老板审批"：小模型快速写出草稿（多个token），大模型一次性扫描全部草稿并批准或修改，比大模型逐字生成快得多。

设大模型概率分布为 $p$，小模型（draft）为 $q$，draft生成 $\gamma$ 个候选token $\tilde{x}_1,...,\tilde{x}_\gamma$。大模型并行计算所有位置的概率。对每个位置 $i$，以概率 $\min(1, \frac{p(\tilde{x}_i)}{q(\tilde{x}_i)})$ 接受该token（拒绝采样）。若拒绝，从修正分布 $p'= \text{norm}(\max(0, p-q))$ 重新采样。可以证明：最终输出分布严格等于 $p$（大模型分布），即**无损加速**。期望接受长度为 $\mathbb{E}[\text{accepted}] = \frac{\gamma(1-\alpha)}{1-\alpha^{\gamma+1}}$，其中 $\alpha = \mathbb{E}[\min(1, p/q)]$ 是平均接受率，$\alpha$ 越高（draft越准）加速比越大。

**核心问题：** LLM自回归生成是串行的，每步只产出1个token，GPU利用率极低（通常<10%）。**关键洞察：** GPU最擅长并行计算——如果能一次喂入多个token做前向传播，吞吐量远高于逐token生成。**步骤一：Draft生成** 用参数量为大模型1/10~1/100的小模型（或n-gram、检索等），快速自回归生成 $\gamma$（通常4-8）个候选token，耗时极短。**步骤二：并行验证** 将原始输入+所有草稿token拼接，一次性送入大模型做前向传播，得到每个位置的概率分布。这一步与生成1个token耗时相近（因为瓶颈是参数加载，不是序列长度）。**步骤三：拒绝采样** 从左到右逐token检验，若 $p(\tilde{x}_i)/q(\tilde{x}_i) \geq 1$ 直接接受；否则以一定概率拒绝并重采样，保证分布等价性。**步骤四：SpecEyes扩展** 在多模态智能体中，视觉感知（调用哪个工具、关注哪个区域）也可以用轻量模型"推测"，大模型只做验证，将感知-推理-工具调用的串行循环并行化。**工程实现关键：** KV Cache在验证时可复用，被拒绝token之后的KV需丢弃并重算。

Google在Gemini生产系统中部署推测解码，实测2-3倍吞吐提升；Anthropic Claude API、Meta LLaMA推理框架均内置此功能；HuggingFace TGI和vLLM均支持。对实时语音对话（如GPT-4o语音模式）尤为关键，直接决定首token延迟（TTFT）。

①自推测解码（Self-Speculative）：用同一模型的早期层做draft，无需额外模型；②树形推测（Tree Attention）：并行探索多条draft路径；③多模态推测（SpecEyes方向）：视觉token的推测验证；④draft模型的自动选择与动态切换；⑤与量化结合：4-bit draft + FP16验证的混合精度方案。

实时语音对话系统（如语音助手、同声传译）的首包延迟优化核心技术；视频理解智能体（SpecEyes场景）的感知加速；可将TTS/ASR后接LLM的端到端延迟压缩50%以上。