知识讲堂

首先对输入音频做短时傅里叶变换（STFT），计算每个时频格的掩蔽阈值。掩蔽阈值由三部分构成：绝对听觉阈值（安静环境下的最小可听声压级，约在 4kHz 最低）、同时掩蔽（强音使同时刻附近频率的弱音不可闻）、时间掩蔽（强音前后数十毫秒内的掩蔽效应）。这一步决定了水印"预算"——每个时频点可以注入多少能量而不被察觉。深度学习方法通常用可微分的近似掩蔽模型（如 MPEG 心理声学模型 II 的简化版）替代传统查表法，使其可以端到端反向传播。

将 K-bit 消息 $m$ 通过 BCH 或 LDPC 纠错码扩展为冗余码字，再通过嵌入网络（通常是 U-Net 或 WaveNet 结构）映射为时域扰动 $\delta$。扩频的关键设计哲学：将单个 bit 的能量分散到整个时间轴，使得局部攻击（剪切某段）只损失部分能量，通过纠错码仍可恢复。神经网络嵌入器相比传统扩频的优势在于：它能学习"哪些时频位置对人耳最不敏感"，自适应分配水印能量。

训练时在嵌入器和检测器之间插入随机攻击层，模拟真实世界的信号处理链：MP3/AAC 压缩（用可微分近似）、加性高斯噪声、变速不变调（WSOLA）、房间混响卷积、重采样。对于半脆弱设计，还需模拟 TTS 替换攻击：将原始音频的某段替换为合成语音，这会破坏水印的相位连续性。关键实现细节：MP3 压缩的可微分近似通常用 sigmoid 近似量化操作，梯度通过 straight-through estimator 传递。

检测器接收待检音频，输出每帧的消息概率分布 $p(\hat{m}_k=1)$。对于流式场景（StreamMark），检测器采用因果卷积或单向 LSTM，保证低延迟。完整性判决逻辑：若检测到的消息与原始消息的汉明距离超过纠错码的纠错能力，则判定为"篡改"；若消息完全无法检测（能量归零），则判定为"替换攻击"。这两种失效模式对应不同的攻击类型，需要分别设置告警阈值。

python # 伪代码：半脆弱水印训练循环 for x, m in dataloader:     x_wm = embedder(x, m)  # 嵌入水印          # 良性攻击：期望检测成功     x_benign = benign_augment(x_wm)  # MP3, 加噪等     m_hat = detector(x_benign)     loss_robust = bce_loss(m_hat, m)          # 恶意攻击：期望检测失败（触发告警）     x_malicious = tts_replace(x_wm)  # TTS替换     m_hat_mal = detector(x_malicious)     loss_fragile = -bce_loss(m_hat_mal, m)  # 反向：希望检测不到          loss = loss_robust + lambda * loss_fragile + perceptual_loss(x_wm, x)     loss.backward()

草稿器在每个位置生成 top-K 个候选 token，形成宽度为 K、深度为 D 的树，共 $\sum_{d=1}^{D} K^d$ 个节点（实际会剪枝）。关键工程决策：K 和 D 的选择取决于目标模型的接受率——高接受率场景（代码补全）适合深树（大 D 小 K），低接受率场景（创意写作）适合宽树（大 K 小 D）。EAGLE-2 用一个轻量级置信度预测器动态决定在哪些节点展开分支，避免在低置信度位置浪费计算。实现细节：树的节点用父节点索引数组表示，而非显式树结构，便于批处理。

将树的所有节点展平为序列，构建注意力掩码矩阵 $M$：节点 $i$ 只能 attend 到其祖先节点（包括原始 prompt）。这个掩码使得目标模型的单次前向传播等价于对树中所有路径同时做条件概率计算。关键工程细节：FlashAttention 的标准实现假设因果掩码（下三角矩阵），树形掩码是非标准的稀疏掩码，需要特殊处理。TensorRT-LLM 和 vLLM 的实现中，树形掩码通过 custom CUDA kernel 处理，避免将稀疏掩码展开为密集矩阵的内存开销。

目标模型对树的所有节点输出 logits，对每个节点计算接受概率 $\alpha = \min(1, p/q)$。从根节点开始，沿树的每条路径做拒绝采样，找到每条路径上第一个被拒绝的位置。选择所有路径中接受长度最长的那条作为本轮输出。若某位置被拒绝，从修正分布 $p' = \text{normalize}(\max(0, p-q))$ 中采样一个补偿 token，保证输出分布的无偏性。这是推测解码最精妙的数学设计——拒绝采样保证了在任何草稿质量下输出分布严格等于目标模型。

当草稿器是块扩散模型时，它在单次前向传播中输出整个块（如 16 个 token）的联合分布，而非逐 token 的条件分布。这带来一个工程问题：块扩散的输出是联合分布 $q(x_1, ..., x_K)$，而拒绝采样需要条件分布 $q(x_k | x_1, ..., x_{k-1})$。DFlash 的解决方案是：用块扩散输出的边缘分布近似条件分布，接受轻微的分布偏差换取草稿生成的极低延迟。实际工程中，这个近似误差在大多数场景下可忽略，但在分布差异大的场景（如长尾 token）需要额外校正。

python # 树形推测解码核心逻辑（简化版） def speculative_decode_tree(target_model, draft_model, prompt, K=5, D=4):     # Step 1: 构建草稿树     tree_tokens, tree_parents, draft_probs = build_draft_tree(         draft_model, prompt, K=K, D=D     )          # Step 2: 构建树形注意力掩码     tree_mask = build_tree_attention_mask(tree_parents)          # Step 3: 目标模型单次前向传播验证整棵树     target_logits = target_model(         torch.cat([prompt, tree_tokens]),          attention_mask=tree_mask     )     target_probs = softmax(target_logits[len(prompt):])          # Step 4: 拒绝采样，找最长接受路径     best_path, best_length = [], 0     for path in enumerate_tree_paths(tree_parents):         accepted = rejection_sample_path(             path, target_probs, draft_probs         )         if len(accepted) > best_length:             best_path, best_length = accepted, len(accepted)          return best_path