每日基础课

发展流程：

• 之前怎么做

早期深度网络通常是简单堆层：

`输入 → 层1 → 层2 → 层3 → ... → 输出`

每一层都把前一层输出完全变换一次。

问题是：层数变深后，训练变难。不是只因为过拟合，也不是只因为参数多，而是优化本身变难。一个很深的网络，理论上至少应该能学成“前面浅层网络 + 后面几层什么都不做”。但实际训练时，它不容易自动学出“什么都不做”的恒等映射。

• 为什么出现残差连接

残差连接的关键想法是：

如果最优情况是“保持原样”，那网络不用费力学 `H(x)=x`。 只要让 `F(x)=0`，就有：

`y = F(x) + x = x`

这比让一堆非线性层精确学出“输入等于输出”容易得多。

也就是说：

• 普通网络学目标：`H(x)`
• 残差网络改成学：`F(x) = H(x) - x`
• 最后再还原：`H(x) = F(x) + x`

所以它叫“残差”。因为它学的是“目标和输入之间的差”。

• 现在怎么用

现在残差连接非常常见。它不只在 ResNet 里用，也在 Transformer、Conformer、语音模型、视频模型、多模态模型里大量出现。

典型位置：

• 卷积网络：一个残差块包住几层卷积。
• Transformer：自注意力模块外面有残差连接，前馈网络外面也有残差连接。
• 音频模型：卷积块、时序建模块、注意力块中常用。
• 视频模型：2D/3D 卷积块、时空注意力块中常用。
• 说话人日志：说话人嵌入提取网络、语音分割模型、音频 Transformer/Conformer 编码器里常见。

主流模型中的实际位置与用法：

• ResNet 图像/视频骨干

一个典型残差块：

`输入 x → 卷积 → 归一化 → 激活 → 卷积 → 归一化 → 加回 x → 激活`

它常用于图像帧特征提取。视频模型会把它扩展到时空卷积，比如处理连续帧。

• Transformer 编码器

常见结构：

`x = x + SelfAttention(x)` `x = x + FeedForward(x)`

意思是：

• 注意力模块负责补充“上下文关系”。
• 前馈网络负责做“每个位置的非线性变换”。
• 残差连接保留原始表示，避免每个模块都完全覆盖旧信息。

• 音频理解

在语音识别、音频事件检测、说话人识别里，输入常是 log-mel 频谱或其他声学特征。

残差连接常出现在：

• CNN 声学前端。
• TDNN/ResNet 风格说话人嵌入网络。
• Conformer 编码器。
• 音频 Transformer 块。

它的作用是让模型在多层处理中保留低层声学线索，比如音色、能量、频谱结构，同时逐层加入更高层语义或说话人信息。

• 说话人日志 diarization

说话人日志要回答：“什么时候谁在说话”。

残差连接常间接帮忙：

• 在说话人嵌入网络中，提取更稳定的 speaker embedding。
• 在分帧分类网络中，帮助长层数模型稳定训练。
• 在 Transformer/Conformer 时序编码器中，保留局部声学信息，同时建模长时间上下文。
• 在多麦克风或音视频 diarization 中，帮助融合音频、视觉、人脸、嘴动等特征。

与相近概念的区别：

• 残差连接 vs 跳跃连接

跳跃连接是大类。残差连接是其中一种。

• 跳跃连接：只要信息跨过一些层传过去，都算。
• 残差连接：特指把输入和分支输出相加，常见形式是 `F(x)+x`。

所以：残差连接属于跳跃连接，但不是所有跳跃连接都是残差连接。

• 残差连接 vs 拼接连接

拼接连接常见于 U-Net、DenseNet：

`y = concat(F(x), x)`

残差连接是：

`y = F(x) + x`

区别：

• 相加：形状必须一样；输出维度通常不变。
• 拼接：沿通道维拼起来；输出维度会变大。
• 相加更轻量。
• 拼接保留信息更显式，但计算和内存更大。

• 残差连接 vs 恒等映射

恒等映射是 `y=x`，完全不改。

残差连接是 `y=F(x)+x`，既能保留原输入，也能加入修改量。

如果 `F(x)=0`，残差连接就退化成恒等映射。

• 残差连接 vs 门控连接

门控连接会学一个“开关”：

`y = gate * F(x) + x`

或者类似形式。

残差连接通常直接相加，没有显式开关。

门控更灵活，但也更复杂。残差连接更简单稳定。

• 残差连接 vs 归一化

归一化，比如 BatchNorm、LayerNorm，主要让数值分布更稳定。

残差连接主要让信息和梯度更容易通过。

它们经常一起用，但解决的问题不完全一样。

当前局限：

事实：

• 残差连接不是万能药。
• 它不能保证模型一定更准。
• 如果模型设计很差，只加残差也救不了。
• 如果 `F(x)` 和 `x` 形状不一致，必须做投影或调整。
• 残差相加可能让特征尺度变大，所以常配合归一化、缩放或合适初始化。
• 在非常深的网络里，残差结构仍然需要仔细设计，比如归一化放在前面还是后面。

未来可能作用：

事实部分：

• 残差连接已经是深度模型的基础组件。
• 它在 CNN、Transformer、语音模型、视频模型、多模态模型中都会继续使用。
• 它对训练深层网络仍然很重要。

推测部分：

• 未来模型可能会更常使用“可学习残差强度”，让模型决定保留多少旧信息、加入多少新信息。
• 在音视频说话人日志中，残差结构可能继续用于更长上下文建模，比如长会议、多人重叠语音、音视频联合建模。
• 多模态模型中，残差连接可能帮助模型在融合时不过度破坏单模态信息，例如保留纯音频说话人线索，同时加入人脸和嘴动信息。

学习资料建议：

Dive into Deep Learning 的 ResNet 章节适合用来“看代码理解”。重点看两点：第一，残差块怎么写；第二，为什么加了旁路后深层网络更容易训练。不要只背 ResNet 名字，要亲手跑一个小残差块。

逐段解释代码：

• `PlainBlock`

self.net = nn.Sequential(
    nn.Linear(dim, dim),
    nn.ReLU(),
    nn.Linear(dim, dim)
)

这是一个小型前馈网络。它输入 `[batch, dim]`，输出还是 `[batch, dim]`。

如果 `batch=4`，`dim=8`：

• 输入是 `[4, 8]`
• 第一层线性层输出 `[4, 8]`
• ReLU 不改变形状，还是 `[4, 8]`
• 第二层线性层输出 `[4, 8]`

普通块的前向是：

return self.net(x)

也就是只输出 `F(x)`。

• `ResidualBlock`

核心代码：

fx = self.net(x)
y = fx + x
return y

这里：

• `x` 形状是 `[4, 8]`
• `fx` 形状也是 `[4, 8]`
• 所以可以逐元素相加
• 输出 `y` 形状还是 `[4, 8]`

这就是最小残差连接。

• 为什么要复制输入

x_res = x_plain.clone().detach().requires_grad_(True)

这是为了让普通块和残差块用相同数值的输入，但各自独立计算梯度。

否则两个实验会混在一起，不方便观察。

• 为什么复制参数

residual_block.net.load_state_dict(plain_block.net.state_dict())

这是为了让两个块里的 `F(x)` 一样。

这样区别只来自一个地方：

• 普通块：`F(x)`
• 残差块：`F(x) + x`

• loss 的作用

loss_plain = out_plain.sum()
loss_res = out_res.sum()

这是构造一个简单目标。不是为了训练好模型，只是为了触发反向传播。

然后：

loss_plain.backward()
loss_res.backward()

PyTorch 会计算输入 `x` 的梯度。

• 梯度怎么看

tensor.grad.norm().item()

表示梯度整体大小。

残差块的梯度会多一条从输出直接回到输入的路径。直观上，`y = F(x) + x` 中的 `+ x` 让梯度可以更直接地传回 `x`。

张量形状总结：

• `x_plain`: `[4, 8]`
• `x_res`: `[4, 8]`
• `F(x)`: `[4, 8]`
• `out_plain`: `[4, 8]`
• `out_res`: `[4, 8]`
• `x.grad`: `[4, 8]`

常见错误：

• 形状不一样还直接加

错误例子：

fx.shape = [4, 16]
x.shape = [4, 8]
y = fx + x

这会报错。

解决方法：

• 让网络输出维度和输入一致。
• 或者加一个投影层，把 `x` 从 8 维变成 16 维。

• 忘记 `requires_grad=True`

如果输入没有设置：

requires_grad=True

那么 `x.grad` 可能是 `None`。

• 以为残差连接就是多加一层

不是。残差连接不是“增加一层普通层”。它是把输入绕过中间层，再加到输出上。

• 以为残差连接一定提高准确率

不一定。它主要让深层模型更容易训练。准确率还取决于数据、结构、训练方法和任务。

它在真实模型中的对应位置：

• ResNet 中

练习里的：

y = self.net(x) + x

对应 ResNet 里的：

y = conv_block(x) + x

只是真实 ResNet 常用卷积处理图像或视频特征。

• Transformer 中

练习里的 `self.net(x)` 可以对应前馈网络：

x = x + feed_forward(x)

注意力模块也类似：

x = x + self_attention(x)

• 说话人日志中

如果你做 speaker diarization，常见输入可能是：

• `[batch, time, feature_dim]` 的声学特征
• 或 `[batch, time, embedding_dim]` 的说话人/片段表示

残差连接通常放在时序编码模块里：

x = x + temporal_block(x)

它保留原始帧级声学信息，同时让模型学习上下文修正量。