每日基础课

一句话定义： 残差连接（Residual Connection），就是把输入信号 $x$ 直接拉一条“旁路”跳过多层网络，然后跟后面算出来的特征相加：$y = \mathcal{F}(x) + x$。

生活类比：写报告批注 普通网络改文章：每次修改都让学生从头背着重抄整篇，越改错漏越多。 残差连接改文章：保留原文 $x$，学生只提交修改批注 $\mathcal{F}(x)$，最终结果是“原文 + 批注”。就算批注全写废了（$\mathcal{F}(x)=0$），原稿也完整保留，绝对不会比原来更差。

必要公式： $$y = \mathcal{F}(x) + x$$

符号拆解： - $x$：输入特征。 - $\mathcal{F}(x)$：中间几层网络（卷积、线性层、激活函数等）学到的“残差”（即特征的增量/差值）。 - $y$：最终输出特征。 - 关键反向传播求导： $$\frac{\partial y}{\partial x} = \frac{\partial \mathcal{F}(x)}{\partial x} + 1$$ 看那个醒目的 **$+1$**：反向传播回传梯度时，即使经过复杂的网络层导致 $\frac{\partial \mathcal{F}(x)}{\partial x}$ 衰减变小，后面那个 **$1$** 也能让梯度无损地直接回传给输入 $x$。

它解决什么问题？没有它会怎样？ - 解决的问题：网络退化问题（Degradation）与梯度消失。 - 没有它会怎样：在 2015 年之前，网络叠到 20 层以上，训练误差反而比浅层网络更高。层数一深，连续的小数相乘导致梯度迅速归零，底层权重根本更新不动，深层网络完全退化。

思路步骤： 1. 主路径（Residual Path）：两层 Conv1d（提取时序特征）+ BatchNorm + ReLU。 2. 快捷路径（Shortcut Path）：如果通道数或时序步长改变，快捷路径使用一个 $1\times 1$ 卷积对齐形状；否则直接用 `nn.Identity()` 传递。 3. 聚合：`out = F(x) + shortcut(x)`，最后过一层激活函数。 4. 运行验证：前向计算输出形状，反向传播验证输入张量 `x.grad` 成功拿到梯度。

完整可运行代码：

import torch
import torch.nn as nn

class AudioResidualBlock(nn.Module):
    """
    适用于音频特征 / 说话人日志骨干的时序一维残差块
    输入形状: (batch_size, in_channels, time_steps)
    输出形状: (batch_size, out_channels, time_steps // stride)
    """
    def __init__(self, in_channels: int, out_channels: int, stride: int = 1):
        super().__init__()
        self.conv1 = nn.Conv1d(in_channels, out_channels, kernel_size=3, 
                               stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm1d(out_channels)
        self.relu = nn.ReLU()
        self.conv2 = nn.Conv1d(out_channels, out_channels, kernel_size=3, 
                               stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm1d(out_channels)

        # 如果输入输出通道不同，或者时序进行了下采样(stride > 1)，需要 projection 对齐
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv1d(in_channels, out_channels, kernel_size=1, 
                          stride=stride, bias=False),
                nn.BatchNorm1d(out_channels)
            )
        else:
            self.shortcut = nn.Identity()

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        identity = self.shortcut(x)  # 快捷路径

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)

        # 核心：残差相加
        out = out + identity
        out = self.relu(out)
        return out

if __name__ == "__main__":
    torch.manual_seed(42)
    # 模拟说话人日志输入：4个语音片段，80维Filterbank特征，200帧
    batch_size, feat_dim, time_steps = 4, 80, 200
    dummy_audio_feat = torch.randn(batch_size, feat_dim, time_steps, requires_grad=True)

    # 1. 测试同维度残差连接（stride=1, 通道不变）
    same_block = AudioResidualBlock(in_channels=80, out_channels=80, stride=1)
    out_same = same_block(dummy_audio_feat)
    print("1. 同维度输出形状:", out_same.shape)  # 应该是 (4, 80, 200)

    # 2. 测试下采样投影残差连接（stride=2, 通道扩展到 128）
    downsample_block = AudioResidualBlock(in_channels=80, out_channels=128, stride=2)
    out_down = downsample_block(dummy_audio_feat)
    print("2. 降采样输出形状:", out_down.shape)  # 应该是 (4, 128, 100)

    # 3. 验证梯度回传高速通道
    loss = out_same.sum()
    loss.backward()
    print("3. 输入梯度是否存在且有效:", dummy_audio_feat.grad is not None)
    print("   输入梯度的平均绝对值:", dummy_audio_feat.grad.abs().mean().item())