每日基础课

一句话定义：

LayerNorm，就是对“每一个样本自己的特征维度”做归一化，让这一层的输入数值更稳定。

Pre-Norm，就是在 Transformer 子层之前先做 LayerNorm，再做 Attention 或 FFN。

一句记忆口诀：

LayerNorm 管“每个人自己稳不稳”，Pre-Norm 是“先进门洗手，再干活”。

---

一、先用生活类比理解

想象一个说话人日志系统。

输入是一段音频，被切成很多帧。

每一帧都有一串特征，比如：

• 音高相关特征
• 能量相关特征
• 说话人 embedding
• 频谱特征
• 上下文编码特征

这些特征的数值范围可能很乱。

有的维度很大。 有的维度很小。 有的维度波动很剧烈。

LayerNorm 做的事像什么？

像给“每一帧自己的特征表”做一次内部校准。

不是拿这一帧和别的帧比。 也不是拿这个说话人和别的说话人比。

而是问：

“这一帧内部的这些特征，整体均值是多少？整体波动有多大？”

然后把它们拉到一个比较稳定的尺度。

---

二、必要公式

假设某一层的输入是：

\[ x = [x_1, x_2, ..., x_H] \]

这里：

• \(x\)：一个样本在某一位置上的特征向量
• \(H\)：特征维度数量，也叫 hidden size
• \(x_i\)：第 \(i\) 个特征值

LayerNorm 先算这个向量自己的均值：

\[ \mu = \frac{1}{H}\sum_{i=1}^{H}x_i \]

符号解释：

• \(\mu\)：均值
• \(\sum\)：求和
• \(H\)：特征总数

再算方差：

\[ \sigma^2 = \frac{1}{H}\sum_{i=1}^{H}(x_i-\mu)^2 \]

符号解释：

• \(\sigma^2\)：方差，表示这些特征值波动有多大
• \(x_i-\mu\)：第 \(i\) 个特征离均值多远

然后标准化：

\[ \hat{x}_i = \frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}} \]

符号解释：

• \(\hat{x}_i\)：归一化后的第 \(i\) 个特征
• \(\epsilon\)：一个很小的数，防止除以 0
• \(\sqrt{\sigma^2+\epsilon}\)：标准差，加上 \(\epsilon\) 更安全

最后，LayerNorm 还会学习两个参数：

\[ y_i = \gamma_i \hat{x}_i + \beta_i \]

符号解释：

• \(y_i\)：最终输出
• \(\gamma_i\)：可学习缩放参数
• \(\beta_i\)：可学习平移参数

为什么还要 \(\gamma\) 和 \(\beta\)？

因为模型可能发现：

“虽然归一化很有用，但某些维度确实应该更大一点，某些维度应该偏移一点。”

所以 LayerNorm 不是死板地把东西全压成固定样子。

它是：

先稳定，再让模型自己学该怎么调。

---

三、它解决什么问题

核心问题：

深层网络训练时，每一层输入分布容易乱。

尤其是 Transformer 堆很多层时：

• 前面层稍微变一点
• 后面层输入分布就跟着变
• 梯度传播不稳定
• 训练容易慢
• 深层模型容易崩
• loss 可能震荡
• 需要更小学习率才能勉强训练

LayerNorm 的作用是：

让每一层看到的输入尺度更稳定。

在音视频理解里，这很重要。

因为音频和视频输入本来就复杂：

音频里：

• 静音段
• 说话段
• 重叠说话
• 背景噪声
• 音量变化

视频里：

• 光照变化
• 人脸角度变化
• 帧间运动变化

如果中间特征尺度再乱，模型会更难学。

没有 LayerNorm 会怎样？

不一定完全不能训练。

但常见后果是：

• 深层 Transformer 更难收敛
• 对学习率更敏感
• loss 曲线更抖
• 需要更多调参
• 模型层数加深后收益变差
• 训练初期可能不稳定

---

四、Pre-Norm 是什么

Transformer 里常有一个结构：

\[ x + Sublayer(x) \]

这里：

• \(x\)：原始输入
• \(Sublayer\)：子层，比如 Self-Attention 或 Feed Forward Network
• \(+\)：残差连接

Post-Norm 写法大致是：

\[ y = LayerNorm(x + Sublayer(x)) \]

意思是：

先干活。 再把结果和原输入相加。 最后做 LayerNorm。

Pre-Norm 写法大致是：

\[ y = x + Sublayer(LayerNorm(x)) \]

意思是：

先对输入做 LayerNorm。 再送进子层干活。 最后和原输入相加。

简单说：

Post-Norm：干完活再洗手。 Pre-Norm：先洗手再干活。

现在很多深层 Transformer 更偏向 Pre-Norm。

原因很直观：

残差路径里的 \(x\) 更像一条“干净的高速路”。

梯度可以更顺地从后面传回前面。

这对深层网络很有帮助。

---

五、在主流模型、音视频和说话人日志中的实际位置

在 Transformer block 里，LayerNorm 通常出现在两个地方。

以 Pre-Norm Transformer 为例：

第一处，在 Attention 前：

\[ x = x + Attention(LayerNorm(x)) \]

第二处，在 FFN 前：

\[ x = x + FFN(LayerNorm(x)) \]

其中：

• Attention：负责看上下文
• FFN：负责逐位置加工特征
• Residual：保留原信息，帮助梯度传播
• LayerNorm：让送进子层的特征稳定

在音频模型中：

例如语音识别、说话人识别、说话人日志、音频事件检测。

输入可能形状是：

\[ [B, T, D] \]

含义：

• \(B\)：batch size，一批里有多少条样本
• \(T\)：时间帧数
• \(D\)：每一帧的特征维度

LayerNorm 通常对最后一维 \(D\) 做。

也就是：

每个样本、每个时间帧，单独归一化自己的特征向量。

在视频模型中：

可能形状是：

\[ [B, T, N, D] \]

含义：

• \(B\)：batch size
• \(T\)：视频时间帧
• \(N\)：每帧的 patch/token 数
• \(D\)：每个 token 的特征维度

LayerNorm 通常也是对最后一维 \(D\) 做。

在说话人日志中：

模型要判断：

• 谁在说话
• 什么时候开始说
• 什么时候结束
• 是否多人重叠说话

常见模块包括：

• 声学特征编码器
• Transformer/Conformer 编码器
• 说话人 embedding 处理
• 帧级分类头
• 聚类或序列解码模块

LayerNorm 常出现在编码器内部。

尤其是 Transformer/Conformer block 中。

它不是最终判断“谁说话”的模块。

它更像底层稳定器。

让中间特征更适合被 Attention、FFN、分类头使用。

---

六、与相近概念的区别

• LayerNorm vs BatchNorm

BatchNorm 常按 batch 维度统计。

它会看一批样本的均值和方差。

LayerNorm 通常不依赖 batch。

它看的是单个样本内部的特征维度。

所以 LayerNorm 更适合：

• 变长序列
• 小 batch
• Transformer
• NLP
• 音频序列
• 视频 token 序列

BatchNorm 更常见于：

• CNN
• 图像卷积网络
• batch 足够大的场景

一句话：

BatchNorm 问：“这一批人整体怎么样？” LayerNorm 问：“这个人自己内部稳不稳？”

---

• LayerNorm vs InstanceNorm

InstanceNorm 常用于图像风格迁移等任务。

它通常对每个样本、每个通道的空间维度做归一化。

LayerNorm 更常对每个 token 的特征维度做归一化。

一句话：

InstanceNorm 更关心图像空间风格。 LayerNorm 更关心 token 特征尺度。

---

• LayerNorm vs RMSNorm

RMSNorm 可以看作 LayerNorm 的一个简化亲戚。

它通常不减均值，只用均方根做缩放。

LayerNorm 做：

\[ x - mean \]

再除以标准差。

RMSNorm 更像只做尺度校准。

事实：

一些大语言模型使用 RMSNorm，因为它计算更简单。

但今天只要记住：

LayerNorm 同时处理“中心”和“尺度”。 RMSNorm 主要处理“尺度”。

---

• Pre-Norm vs Post-Norm

Post-Norm：

\[ LayerNorm(x + Sublayer(x)) \]

Pre-Norm：

\[ x + Sublayer(LayerNorm(x)) \]

区别在 LayerNorm 放在哪里。

Post-Norm 是子层后。

Pre-Norm 是子层前。

Pre-Norm 通常更利于深层模型训练稳定。

Post-Norm 在早期 Transformer 中很经典。

---

七、怎么学外部资料

PyTorch LayerNorm 文档适合用来学：

• `nn.LayerNorm` 的标准接口
• `normalized_shape` 怎么写
• 输入张量最后几维怎么被归一化
• \(\gamma\)、\(\beta\) 对应代码里的什么参数

The Annotated Transformer 适合用来学：

• LayerNorm 如何和残差连接放在一起
• Transformer block 的完整代码结构
• Attention、FFN、残差、归一化之间的顺序关系

建议顺序：

先看 PyTorch 文档搞清接口。 再看 The Annotated Transformer 理解它在完整模型里的位置。

练习目标：

用 PyTorch 做三件事：

• 手写一个简化版 LayerNorm。
• 和 `torch.nn.LayerNorm` 对比输出。
• 搭一个最小 Pre-Norm block，看清张量形状。

输入：

一个模拟音频序列张量：

python
x.shape = [B, T, D]

其中：

• `B=2`：两条音频
• `T=4`：每条音频 4 个时间帧
• `D=6`：每帧 6 维特征

输出：

• 手写 LayerNorm 的输出形状
• PyTorch LayerNorm 的输出形状
• 两者最大误差
• Pre-Norm block 输出形状
• LayerNorm 后每个 token 的均值和方差

验收标准：

• 代码能直接运行
• 手写 LayerNorm 和 PyTorch LayerNorm 最大误差很小
• 输出形状仍是 `[2, 4, 6]`
• LayerNorm 后，每个 token 的均值接近 0，方差接近 1

思路：

LayerNorm 对最后一维 `D` 做归一化。

所以对 `x` 来说：

python
x.shape = [B, T, D]

要沿着 `dim=-1` 计算均值和方差。

每个 `[D]` 向量单独归一化。

Pre-Norm block 的核心结构是：

python
y = x + sublayer(norm(x))

这里我们用一个简单的线性层模拟 `sublayer`。

完整可运行代码：

python
import torch
import torch.nn as nn


# 为了结果可复现
torch.manual_seed(42)


class ManualLayerNorm(nn.Module):
    """
    手写简化版 LayerNorm。
    默认对最后一维做归一化。
    """
    def __init__(self, hidden_dim, eps=1e-5):
        super().__init__()
        self.hidden_dim = hidden_dim
        self.eps = eps

        # gamma：可学习缩放参数
        self.gamma = nn.Parameter(torch.ones(hidden_dim))

        # beta：可学习平移参数
        self.beta = nn.Parameter(torch.zeros(hidden_dim))

    def forward(self, x):
        """
        x: [B, T, D]
        对最后一维 D 做归一化。
        """
        mean = x.mean(dim=-1, keepdim=True)
        var = x.var(dim=-1, unbiased=False, keepdim=True)

        x_hat = (x - mean) / torch.sqrt(var + self.eps)

        y = self.gamma * x_hat + self.beta
        return y


class TinyPreNormBlock(nn.Module):
    """
    一个最小 Pre-Norm block。
    用 Linear 模拟 Transformer 里的子层。
    真实模型中这里可以是 Self-Attention 或 FFN。
    """
    def __init__(self, hidden_dim):
        super().__init__()
        self.norm = nn.LayerNorm(hidden_dim)
        self.sublayer = nn.Linear(hidden_dim, hidden_dim)

    def forward(self, x):
        """
        Pre-Norm:
        y = x + sublayer(norm(x))
        """
        return x + self.sublayer(self.norm(x))


def main():
    B = 2
    T = 4
    D = 6

    # 模拟一批音频帧特征：[batch, time, feature]
    x = torch.randn(B, T, D) * 5 + 10

    print("输入 x.shape:", x.shape)
    print()

    # 1. 手写 LayerNorm
    manual_ln = ManualLayerNorm(D)
    y_manual = manual_ln(x)

    print("手写 LayerNorm 输出 shape:", y_manual.shape)

    # 2. PyTorch 官方 LayerNorm
    torch_ln = nn.LayerNorm(D)

    # 为了公平比较，把官方 LayerNorm 的参数复制成手写版一样
    with torch.no_grad():
        torch_ln.weight.copy_(manual_ln.gamma)
        torch_ln.bias.copy_(manual_ln.beta)

    y_torch = torch_ln(x)

    print("PyTorch LayerNorm 输出 shape:", y_torch.shape)

    max_diff = (y_manual - y_torch).abs().max().item()
    print("手写版与 PyTorch 版最大误差:", max_diff)
    print()

    # 3. 检查归一化后的均值和方差
    # 注意：这里检查的是 y_manual 的最后一维
    mean_after = y_manual.mean(dim=-1)
    var_after = y_manual.var(dim=-1, unbiased=False)

    print("LayerNorm 后，每个 token 的均值：")
    print(mean_after)
    print()

    print("LayerNorm 后，每个 token 的方差：")
    print(var_after)
    print()

    # 4. 最小 Pre-Norm block
    block = TinyPreNormBlock(D)
    y_block = block(x)

    print("Pre-Norm block 输出 shape:", y_block.shape)
    print()

    # 5. 展示 Pre-Norm 的中间形状
    norm_x = block.norm(x)
    sublayer_out = block.sublayer(norm_x)
    residual_out = x + sublayer_out

    print("norm(x).shape:", norm_x.shape)
    print("sublayer(norm(x)).shape:", sublayer_out.shape)
    print("x + sublayer(norm(x)).shape:", residual_out.shape)

    # 6. 对比：Pre-Norm 不是改变形状，而是改变送入子层前的数值尺度
    print()
    print("原始 x 的整体均值:", x.mean().item())
    print("norm(x) 的整体均值:", norm_x.mean().item())
    print("原始 x 的整体标准差:", x.std(unbiased=False).item())
    print("norm(x) 的整体标准差:", norm_x.std(unbiased=False).item())


if __name__ == "__main__":
    main()