每日基础课

一句话定义：SGD 是每次只用一小批样本算梯度来更新参数；动量（Momentum）则是给更新方向加上“物理惯性”，让它顺着主方向加速、抑制左右瞎晃。

一句记忆口诀：小步随机探路快，加上惯性不乱摆。

生活类比：推着重铁球滚出峡谷 想象你在一条狭窄陡峭的山谷里找最低点（最优解）。 - 普通 SGD：像盲人拄拐杖，每走一步测一下脚下坡度。在峡谷里，两边山壁很陡，谷底坡度很缓。结果就是：他在两边峭壁之间来回横跳，震得头晕，顺着山谷往前走的速度却极慢。 - 动量（Momentum）：相当于把盲人换成一个“沉重的大铁球”。铁球横向来回撞时，左右冲力会互相抵消；而顺着谷底向下的冲力会不断累积，越滚越快，还能凭惯性冲过小坑洼。

核心公式与符号拆解 动量优化器每一步做两件事：更新速度 $v$，再更新参数 $\theta$。

1. 速度累加（算惯性）： $$v_t = \gamma v_{t-1} + \eta g_t$$ 2. 参数更新（按惯性走）： $$\theta_t = \theta_{t-1} - v_t$$

符号逐个看： - $\theta_t$：当前模型权重（如卷积核、全连接层参数）。 - $g_t = \nabla L(\theta_{t-1})$：当前 mini-batch 算出来的损失梯度，代表“脚下的即时坡度”。 - $v_t$：当前累积的速度向量，包含了过去走过的方向。 - $\eta$（Learning Rate）：学习率，控制当前梯度推力有多大（通常取 0.01 到 0.1）。 - $\gamma$（Momentum 系数）：动量衰减系数（通常取 0.9），表示保留上一时刻速度的比例。$\gamma=0.9$ 意味着即使当前没有坡度，铁球也能保留上一轮 90% 的冲劲。

它解决什么问题？没有它会怎样？ - 解决病态曲率（峡谷震荡）：损失曲面往往一个方向极陡、另一个方向极平。普通 SGD 会在陡峭方向疯狂震荡，导致训练发散或极慢；动量利用历史抵消了震荡，使平缓方向加速前进。 - 解决局部小坑洼（逃离鞍点和局部极小值）：普通 SGD 一旦梯度接近 0 就会停滞；动量带有历史速度，能顺势冲过鞍点。

在音视频与说话人日志中的真实位置 在说话人识别系统（如用 ECAPA-TDNN 或 ResNet 提取说话人 x-vector）中，分类头通常搭配 AAM-Softmax（加性角度间隔损失）。 - 很多一线方案在预训练 Conformer 声学模型时用 AdamW，但在精调说话人嵌入（Speaker Embedding）分类网络时，依然偏爱 SGD with Momentum (momentum=0.9)。 - 为什么？因为说话人特征空间要求超球面上各类间距分界极度平滑，实践中 SGD + 动量往往比 AdamW 具有更好的泛化边界，不容易过拟合到特定录音信道。

推荐学习法：想推导几何曲面直觉，查阅 *Dive into Deep Learning* 优化算法章节，先看直觉和公式，再运行章节中的可视化代码；想看工程配置，参考 *PyTorch Tutorials* 的基础训练循环写法。

实现思路： 1. 构造一个病态椭圆损失函数 $f(x, y) = 0.1 x^2 + 2 y^2$。$y$ 方向坡度是 $x$ 方向的 20 倍（典型峡谷）。 2. 手写 `sgd_step`：$w = w - \eta \cdot \nabla w$。 3. 手写 `momentum_step`：维护一个状态变量 $v$，$v = \gamma v + \eta \cdot \nabla w$，$w = w - v$。 4. 分别迭代 40 步，记录轨迹。

完整可运行代码：

import torch

def canyon_loss(w):
    # 模拟病态峡谷：y 方向非常陡 (系数 2.0)，x 方向非常平缓 (系数 0.1)
    return 0.1 * w[0]**2 + 2.0 * w[1]**2

def run_optimization(optimizer_type="sgd", steps=30, lr=0.4, gamma=0.8):
    # 起始点：(-4.0, 4.0)，远离原点
    w = torch.tensor([-4.0, 4.0], requires_grad=True)
    v = torch.zeros_like(w)  # 动量速度向量，初值为 0
    
    trajectory = []
    print(f"\n--- 开始测试: {optimizer_type.upper()} ---")
    
    for step in range(steps):
        loss = canyon_loss(w)
        loss.backward()  # 反向传播计算梯度
        
        trajectory.append((w[0].item(), w[1].item()))
        if step < 5 or step == steps - 1:
            print(f"Step {step:02d} | 坐标: ({w[0].item():.3f}, {w[1].item():.3f}) | Loss: {loss.item():.4f}")
        
        with torch.no_grad():
            if optimizer_type == "sgd":
                # 普通 SGD 更新
                w -= lr * w.grad
            elif optimizer_type == "momentum":
                # SGD with Momentum 手动实现
                v = gamma * v + lr * w.grad
                w -= v
            
            # 必须手动清零梯度，PyTorch 默认累加
            w.grad.zero_()
            
    return trajectory

if __name__ == "__main__":
    # 1. 运行普通 SGD
    # lr=0.4 对 y 方向 (陡峭) 很大，会导致上下剧烈震荡
    traj_sgd = run_optimization("sgd", steps=30, lr=0.4)

    # 2. 运行动量优化器 (Momentum)
    # 同样的学习率，动量抵消了 y 方向震荡，并在 x 方向顺势加速
    traj_mom = run_optimization("momentum", steps=30, lr=0.4, gamma=0.8)