每日基础课

学习率（Learning Rate, $\eta$）是模型参数更新的“步长”；调度器（Scheduler）是训练过程中动态调整这个步长的“变速器”。

【生活类比】 想象你蒙着眼睛在山谷里找最低点（下山）： - 学习率就是你每走一步迈出的距离。迈太大容易扯着蛋直接跳过谷底甚至坠崖（梯度爆炸/无法收敛）；迈太小像蚂蚁爬，天黑了也到不了山底（训练极慢或卡在局部鞍点）。 - 调度器就像你的策略导航：一开始不熟悉地形先小心试探（Warmup 预热），中间路好走大步流星，快到谷底时慢慢小碎步精细调整（Cosine 退火衰减）。

【核心公式与符号】 最基础的梯度更新公式： $$W_{t+1} = W_t - \eta_t \cdot \nabla L(W_t)$$ - $W_t$：当前时刻第 $t$ 步的模型参数（权重）。 - $\nabla L(W_t)$：损失函数对当前参数的梯度（告诉你往哪走是上坡）。 - 负号（$-$）：因为要找损失最低点，必须逆着梯度方向下坡。 - $\eta_t$：第 $t$ 步的学习率。如果用了调度器，$\eta_t$ 会随时间 $t$ 动态变化，而不是固定常数。

【它解决什么问题？没有它会怎样？】 - 没有合适的学习率：模型要么 Loss 变成 NaN（步子太大炸了），要么 Loss 停在 2.3 纹丝不动（步子太小学不动）。 - 没有调度器（只用恒定学习率）：前期模型参数随机初始化，大梯度容易把预训练好的特征洗坏；后期参数接近最优解，固定大步长会在最优解附近来回震荡跳跃，无法精细收敛到最低 Loss。

【在音视频理解与说话人日志中的实际用法】 1. 说话人日志（Speaker Diarization / ECAPA-TDNN）：提取声纹 Embedding 时，通常使用 `CosineAnnealingLR` 或 `CyclicLR`，配合 5~10% steps 的线性 Warmup，防止分类损失（如 AAM-Softmax）在训练初期大梯度破坏声学浅层卷积层。 2. 音视频大模型（如 Whisper、Video-LLaMA 微调）：冻结主干只微调音频投影层或 LoRA 时，微调模块用较大学习率（如 $1\text{e-}4$），预训练主干若解冻则用极小学习率（如 $1\text{e-}6$）进行差异化衰减调度。

【实现思路】 1. 构建一个简易多层感知机（模拟声纹帧分类器）。 2. 使用 `torch.optim.AdamW` 作为优化器。 3. 使用 `torch.optim.lr_scheduler.LambdaLR` 自定义一个通用的【线性 Warmup + 余弦退火】调度函数（工业界标准实现方案）。 4. 运行 100 步训练，记录并打印关键 Step 的学习率和 Loss。

import math
import torch
import torch.nn as nn
from torch.utils.data import DataLoader, TensorDataset

# 1. 模拟数据：1000 个样本，每个样本 16 维特征（如简化的声学特征）
X = torch.randn(1000, 16)
y = (X.sum(dim=-1) > 0).long()
dataset = TensorDataset(X, y)
loader = DataLoader(dataset, batch_size=32, shuffle=True)

# 2. 简易分类模型
model = nn.Sequential(
    nn.Linear(16, 32),
    nn.ReLU(),
    nn.Linear(32, 2)
)
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-2)

# 3. 定义通用 Warmup + Cosine 调度器
total_steps = 100
warmup_steps = 20
min_lr_ratio = 0.01  # 最低学习率衰减到峰值的 1%

def get_lr_factor(current_step: int):
    # 第一阶段：线性 Warmup
    if current_step < warmup_steps:
        return float(current_step) / float(max(1, warmup_steps))
    # 第二阶段：余弦退火衰减
    progress = float(current_step - warmup_steps) / float(max(1, total_steps - warmup_steps))
    cosine_decay = 0.5 * (1.0 + math.cos(math.pi * progress))
    return min_lr_ratio + (1.0 - min_lr_ratio) * cosine_decay

scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=get_lr_factor)

# 4. 训练循环（Step-level 更新调度器）
print(f"{'Step':<6} | {'Learning Rate':<15} | {'Loss':<8}")
print("-" * 35)

current_step = 0
for epoch in range(5):
    for batch_x, batch_y in loader:
        if current_step >= total_steps:
            break
        
        optimizer.zero_grad()
        outputs = model(batch_x)
        loss = criterion(outputs, batch_y)
        loss.backward()
        
        # 核心顺序：先更新参数，再步进学习率
        optimizer.step()
        scheduler.step()
        
        # 获取当前真实学习率
        cur_lr = optimizer.param_groups[0]['lr']
        
        # 关键节点打印
        if current_step in [0, 5, 19, 20, 50, 80, 99]:
            print(f"{current_step:<6} | {cur_lr:<15.6f} | {loss.item():<8.4f}")
            
        current_step += 1