每日基础课

【生活类比】 想象你在阳台养一盆观赏盆景。 阳光和水分充足时（对应训练数据），几根主枝会疯狂往外疯长。如果不加管束，这几根巨型枝条会把花盆压翻，遇到大风（测试场景）直接折断。 聪明的园丁每次浇水施肥（正常梯度更新）时，手里都拿着小剪刀，顺手给过长的枝条各剪短一小截（权重衰减）。 这样整棵树始终保持紧凑、匀称，无论风从哪个方向吹，都不会倒。

【必要公式与符号解释】 权重衰减在训练中体现在参数更新公式里： $$w_{t+1} = (1 - \eta \lambda) w_t - \eta g_t$$

符号逐个拆解： - $w_t$：当前这一步的权重数值。 - $\eta$（读作 eta）：学习率。决定梯度改错时迈多大的步子。 - $\lambda$（读作 lambda）：权重衰减系数。通常是一个很小的正数（如 0.01 或 0.0001），决定剪枝剪得有多狠。 - $g_t$：当前批次数据算出的梯度。它负责给模型纠错。 - $(1 - \eta \lambda)$：关键所在。在梯度 $g_t$ 修正参数之前，先把原参数 $w_t$ 乘以一个略小于 1 的折扣因子。数值越大，被削减得越多。

【它解决什么问题；没有它会怎样】 它主要解决过拟合。 没有它会发生什么？ 在做说话人日志或音视频分类时，训练集里可能夹杂微弱的背景底噪（比如录音笔的高频电流声）。模型为了把训练损失压到最低，会把某些特定权重的绝对值放大到几千甚至上万，拼命去“记住”这些噪声信号。 一旦上了真实测试场景，换了一支麦克风，这种巨型权重就会输出失控的极端值，直接导致说话人识别准确率暴跌。权重衰减强迫参数保持较小数值，使得模型对输入的微小扰动不再敏感。

【权威资料怎么学】 - 《Dive into Deep Learning》：建议先读权重衰减章节，通过其中的二维高维几何图景建立“参数被拉向原点”的直觉，再亲手运行书中的交互代码。 - 《PyTorch Tutorials》：建议对照其官方训练分类器示例，掌握张量更新标准流程，观察优化器中是如何一行传参生效的。

【音视频与说话人日志中的真实用法】 在主流说话人特征提取网络（如 ECAPA-TDNN、ResNet-34 提取 x-vector/d-vector）以及视频多模态特征编码器中： 1. 默认挂在优化器上，常用设置是 AdamW 搭配 $\lambda = 10^{-4} \sim 10^{-2}$。 2. 实际工程细节：权重衰减只给 Conv 和 Linear 层的权重矩阵（weights）用。**BatchNorm / LayerNorm 的缩放平移参数（$\gamma, \beta$）以及偏置（bias）通常明确排除在外**，不加衰减。

【实现思路】 1. 生成数据：仅生成 30 个样本（极易过拟合），每个样本 10 维，目标值由其中 2 个特征决定，其余 8 维充斥无用噪声。 2. 搭建模型：最极简的线性映射层 `nn.Linear(10, 1, bias=False)`。 3. 对照实验： - 实验组 A：`weight_decay=0.0` - 实验组 B：`weight_decay=0.1` 4. 打印量化指标：监控模型权重的模长（`torch.norm`）。

【完整可运行代码】

import torch
import torch.nn as nn
import torch.optim as optim

# 保证实验完全可复现
torch.manual_seed(42)

# 1. 模拟小样本音频瓶颈特征 (30个样本, 10维特征)
# 真实规律只由前2维决定，后8维是纯背景底噪
X = torch.randn(30, 10)
true_w = torch.zeros(10, 1)
true_w[0, 0] = 2.0
true_w[1, 0] = -3.0
y = torch.matmul(X, true_w) + 0.1 * torch.randn(30, 1)

# 划分训练集与测试集
X_train, y_train = X[:20], y[:20]
X_test, y_test = X[20:], y[20:]

def train_experiment(decay_value: float):
    # 构建最简单的线性模型，方便观察权重
    model = nn.Linear(10, 1, bias=False)
    # 初始化相同的初始权重
    nn.init.constant_(model.weight, 0.5)
    
    criterion = nn.MSELoss()
    # 核心：通过优化器参数传递 weight_decay
    optimizer = optim.SGD(model.parameters(), lr=0.05, weight_decay=decay_value)
    
    for epoch in range(150):
        optimizer.zero_grad()
        loss = criterion(model(X_train), y_train)
        loss.backward()
        optimizer.step()
        
    with torch.no_grad():
        train_loss = criterion(model(X_train), y_train).item()
        test_loss = criterion(model(X_test), y_test).item()
        weight_l2_norm = torch.norm(model.weight).item()
        
    return train_loss, test_loss, weight_l2_norm, model.weight.data.squeeze().tolist()

# 运行两组对比
train_l1, test_l1, norm1, weights1 = train_experiment(decay_value=0.0)
train_l2, test_l2, norm2, weights2 = train_experiment(decay_value=0.1)

print("===== 实验 A: 无权重衰减 (weight_decay = 0.0) =====")
print(f"训练集 Loss: {train_l1:.4f} | 测试集 Loss: {test_l1:.4f}")
print(f"权重 L2 范数 (模长): {norm1:.4f}")

print("\n===== 实验 B: 加入权重衰减 (weight_decay = 0.1) =====")
print(f"训练集 Loss: {train_l2:.4f} | 测试集 Loss: {test_l2:.4f}")
print(f"权重 L2 范数 (模长): {norm2:.4f}")

print("\n===== 权重数值细节对比 =====")
print("真实有效特征下标为 0 和 1，其余 2~9 应尽量靠近 0")
print(f"无衰减权重的后8维底噪项范数: {torch.norm(torch.tensor(weights1[2:])).item():.4f}")
print(f"有衰减权重的后8维底噪项范数: {torch.norm(torch.tensor(weights2[2:])).item():.4f}")