每日基础课

• 生活类比：Adam 就像一个下山的人。他不仅靠惯性（动量）往下冲，还会根据路况好坏（梯度波动）自动调整步子：路平坦时大步走，路崎岖时小步碎步挪。而 AdamW 是把“走多远”和“背多重”分开了，防止他因为背着太重（权重衰减）反而不敢迈步。
• 必要公式：$w_{t+1} = w_t - \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$
• $w_t$：当前参数；$\eta$：学习率（步长）；$\hat{m}_t$：经过衰减的动量（速度）；$\hat{v}_t$：梯度的二阶矩（路况）；$\epsilon$：防除零小常数。
• 解决的问题：解决了手动调学习率太累、模型在深坑（鞍点）停滞不前的问题。
• 发展流程：
• 之前：SGD（简单但慢）→ 动量法（惯性）→ AdaGrad（针对稀疏数据）。
• 现在：Adam 因其对参数不敏感成为首选，AdamW 因在 Transformer/大模型中收敛更好，彻底取代了 Adam。
• 实际应用：在说话人日志（Speaker Diarization）中，编码器（Encoder）提取特征时，AdamW 保证了复杂的注意力机制能平稳收敛。
• 区别：Adam 把权重衰减直接写进梯度里，导致惩罚项被动量“扭曲”了；AdamW 则把权重衰减独立出来，直接作用于参数。
• 局限与未来：现在它虽然好用，但大模型中仍偶尔出现“训练崩溃”。未来可能演进为自适应调整权重衰减的动态算法。
• 资料建议：参考《Dive into Deep Learning》理解梯度公式；PyTorch Tutorials 查看 `torch.optim` 接口。

思路：构建一个简单的神经网络，分别用 Adam 和 AdamW 训练，观察其权重分布。

import torch
import torch.nn as nn
import torch.optim as optim

# 模拟数据
X = torch.randn(100, 10)
y = X @ torch.randn(10, 1) + 0.1

model = nn.Linear(10, 1)
# 核心：weight_decay 就是权重衰减系数
optimizer_adam = optim.Adam(model.parameters(), lr=0.01, weight_decay=0.01)
optimizer_adamw = optim.AdamW(model.parameters(), lr=0.01, weight_decay=0.01)

# 简单训练循环
for _ in range(100):
    optimizer_adamw.zero_grad()
    loss = nn.MSELoss()(model(X), y)
    loss.backward()
    optimizer_adamw.step()

print("当前权重:", model.weight.data)