AI 每日一课 · Jae Daily · 2026年11月10日

往期课程库 ↓

TODAY’S FOCUS · 今日只学一件事约 15 分钟

混合精度训练

学完能够：能用白话说清混合精度训练到底“混”了什么、显存省在哪，以及为什么需要梯度缩放（Loss Scaling）。

混合精度指计算用16位低精度、主权重与累加保留32位高精度
前向与反向算得快且省显存，但梯度更新必须保精度
Loss Scaling 是为了防止小梯度在16位下变成0（下溢）

时间按理解、动手与回忆估算；后方选读不计入。练习默认已有 Python 环境。

复习课程 · 原课程日期：2026年11月10日

01 · 理解约 7 分钟

把核心讲清楚

混合精度训练的核心其实非常朴素：做运算时用低精度，记总账时用高精度。

传统深度学习默认用 FP32（单精度浮点数，占 32 位、4 个字节）。在做语音特征提取（如梅尔频谱过卷积）或大模型自注意力机制时，大量的矩阵乘法占满了显存和带宽。如果我们换成 FP16（半精度，占 16 位、2 个字节），不仅数据体积减半，GPU 上的专用计算单元（Tensor Core）跑起来速度还能翻倍。

那为什么不全程只用 FP16？因为会出问题。FP16 能表示的最小正数太有限（约 6e-5）。在模型反向传播时，很多层的梯度非常微小，如果直接用 FP16 存储，这些梯度会直接变成 0，这叫“下溢”（Underflow），导致网络根本学不动；同时，如果权重更新步长太小，加在 FP16 权重上会因为有效位不够而被舍入掉。

为了解决这个问题，混合精度训练（AMP, Automatic Mixed Precision）采取了“兼顾”的策略： 1. 算草稿（计算密集）：网络的前向传播和反向传播中，矩阵乘法、卷积等大计算量算子自动降级成 FP16，显存占用大减，算得飞快。 2. 记大账（主权重更新）：后台始终保留一份 FP32 的“主权重（Master Weights）”。梯度回传后，转换回 FP32 再去更新主权重，保证步进精度不丢失。 3. 梯度防丢失（Loss Scaling）：反向传播前，先将损失放大： $\mathcal{L}_{\text{scaled}} = \mathcal{L} \times S$ 其中 $\mathcal{L}$ 是损失值，$S$ 是放大倍数（Scale 因子）。这样根据链式法则算出来的梯度也会放大 $S$ 倍，脱离下溢危险区；在真正更新权重前，再将梯度除以 $S$ 还原回去。

边界需要注意：并非所有计算都适合转低精度。像 Softmax、LayerNorm 以及大向量求和，因为对极端值敏感或需要频繁累加，混精框架会自动让它们留在 FP32 中计算，保证数值稳定。

本课给出的出处：[1]

02 · 小练习约 6 分钟

只做一个最小例子

输入：一个接近真实梯度的极小值张量（如 1e-6）。任务： 1. 观察将其直接转为 torch.float16 时的输出； 2. 补全一行代码：通过将数值先乘以缩放因子 scale = 1024.0，再转为 torch.float16，最后除以 scale 还原； 3. 对比两者的输出结果。

import torch

grad_fp32 = torch.tensor([1e-6], dtype=torch.float32)

# 直接转 FP16
grad_fp16_direct = grad_fp32.to(torch.float16)

# TODO: 请用 scale=1024.0 进行放大、转换后再缩小还原
scale = 1024.0
# grad_fp16_scaled = ...

print("原始 FP32:", grad_fp32.item())
print("直接转 FP16:", grad_fp16_direct.item())
# print("缩放后恢复:", grad_fp16_scaled.item())

先动手，再对照验收

检查点 1：grad_fp16_direct.item() 输出应为 0.0（发生下溢，信息丢失）。检查点 2：缩放还原后的数值应接近 1e-6（保留了数值有效性，没有变成 0）。

03 · 自测约 2 分钟

合上讲解，回忆两件事

混合精度训练中，梯度回传前把 Loss 乘以一个放大因子是为了解决什么问题？

防止反向传播计算出的微小梯度在 16 位浮点数中发生下溢变成 0。

既然 FP16 算得快又省显存，为什么还要保留一份 FP32 的主权重？

避免学习率乘以微小梯度后的更新增量因精度截断而无法累加到权重上。

今天到这里就够了。能讲清核心，并解释小练习的结果，就完成了今日学习。

感兴趣，再往下读

以下均为选读，可随时回来查。

进阶解释 · 推导、背景与适用边界

【FP16 与 BF16 的关键区别】浮点数由 3 个部分组成：符号位（Sign）、指数位（Exponent，决定数值范围大小）、尾数位（Mantissa，决定精度细致度）。 - FP32：1 位符号 + 8 位指数 + 23 位尾数。 - FP16：1 位符号 + 5 位指数 + 10 位尾数。指数位只有 5 位，导致最大只能表示约 65504，最小正正常数约 6e-5，极易下溢和上溢，因此必须依赖动态 Loss Scaling。 - BF16（Bfloat16）：1 位符号 + 8 位指数 + 7 位尾数。它的指数位与 FP32 完全相同，数值动态范围与 FP32 一致。代价是尾数位缩减导致精度比 FP16 低一点，但在绝大多数深度学习任务中，动态范围比细微精度更重要。因此使用 BF16 时，通常无需配置复杂的 Loss Scaler，训练更加稳定。

参考实现与代码扩展

import torch

grad_fp32 = torch.tensor([1e-6], dtype=torch.float32)

# 直接转 FP16（会下溢变为 0）
grad_fp16_direct = grad_fp32.to(torch.float16)

# 通过缩放保护精度
scale = 1024.0
# 先放大，再转为 float16，最后除以 scale 还原回浮点精度
grad_fp16_scaled = ((grad_fp32 * scale).to(torch.float16)) / scale

print("原始 FP32:", grad_fp32.item())
print("直接转 FP16:", grad_fp16_direct.item())
print("缩放后恢复:", grad_fp16_scaled.item())

# 验收断言
assert grad_fp16_direct.item() == 0.0, "直接转换应该发生下溢变为0"
assert abs(grad_fp16_scaled.item() - 1e-6) < 1e-7, "缩放后应该成功保留小数值"

逐行解析： - grad_fp32：模拟反向传播中常见的极小梯度。 - grad_fp16_direct：FP16 无法表示过小的数，直接归零。 - (grad_fp32 * scale).to(torch.float16)：放大后落入 FP16 的安全可表示范围，避免被系统舍入为 0。 - / scale：计算完毕后再恢复真实物理尺度，这就是 Loss Scaling 的底层数学直觉。

代码说明与扩展

在实际 PyTorch 训练中，你不需要手动给每个张量做乘除法。PyTorch 提供了高层封装： 1. torch.autocast: 自动识别哪些算子用 FP16/BF16，哪些保持 FP32。 2. torch.cuda.amp.GradScaler: 自动根据梯度是否溢出动态调整 scale 因子的大小。如果发现某一轮反向传播梯度变成了 Inf 或 NaN，它会跳过本轮优化步并把 scale 缩小一半；如果连续若干轮正常，则尝试调大 scale。

引用、原始出处与进一步阅读

本课给出的出处

[1] PyTorch Tutorials 支持PyTorch中混合精度的设计理念与autocast行为定义pytorch.org

进一步阅读

以下资料供拓展，不代表逐条结论的出处。

Dive into Deep Learning 先看直觉和公式，再运行章节中的代码d2l.ai

往期课程库 · 163 期

435 条主题记录 · 162 期可阅读 · 1 组尚未归档

2026年11月 · 9 期

2026年11月09日

梯度裁剪：今天真正弄懂
梯度裁剪：动手实现