AI 每日一课 · Jae Daily · 2026年11月12日

TODAY’S FOCUS · 今日只学一件事约 15 分钟

数据并行 DDP

学完能够：能在80字内说清 DDP 的核心分工流程，并解释为什么每张卡更新后参数依然完全一致。

模型每卡复制一份，各算各的批次数据
反向传播算完梯度后，多卡通过 All-Reduce 交换并取平均梯度
每张卡用相同的平均梯度独立更新参数，更新后参数完全镜像

01 · 理解约 7 分钟

把核心讲清楚

你手里有 8 段说话人音频，单卡一次只能跑 4 段。最朴素的想法是：借一张卡，一人跑 4 段。这就是数据并行（DDP，Distributed Data Parallel）的本质。

它的整个运行主线只有三步： 1. 模型完全克隆：GPU 0 和 GPU 1 上各放一份一模一样的模型权重 $W$。 2. 切分数据，独立前向与反向：GPU 0 跑样本 1~4，算出局部损失和梯度 $g_0$；GPU 1 跑样本 5~8，算出局部损失和梯度 $g_1$。此时两张卡互不干扰。 3. 梯度同步与更新：两张卡通过高速通信把梯度加起来除以卡数，算出全局平均梯度，然后各自更新本地权重。

这里唯一的核心公式是平均梯度计算： $$g_{avg} = \frac{1}{N} \sum_{i=1}^N g_i$$ 其中 $N$ 是参与训练的总卡数（World Size），$g_i$ 是第 $i$ 张卡独立反向传播算出的梯度向量。

最小例子： 假设当前权重 $W = [1.0]$，学习率 $\eta = 0.1$。 - GPU 0 算出梯度 $g_0 = 2.0$； - GPU 1 算出梯度 $g_1 = 4.0$； - 两卡通信求均值：$g_{avg} = (2.0 + 4.0) / 2 = 3.0$； - GPU 0 更新：$W_0 = 1.0 - 0.1 \times 3.0 = 0.7$； - GPU 1 更新：$W_1 = 1.0 - 0.1 \times 3.0 = 0.7$。

看，两张卡没有在更新后互相拷贝庞大的模型权重，但两边的模型参数依然完全相同！这样通信量最小，只在反向时同步一次梯度即可。

一句话边界： DDP 只把“数据”切碎分发，不切模型；因此单张显卡的显存，必须能完整塞下一个模型和对应的单卡激活值。

本课给出的出处：[1] [2]

02 · 小练习约 6 分钟

只做一个最小例子

输入： - 卡0局部梯度 g0 = torch.tensor([2.0, 4.0]) - 卡1局部梯度 g1 = torch.tensor([4.0, 8.0]) - 两卡初始权重均为 w = torch.tensor([1.0, 1.0])，学习率 lr = 0.1

任务：补全一行代码，计算两卡的全局平均梯度 g_avg，并验证两张卡用该梯度更新后的权重完全一致。

import torch

g0 = torch.tensor([2.0, 4.0])
g1 = torch.tensor([4.0, 8.0])
w0 = torch.tensor([1.0, 1.0])
w1 = torch.tensor([1.0, 1.0])
lr = 0.1

# 请在下方补全一行，计算平均梯度 g_avg
g_avg = ...

w0 = w0 - lr * g_avg
w1 = w1 - lr * g_avg
print("w0:", w0)
print("w1:", w1)

先动手，再对照验收

验收结果：w0 与 w1 均输出 tensor([0.7000, 0.4000])。原因推导：平均梯度为 ([2.0, 4.0] + [4.0, 8.0]) / 2 = [3.0, 6.0]；更新值为 [1.0, 1.0] - 0.1 * [3.0, 6.0] = [0.7, 0.4]。

03 · 自测约 2 分钟

合上讲解，回忆两件事

DDP 在每次反向传播后，多张显卡之间传递的是什么数据？

梯度（而不是前向输出或模型权重）

为什么 DDP 训练中各卡的模型参数不需要互相复制就能保持一致？

初始权重相同，且每张卡用完全相同的平均梯度执行确定性更新

今天到这里就够了。能讲清核心，并解释小练习的结果，就完成了今日学习。

感兴趣，再往下读

以下均为选读，可随时回来查。

进阶解释 · 推导、背景与适用边界

进阶说明（为什么不用早期的 DataParallel / DP）： 1. DP (单进程多线程)：存在 Python GIL 锁限制，且主卡（GPU 0）负责汇总所有卡的前向输出、计算总损失、分发梯度，主卡显存和通信带宽严重拥堵（俗称“主卡累死，副卡摸鱼”）。 2. DDP (多进程)：每个 GPU 绑定一个独立的 Python 进程，没有 GIL 瓶颈。梯度同步采用 Ring All-Reduce 或 Tree All-Reduce 算法，显卡之间直接两两通信互传分块梯度，不再依赖单一主卡中转。 3. 重叠通信（Bucket Bucketizing）：在真实 PyTorch DDP 中，甚至不需要等所有层都反向算完。后几层的梯度算完后，立刻在后台启动网络传输，与前几层的反向传播计算并行重叠，进一步掩盖通信耗时。

参考实现与代码扩展

import torch

# 模拟两张卡上的反向传播梯度
g0 = torch.tensor([2.0, 4.0])
g1 = torch.tensor([4.0, 8.0])

# 两张卡的初始权重（必须严格一致）
w0 = torch.tensor([1.0, 1.0])
w1 = torch.tensor([1.0, 1.0])
lr = 0.1

# 核心步骤：模拟 All-Reduce 求平均梯度
g_avg = (g0 + g1) / 2.0

# 两卡各自用平均梯度独立更新
w0 = w0 - lr * g_avg
w1 = w1 - lr * g_avg

# 自动化断言检查
expected = torch.tensor([0.7, 0.4])
assert torch.allclose(w0, expected), f"w0 预期 {expected}, 得到 {w0}"
assert torch.allclose(w1, expected), f"w1 预期 {expected}, 得到 {w1}"
print("验证通过！两卡权重完全同步：", w0)

代码说明与扩展

常见误区与注意点： 1. 漏除卡数：如果只做梯度求和（Sum Reduce）而不除以卡数，等效于将学习率放大了 $N$ 倍，容易导致训练震荡甚至 NaN。在 DDP 中通常默认自动按 World Size 求均值。 2. 随机种子（Random Seed）：两张卡如果初始权重不同，即便每次加上相同的负梯度，权重也永远不可能对齐。因此 DDP 启动时，主进程通常会将权重统一广播给所有子进程，或者使用固定相同的全局随机种子初始化模型。

引用、原始出处与进一步阅读

本课给出的出处

[1] Dive into Deep Learning 多GPU训练与All-Reduce梯度均值原理d2l.ai [2] PyTorch Tutorials DistributedDataParallel多进程多卡同步机制pytorch.org

往期课程库 · 165 期

441 条主题记录 · 164 期可阅读 · 1 组尚未归档

2026年11月 · 11 期

2026年11月11日

语音增强基础：今天真正弄懂
语音增强基础：动手实现