All-Reduce

定义：每个进程贡献一个张量，所有进程得到逐元素求和（或其他规约）的结果。

关键数字：Ring 实现的时间 $T = 2\frac{p-1}{p}\cdot\frac{S}{B}$（$p$ 卡、消息 $S$、最慢链路 $B$）；可拆为 reduce-scatter + all-gather（ZeRO 的基础）。

出处：NCCL 与集合通信算法、数据并行与 ZeRO / FSDP。