第三卷 · 网络与通信

千卡以上训练的时间有相当比例花在等待通信上。本卷讲清楚字节如何从一块 GPU 的显存到另一台机器的显存，以及集合通信的代价模型。

本卷结构

• 第一部分 · 网络结构：RDMA：InfiniBand 与 RoCE、拓扑：胖树、轨道优化与并行映射。
• 第二部分 · 集合通信：NCCL 与集合通信算法、拥塞、抖动与网络故障。

前置

第二卷第二部分。