跳转到内容

All-Reduce

定义:每个进程贡献一个张量,所有进程得到逐元素求和(或其他规约)的结果;Ring 实现通信量约 2(n1)/nS2(n-1)/n \cdot S

出处NCCL 与集合通信算法