定义:每个进程贡献一个张量,所有进程得到逐元素求和(或其他规约)的结果;Ring 实现通信量约 2(n−1)/n⋅S2(n-1)/n \cdot S2(n−1)/n⋅S。
出处:NCCL 与集合通信算法。