RDMA：InfiniBand 与 RoCE
RDMA 让网卡直接读写远端内存，GPUDirect RDMA 进一步绕过主机内存。本章比较 InfiniBand 与 RoCEv2 在无损要求、拥塞控制、运维复杂度上的差异，以及为何 RoCE 集群更容易出现难以定位的性能抖动。
- 无损以太网依赖 PFC，PFC 风暴是 RoCE 的经典故障
- GPUDirect RDMA 需要网卡与 GPU 在同一 PCIe 交换机下
- 带宽相同不等于性能相同，尾延迟决定集合通信速度
RDMA 让网卡直接读写远端内存，GPUDirect RDMA 进一步绕过主机内存。本章比较 InfiniBand 与 RoCEv2 在无损要求、拥塞控制、运维复杂度上的差异，以及为何 RoCE 集群更容易出现难以定位的性能抖动。