跳转到内容
AI Infra 百科
搜索
Ctrl
K
取消
选择主题
深色
浅色
自动
第一卷 · 全景与基础
第二卷 · 硬件与算力
第三卷 · 网络与通信
第四卷 · 分布式训练
第五卷 · 编译器与内核
第六卷 · 推理与服务
第七卷 · 存储与数据管道
第八卷 · 调度与集群
第九卷 · 可观测性与可靠性
第十卷 · 效率与成本
第十一卷 · 平台与 MLOps
第十二卷 · 安全与治理
术语表
参考文献与延伸阅读
导读
第一部分 · 网络结构
RDMA:InfiniBand 与 RoCE
拓扑:胖树、轨道优化与并行映射
第二部分 · 集合通信
NCCL 与集合通信算法
拥塞、抖动与网络故障
选择主题
深色
浅色
自动
第三卷 · 网络与通信
›
第二部分 · 集合通信
›
拥塞、抖动与网络故障
拥塞、抖动与网络故障
同步训练中任何一条链路的抖动都会拖慢全局。本章讨论 incast 拥塞、ECMP 哈希不均、光模块误码等常见原因,以及通信层面的诊断方法。
本章要点
Section titled “本章要点”
一根光模块的误码率升高足以让万卡训练慢 20%
定期跑 NCCL 测试建立带宽基线
流量工程:多路径与自适应路由
相关阅读
Section titled “相关阅读”
Straggler 与静默错误