跳转到内容

Straggler

定义:因硬件、散热、网络或软件原因运行显著慢于其他节点的进程,在同步训练中决定整体速度。

关键数字:同步训练无摊薄——一个节点慢 10%,全集群慢 10%;检测靠按节点分解 step 时间,处理三板斧:确认(隔离重测)→ 隔离(踢出)→ 预防(锁频 + 性能基线)。

出处:Straggler 与静默错误。