Straggler 与静默错误
同步训练中一张慢卡拖慢全部；更危险的是静默数据损坏（SDC）——GPU 算出错误结果却不报错。本章讨论 straggler 的成因（功耗封顶、散热、网络）与检测、以及用冗余计算或校验发现 SDC。
- 定期跑基准识别性能退化的节点
- 损失曲线异常可能是 SDC 而非超参问题
- 大集群中每天都有硬件在坏
同步训练中一张慢卡拖慢全部；更危险的是静默数据损坏（SDC）——GPU 算出错误结果却不报错。本章讨论 straggler 的成因（功耗封顶、散热、网络）与检测、以及用冗余计算或校验发现 SDC。