跳转到内容

故障检测、隔离与恢复

故障处理的完整链路:健康检查 → 快速检测 → 隔离节点 → 从检查点恢复 → 补充节点。本章给出各环节的目标时间与实现方式,以及”有效训练时间占比”(goodput)这一综合指标。

  • Goodput = 有效训练时间 / 总时间
  • 热备节点缩短补充时间
  • 自动化故障处理是万卡训练的前提