训练容错与弹性

集群规模越大，故障间隔越短。本章讨论异步检查点、快速恢复、弹性伸缩（节点数变化时重新划分并行组）以及静默数据损坏的检测。

本章要点

检查点频率由 MTBF 与恢复成本共同决定
异步/分层检查点把保存时间从分钟降到秒
弹性训练需要并行策略能在线重配置

相关阅读

检查点保存与恢复