检查点保存与恢复

大模型检查点包含分片的参数与优化器状态，规模可达数 TB。本章讨论分布式检查点格式、异步与分层保存、并行策略变化时的重新分片（resharding），以及恢复时间的优化。