检查点保存与恢复

万卡训练每小时都有东西在坏（见训练容错），检查点是唯一的安全网。但检查点本身就是个工程挑战：70B 模型的完整状态 ~1.1 TB，写入太慢会挤占训练（每次停顿几分钟），恢复太慢会放大故障损失。本章讲清楚 TB 级检查点的保存、恢复、与存储格式的完整设计。

检查点里有什么

完整训练状态 = 模型 + 一切恢复所需：

合计 ~16 B/参数：7B 模型 112 GB，70B 模型 1.1 TB，175B 模型 2.8 TB。少存任何一项（游标、RNG、schedule），恢复后的训练状态就不连续——loss 跳变或隐性漂移。

与训练的分片对齐（ZeRO/FSDP 的每卡分片）：每卡只写自己的分片，写入带宽随卡数线性扩展：

	单文件检查点	分片检查点
写入	一个进程写 1.1 TB（~2 分钟 @10GB/s）	70B/8 卡：每卡 137 GB 并行写（~15 s）
恢复灵活性	死板（拓扑变了就麻烦）	按新拓扑重新分片加载（弹性恢复的基石）
工具	—	torch distributed checkpoint、DeepSpeed

分片是唯一的正解，单文件检查点在 TB 级根本写不动也读不快。

同步保存的停顿 = 写入时间（70B 约 2 分钟/次，每 30 分钟一次 = 6% 的训练时间在停顿）。异步化：

同步：训练 ──停顿──写盘──继续     ← 停顿挤占训练
异步：训练 ──快照到 CPU 内存──继续
              └──后台写盘（与训练并行）    ← 几乎零停顿

快照到 CPU 内存（GPU 侧先分页拷出），后台线程/进程写盘——现代实现（torch async checkpoint）已把停顿压到秒级。

恢复时间公式（见训练容错）：

T_{\text{恢复}} = T_{\text{重启}} + \frac{\text{检查点大小}}{\text{读取带宽}} + T_{\text{验证}}

以 70B（1.1 TB）为例：

三个加速手段：

一、多流并行读：分片检查点的天然优势——所有卡的存储通道并行读，带宽随卡数扩展

二、本地缓存：最近一个检查点放在本地 NVMe（快），更早的放对象存储（安全）——恢复从本地读，异地只做灾备

三、按新拓扑重新分片：坏了几张卡后，集群拓扑变了——分片检查点按新拓扑映射加载（某些分片要从备份重算/重切），torch distributed checkpoint 的 resharding

恢复演练：每 N 个检查点做一次真实恢复（加载 → 跑几步 → loss 连续性验证）——没演练过的检查点等于没有检查点（见训练容错）。

格式	特点	适用
torch .pt/.pth	简单，单文件	小模型、原型
safetensors	安全（零 pickle）、快	模型分发、推理加载
torch distributed checkpoint (dcp)	分片、异步、reshard	训练检查点首选
DeepSpeed 格式	分片、与 DS 配套	DS 用户
HF 格式	社区分发标准	发布模型时转换

训练用分片格式（dcp），发布转 safetensors/HF 格式——两种用途两种格式。