ZeRO

定义：分三阶段把优化器状态、梯度、参数分片到各数据并行 rank，消除 DP 的纯冗余，以显存换通信。

关键数字：混合精度训练显存 ≈ 16 B/参数（参数 2 + 梯度 2 + 优化器 12）；7B 模型 112 GB。ZeRO-1/2 分片免费（借 all-reduce 的两半），ZeRO-3 通信 ×1.5 但能装百亿模型；FSDP 是 PyTorch 的 ZeRO-3 实现。