激活内存：重计算与卸载
激活内存随序列长度与 batch 线性增长，往往超过参数本身。激活重计算（checkpointing）用约 30% 额外计算换取显存；卸载到 CPU/NVMe 则受 PCIe 带宽限制。本章给出选择性重计算与卸载的适用边界。
- 选择性重计算只重算注意力等便宜部分
- 卸载适合优化器状态，不适合频繁访问的激活
- FlashAttention 已消除注意力矩阵的激活
激活内存随序列长度与 batch 线性增长，往往超过参数本身。激活重计算（checkpointing）用约 30% 额外计算换取显存；卸载到 CPU/NVMe 则受 PCIe 带宽限制。本章给出选择性重计算与卸载的适用边界。