对象存储、并行文件系统与本地缓存

上一章讲了检查点怎么写，这一章讲写在哪。训练集群的存储是三层结构：本地 NVMe（快、小）、并行文件系统（快、共享）、对象存储（慢、大、安全）。每一层有自己的角色，选错层是存储性能问题的第一来源。本章给一张清晰的分工表与流量模型。

三层存储的角色

层	典型带宽（聚合）	容量	延迟	角色
本地 NVMe	每 node 数 GB/s	每 node 4–16 TB	~100 μs	工作区：token 流、最近检查点、热数据
并行文件系统（Lustre/GPFS/JuiceFS）	集群级 100 GB/s–1 TB/s	10 PB 级	~ms	共享区：数据集、检查点仓库
对象存储（S3/OSS/MinIO）	按带宽包	无限	~10–100 ms	仓库：冷数据、灾备、发布

三条铁律：

一、训练的热数据（token 流）必须在本地 NVMe。对象存储的延迟（10–100 ms）与抖动是数据管道（数据加载）的天敌——每步都打对象存储的集群，GPU 利用率注定锯齿。

二、并行文件系统是"集群共享的中间层"：数据集放这里，所有节点都能读；检查点仓库放这里，任何节点都能恢复。

三、对象存储做仓库与灾备：数据的最终家、检查点的异地副本、模型发布的地方——它不参与训练的热路径。

一次训练的存储流量，三种不同性质：

检查点的突发写入是存储设计的第一挑战：万卡集群每 30 分钟同时写 TB 级——并行文件系统的聚合带宽必须扛住这个突发，否则检查点的写入时间失控（挤占训练）。

一个 1000 节点（8000 卡）训练集群的典型配置：

规划公式：

标准流程：对象存储（仓库）→ 并行 FS（集群共享）→ 本地 NVMe（工作区）：

训练开始前：
  1. 数据集从对象存储拉到并行 FS（一次性，可复用）
  2. token 流从并行 FS 预热到各节点本地 NVMe（按节点分片）
  3. 训练只读本地 NVMe（顺序读，零远程依赖）

预热是训练启动的标准步骤（几 TB 到几十 TB 的分发要提前做）；训练中途才发现数据没预热，是新手集群最常见的断粮原因。