第七卷 · 存储与数据管道

GPU 等数据是最昂贵的浪费。本卷讲训练数据如何从对象存储流到 GPU，以及 TB 级检查点如何在不阻塞训练的前提下落盘。

本卷结构

• 第一部分 · 数据管道：训练数据管道与 tokenization、数据加载性能。
• 第二部分 · 检查点与存储系统：检查点保存与恢复、对象存储、并行文件系统与本地缓存。

前置

第一卷。