对象存储、并行文件系统与本地缓存
对象存储(S3 类)便宜、可扩展但延迟高;并行文件系统(Lustre、GPFS、WEKA)提供 POSIX 与高吞吐;本地 NVMe 做缓存层。本章给出典型的三层架构与数据放置策略。
- 训练数据集通常一次写多次读,适合对象存储 + 缓存
- 检查点写入需要突发带宽
- 元数据操作是并行文件系统的常见瓶颈
对象存储(S3 类)便宜、可扩展但延迟高;并行文件系统(Lustre、GPFS、WEKA)提供 POSIX 与高吞吐;本地 NVMe 做缓存层。本章给出典型的三层架构与数据放置策略。