跳转到内容

对象存储、并行文件系统与本地缓存

对象存储(S3 类)便宜、可扩展但延迟高;并行文件系统(Lustre、GPFS、WEKA)提供 POSIX 与高吞吐;本地 NVMe 做缓存层。本章给出典型的三层架构与数据放置策略。

  • 训练数据集通常一次写多次读,适合对象存储 + 缓存
  • 检查点写入需要突发带宽
  • 元数据操作是并行文件系统的常见瓶颈