Slurm 与 Ray
Slurm 是超算中心的标准,成熟、拓扑感知好、但对容器与服务型负载支持弱;Ray 提供 Python 原生的分布式原语,适合数据处理、RL 与推理编排。本章比较两者以及”Kubernetes 上跑 Slurm/Ray”的混合方案。
- Slurm 的作业数组与依赖适合大规模扫参
- Ray 的 actor 模型适合异构、动态的负载
- 很多组织同时运行两套系统
Slurm 是超算中心的标准,成熟、拓扑感知好、但对容器与服务型负载支持弱;Ray 提供 Python 原生的分布式原语,适合数据处理、RL 与推理编排。本章比较两者以及”Kubernetes 上跑 Slurm/Ray”的混合方案。