Gang Scheduling、抢占与回填

多团队共享一个 GPU 集群时，调度器要回答三个永恒的问题：大作业怎么整组进（gang）、被抢了怎么办（preemption）、空闲碎片怎么填（backfill）。这三个机制的组合决定集群的利用率与公平性——利用率 40% 和 80% 的集群，同样是 1000 卡，产出差一倍。

Gang Scheduling：整组进或整组等

训练作业的天然属性是 all-or-nothing：64 卡的作业来了一半卡位，启动也没用（凑不齐就死锁，见训练容错）。

调度方式	行为	问题
逐 Pod（K8s 默认）	有卡就起	死锁：两个大作业各拿一半，互相等
Gang（整组）	凑齐全部才启动，否则整组等	大作业可能长期等不到

gang 解决死锁，但引入新问题：大作业的等待时间——64 卡的作业要等 64 卡同时空闲，碎片化越严重等得越久。这就需要回填。

回填：大作业排队等待时，小作业填进碎片空闲里——只要不推迟大作业的预期启动时间（EASY backfill：预留大作业需要的资源）：

时间 →  大作业（64卡，等待中，预留从 T0 开始的资源）
        小作业（4卡）███ 填进碎片（在 T0 之前结束）
        小作业（8卡）████ 填进另一段碎片

三个效果：

Slurm 的 backfill 原生支持（schedtype=backfill）；K8s 靠 Volcano/Kueue。回填是"利用率免费提升"的核心机制——生产集群不开 backfill，利用率常低 20–30%。

抢占：高优先级作业来了，低优先级的正在跑——抢不抢、抢谁、怎么恢复：

抢占的代价被低估了：被抢的训练作业不是"暂停"，是"作废回检查点"——GPU 上没有真正的 suspend（显存必须释放），被抢 = 杀掉 + 从检查点恢复。每次抢占的真实成本 = 恢复时间 + 丢失的进度（见容错的账）。

所以生产集群的抢占设计要克制：

三个机制对集群利用率的贡献，算一笔账（1000 卡、平均利用率）：

从 50% 到 85% 的利用率提升，等于免费的 70% 算力——这比任何内核优化的绝对收益都大（见效率与成本卷）。调度策略是"最便宜的性能优化"。