跳转到内容

集群级利用率

集群的 GPU 有三种状态:未分配、分配但空闲、真正在算。本章讨论如何测量每一层的浪费、常见原因(排队碎片、交互式开发占坑、作业失败重跑),以及组织层面的改进措施。

  • 真实利用率 = 分配率 × 分配后使用率 × MFU
  • 交互式开发环境是空闲的主要来源
  • 让浪费可见比任何调度算法都有效