MFU 与利用率

"训练快不快"需要一个统一的度量。MFU（Model FLOPs Utilization）是事实标准：实际训练吞吐 ÷ 理论峰值算力。它是集群效率的"第一指标"——但它有很多陷阱（数什么 FLOPs、什么算有效）。本章把 MFU 讲透：定义、典型值、低 MFU 的排查方法。

定义：一个数，两个口径

\text{MFU} = \frac{\text{每秒的有效模型 FLOPs}}{\text{硬件峰值算力}}

有效模型 FLOPs（transformer 训练的标准近似）：

\text{每 token FLOPs} \approx 6N \quad \text{（N 是参数量；前向 2N + 反向 4N）}

\text{MFU} = \frac{6N \times \text{tokens/s}}{\text{全集群峰值算力}}

两个口径的陷阱：

HFU（Hardware FLOPs Utilization）：按"实际执行的 FLOPs"算（含重计算、padding）——重计算会让 HFU 高但 MFU 低：每层重计算让实际执行 FLOPs ×1.33，但有效工作没变。比较用 MFU，不用 HFU
峰值算力的精度：989 TFLOPS 是 H100 BF16 稠密；用 FP8 峰值（1979）或稀疏峰值（×2）作分母，MFU 数字直接翻倍——比较前先对齐分母

公开的大模型训练 MFU（同口径：BF16 稠密峰值、含通信不含重计算）：

两个经验数字：千卡级以内优化好能到 50–60%；万卡级 40% 上下（通信与容错的开销随规模涨）。MFU 30% 以下值得排查，25% 以下有问题。

MFU 低 = step 时间被浪费。按四段分解（见 profiling）定位：

先分解，再对症——没有分解的低 MFU 排查全是猜。

两个常被混淆的指标：

util 高不代表 MFU 高：util 100% 的逐元素负载 MFU 不到 1%。util 用来发现"空转"（数据饥饿、同步等待），MFU 用来度量"算力效率"——两个指标一起看。

每一步都有数字验证（MFU 前后对比）——提升路径是"测出来的"，不是"配置出来的"。