MFU（Model FLOPs Utilization）

定义：有效模型 FLOPs 与硬件峰值算力之比；transformer 训练的近似为 $\text{MFU} = \frac{6N \times \text{tokens/s}}{\text{峰值算力}}$（前向 2N + 反向 4N）。

关键数字：千卡级优化良好 50–60%，万卡级 ~40%（Llama 3 实测）；<30% 值得排查。比较前先对齐分母（精度/稠密度），且用 MFU 不用 HFU（HFU 含重计算会虚高）。

出处：MFU 与利用率分析。