MFU 与利用率分析
给定模型与硬件，可以算出每步的理论 FLOPs 与峰值时间；实际时间与之的比值即 MFU。本章给出计算方法、业界典型数值（大规模训练 35–50%），以及把差距分解到计算/通信/数据/同步的方法。
- MFU 低于 30% 通常有明显的系统问题
- 通信重叠与算子融合是最常见的两个杠杆
- 推理的等价指标是有效带宽利用率
给定模型与硬件，可以算出每步的理论 FLOPs 与峰值时间；实际时间与之的比值即 MFU。本章给出计算方法、业界典型数值（大规模训练 35–50%），以及把差距分解到计算/通信/数据/同步的方法。