Roofline 模型

定义：以算术强度（FLOPs/字节）为横轴、可达性能为纵轴，$P = \min(P_{\text{peak}},\ I \times B_{\text{peak}})$——指出一个核是受限于算力还是带宽。

关键数字：机器平衡点 $I_{\text{balance}} = P_{\text{peak}}/B_{\text{peak}}$，H100（BF16）约 295 FLOPs/byte；矩阵乘的算术强度随尺寸线性增长（4096³ ≈ 1365），逐元素算子 ~0.17，解码读权重 ~1。

出处：算术强度与 Roofline。