跳转到内容

统一度量:FLOPs、MFU、tokens/s、$/token

本章定义全书使用的度量:峰值与实际 FLOPs、模型 FLOPs 利用率(MFU)与硬件 FLOPs 利用率(HFU)、训练吞吐 tokens/s、推理 TTFT/TPOT/吞吐、每百万 token 成本。

  • MFU 只计入模型必要计算,重计算算在 HFU 中
  • TTFT(首 token 延迟)与 TPOT(每 token 延迟)是推理的两个独立 SLO
  • $/token 由硬件折旧、能耗与利用率共同决定