跳转到内容

指标、Profiler 与追踪

利用率数字会骗人:nvidia-smi 的 100% 只表示有内核在跑。本章介绍各层的观测工具(DCGM、Nsight Systems/Compute、PyTorch Profiler、NCCL 日志)、如何读时间线,以及训练作业应长期采集的最小指标集。

  • SM 活跃度、Tensor Core 利用率与 HBM 带宽才是有效指标
  • 时间线上的空隙对应数据、通信或同步等待
  • 每个作业持续记录 tokens/s 与 MFU