指标、Profiler 与追踪
利用率数字会骗人:nvidia-smi 的 100% 只表示有内核在跑。本章介绍各层的观测工具(DCGM、Nsight Systems/Compute、PyTorch Profiler、NCCL 日志)、如何读时间线,以及训练作业应长期采集的最小指标集。
- SM 活跃度、Tensor Core 利用率与 HBM 带宽才是有效指标
- 时间线上的空隙对应数据、通信或同步等待
- 每个作业持续记录 tokens/s 与 MFU
利用率数字会骗人:nvidia-smi 的 100% 只表示有内核在跑。本章介绍各层的观测工具(DCGM、Nsight Systems/Compute、PyTorch Profiler、NCCL 日志)、如何读时间线,以及训练作业应长期采集的最小指标集。