GEMM、cuBLAS/CUTLASS 与算子库
矩阵乘法是训练与推理的绝对主体。本章介绍 cuBLAS、CUTLASS 的分层结构、如何选择 tile 配置、批量小矩阵（grouped GEMM）的处理，以及为什么维度对齐到 64/128 会有显著差异。
- GEMM 性能对 M/N/K 的对齐高度敏感
- CUTLASS 提供可组合的模板便于定制融合
- MoE 需要 grouped GEMM
矩阵乘法是训练与推理的绝对主体。本章介绍 cuBLAS、CUTLASS 的分层结构、如何选择 tile 配置、批量小矩阵（grouped GEMM）的处理，以及为什么维度对齐到 64/128 会有显著差异。