第五卷 · 编译器与内核

框架给出的默认内核往往只发挥硬件的一部分。本卷讲如何理解并编写高效内核，以及编译器在多大程度上能替你做这件事。

本卷结构

• 第一部分 · 编程模型与编译器：CUDA 编程模型、Triton：块级编程、torch.compile、Inductor 与 XLA。
• 第二部分 · 关键内核：FlashAttention 与算子融合、混合精度与 FP8、GEMM、cuBLAS/CUTLASS 与算子库。

前置

第二卷第一部分。