AI 基础设施的分层
本章给出全书使用的分层：加速器与内存 → 节点内互连 → 集群网络 → 分布式运行时 → 编译器与内核 → 训练/推理框架 → 调度与平台。每一层的瓶颈都会以”利用率损失”的形式向上传导。
- 每层都有自己的”带宽/延迟/容量”三角
- 优化只在瓶颈层有效，其他层的优化会被掩盖
- 本书各卷与分层的对应关系
本章给出全书使用的分层：加速器与内存 → 节点内互连 → 集群网络 → 分布式运行时 → 编译器与内核 → 训练/推理框架 → 调度与平台。每一层的瓶颈都会以”利用率损失”的形式向上传导。