书籍
系统性的教材与在线书籍,按对应卷次标注。
- Kirk & Hwu《Programming Massively Parallel Processors》——CUDA 与并行编程的标准教材,GPU 架构与内核优化的基础(→ 第二、五卷)
- Hennessy & Patterson《Computer Architecture: A Quantitative Approach》——体系结构的定量方法:内存层次与 roofline 的原始出处(→ 第二卷)
- Chip Huyen《Designing Machine Learning Systems》《AI Engineering》——MLOps 与 AI 工程的系统综述(→ 第十一卷)
- Google《How to Scale Your Model》(JAX Scaling Book,在线免费)——并行与性能建模最清晰的在线书, Shard 系列作者执笔(→ 第一、四卷)
- Hugging Face《The Ultra-Scale Playbook》(在线免费)——5D 并行的动手实践(→ 第四卷)
- Stas Bekman《Machine Learning Engineering Open Book》(在线免费)——一线大模型训练工程经验(→ 第四、九卷)