跳转到内容

书籍

系统性的教材与在线书籍,按对应卷次标注。

  • Kirk & Hwu《Programming Massively Parallel Processors》——CUDA 与并行编程的标准教材,GPU 架构与内核优化的基础(→ 第二、五卷)
  • Hennessy & Patterson《Computer Architecture: A Quantitative Approach》——体系结构的定量方法:内存层次与 roofline 的原始出处(→ 第二卷)
  • Chip Huyen《Designing Machine Learning Systems》《AI Engineering》——MLOps 与 AI 工程的系统综述(→ 第十一卷)
  • Google《How to Scale Your Model》(JAX Scaling Book,在线免费)——并行与性能建模最清晰的在线书, Shard 系列作者执笔(→ 第一、四卷)
  • Hugging Face《The Ultra-Scale Playbook》(在线免费)——5D 并行的动手实践(→ 第四卷)
  • Stas Bekman《Machine Learning Engineering Open Book》(在线免费)——一线大模型训练工程经验(→ 第四、九卷)