流水线并行

把模型按层切成若干 stage 放到不同 GPU，微批次（micro-batch）依次流过。气泡（bubble）比例约为 $(p-1)/m$ 。本章比较 GPipe、1F1B、交错 1F1B 与零气泡调度。