流水线气泡 Pipeline Bubble

定义：各 stage 等待上下游导致的空闲时间，流水线未填满时一部分卡空等。

关键数字：气泡占比 = $(p-1)/M$（$p$ 为流水线深度，$M$ 为微批数）；要求 $M \ge 4p$ 起步，否则近半算力在空等。交错调度用通信次数 ×$v$ 换气泡 ÷$v$。

出处：流水线并行。