混合并行与配置方法论

真实的千亿模型训练从不用单一并行方式，而是 TP × PP × DP（× SP/CP × EP）的 3D/4D 组合。本章给出配置的完整方法论：每种并行的"先后顺序"、每种度怎么从集群与模型的约束里推出来、以及一个可以直接套用的推导模板。

总原则：按通信代价排优先级

四种并行通信量与频率完全不同，配置顺序就藏在这里：

优先级	并行	通信特征	为什么先/后
①	DP（ZeRO）	每 step 一次梯度 all-reduce，可重叠	通信可藏，扩展最线性
②	TP + SP	每层 4 次 all-reduce，GB 级	通信贵，必须 NVLink 域内
③	EP	每层 2 次 all-to-all	通信贵且乱，尽量节点内
④	PP	每 step 2 次边界激活	通信最便宜，跨机可用，但气泡贵
⑤	CP	环形传 K/V	只在长序列时启用

推导顺序（从零开始配一个训练）：

问题：7B 模型（dense，hidden 4096，32 层）、seqlen 8k、256 张 H100（32 节点 × 8 卡）、NVLink 域内 + 400G IB 跨机。

第一步：TP。 7B 单层装得下，但 8k 序列的激活大：batch 4 × 8k × 4096 的激活每层 ~6 GB，单卡还要装权重 14 GB + 激活 + KV。选 TP=4（配 SP）：权重 3.5 GB、激活 ÷4。

第二步：PP。 TP=4 占 4 卡，单卡还有余量，理论上不用 PP。但 8k 序列的 KV/激活在大 batch 下会溢出——选 PP=2 摊一半层。

第三步：DP。 4 × 2 = 8 卡一组，256 ÷ 8 = DP=32。

第四步：验证。

配置：TP=4 × PP=2 × DP=32（+SP）。每一步都是约束推出来的，不是拍脑袋。

每个并行度都有硬约束，配置前先对表：

全局 batch 是所有度的交汇点：

\text{全局 batch} = \text{DP} \times \text{微批} \times \text{CP 段数} \times \text{每微批 token 数}

它必须落在训练稳定区间（大模型典型 1M–64M token）——这个约束反过来限制 PP 的微批数、DP 的规模，是混合并行里最常被忽略的联动约束。

配置定稿前，把单卡显存完整算一遍（7B、TP=4、PP=2、微批 4、8k 序列）：

留 20–30% 余量给碎片与峰值——显存打满是 OOM 的第一来源。

配置跑起来后，调优按收益排序：