混合并行与配置方法论
给定模型规模、集群拓扑与 batch 大小，如何确定 DP/TP/PP/CP/EP 各自的度？本章给出从显存约束出发、再看通信、最后调气泡与重叠的决策流程，以及自动并行搜索工具的现状。
- 先满足显存，再最小化跨节点通信，最后调重叠
- 全局 batch 受收敛约束，不能无限增大
- Alpa/Galvatron 等自动并行的可用程度
给定模型规模、集群拓扑与 batch 大小，如何确定 DP/TP/PP/CP/EP 各自的度？本章给出从显存约束出发、再看通信、最后调气泡与重叠的决策流程，以及自动并行搜索工具的现状。