分布式训练与并行

并行策略的经典论文，本百科第四卷的主要依据。

论文列表

• Shoeybi et al. (2019) "Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism"——张量并行的奠基论文：列切/行切组合（→ 第四卷）
• Rajbhandari et al. (2020) "ZeRO: Memory Optimizations Toward Training Trillion Parameter Models"——三阶段状态分片（→ 第四卷）
• Huang et al. (2019) "GPipe"；Narayanan et al. (2021) "Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM"——流水线并行与交错 1F1B（→ 第四卷）
• Liu et al. (2023) "Ring Attention with Blockwise Transformers for Near-Infinite Context"；Jacobs et al. (2023) "DeepSpeed-Ulysses"——序列/上下文并行的两条路线（→ 第四卷）
• Fedus et al. (2022) "Switch Transformers"；DeepSeek-AI (2024) "DeepSeek-V3 Technical Report"——MoE 的两个里程碑与 FP8 训练实践（→ 第四卷）
• Hoffmann et al. (2022) "Training Compute-Optimal Large Language Models"（Chinchilla）——参数与 token 的最优配比（→ 第一卷）
• Kaplan et al. (2020) "Scaling Laws for Neural Language Models"——缩放定律的原始论文（→ 第一卷）