集群、可靠性与规模化

万卡级集群与可靠性的一手材料，本百科第八、九卷的主要依据。

论文列表

• Jiang et al. (2024) "MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs"（字节）——万卡训练的完整工程实践：故障频率、MFU 分析、通信优化（→ 第八、九卷）
• Meta (2024) "The Llama 3 Herd of Models" 技术报告的基础设施章节——419 次中断的故障统计与容错实践（→ 第九卷）
• Meta (2022) "Silent Data Corruptions at Scale"——SDC 的真实规模与主动检测（→ 第九卷）
• Jeon et al. (2019) "Analysis of Large-Scale Multi-Tenant GPU Clusters for DNN Training"（微软）——多租户 GPU 集群的负载分析（→ 第八卷）
• Weng et al. (2022) "MLaaS in the Wild"（阿里 PAI）——生产集群的工作负载与故障分析（→ 第八、十卷）
• Google (2023) "Resiliency at Scale: Managing Google's TPUv4 Machine Learning Supercomputer"——TPU pod 的可靠性运维（→ 第九卷）
• Chowdhury et al. (2024)? "DistServe / Splitwise 系列"——P/D 分离与 SLO（→ 第六卷，见推理文献页）