开源项目

本百科讨论的各层技术的核心开源实现。

项目列表

• 训练：Megatron-LM、DeepSpeed、PyTorch FSDP、torchtitan、NeMo、Accelerate（→ 第四卷）
• 推理：vLLM、SGLang、TensorRT-LLM、llama.cpp、LMDeploy（→ 第六卷）
• 内核与编译：Triton、CUTLASS、FlashAttention、torch.compile/Inductor、XLA/JAX（→ 第五卷）
• 调度与集群：Volcano、Kueue、Ray、Slurm（→ 第八卷）
• 可观测：DCGM、Nsight Systems/Compute、PyTorch Profiler、Perfetto（→ 第九卷）
• 数据与检查点：DALI、WebDataset、torch.distributed.checkpoint、safetensors（→ 第七卷）
• 通信：NCCL、RCCL、HCCL（→ 第三卷）