开源项目

本章要点

• 训练：Megatron-LM、DeepSpeed、PyTorch FSDP、torchtitan、NeMo、Accelerate
• 推理：vLLM、SGLang、TensorRT-LLM、llama.cpp、LMDeploy
• 内核与编译：Triton、CUTLASS、FlashAttention、torch.compile、XLA/JAX
• 调度：Volcano、Kueue、Ray、Slurm
• 可观测：DCGM、Nsight、PyTorch Profiler、Perfetto
• 数据与检查点：DALI、WebDataset、torch.distributed.checkpoint、safetensors