训练与推理的负载特征
训练是吞吐导向、同步、长时间运行、可容忍延迟；推理是延迟导向、异步、请求粒度小、对成本敏感。本章比较两者在计算密度、内存访问模式、通信模式与故障容忍上的差异。
- 训练受限于集合通信与检查点，推理受限于 KV cache 内存与批处理
- Prefill 是计算密集，Decode 是内存带宽密集
- 同一集群同时服务两者时的资源争用
训练是吞吐导向、同步、长时间运行、可容忍延迟；推理是延迟导向、异步、请求粒度小、对成本敏感。本章比较两者在计算密度、内存访问模式、通信模式与故障容忍上的差异。