序列与上下文并行
当序列长度达到数十万 token，单卡放不下一个序列的激活。上下文并行（Ring Attention、DeepSpeed-Ulysses）在序列维度切分并在注意力计算中交换 KV。本章比较两者的通信模式与适用场景。
- Ring Attention 通信量随序列长度线性增长但可与计算重叠
- Ulysses 用 all-to-all 切换分片维度，受限于头数
- 因果掩码带来的负载不均衡需要特殊调度
当序列长度达到数十万 token，单卡放不下一个序列的激活。上下文并行（Ring Attention、DeepSpeed-Ulysses）在序列维度切分并在注意力计算中交换 KV。本章比较两者的通信模式与适用场景。