连续批处理与调度
静态批处理要等最长的请求结束，连续批处理在每一步迭代动态加入/移出请求。本章讲解调度策略、prefill 与 decode 的干扰（chunked prefill）、以及优先级与公平性。
- 连续批处理把吞吐提升数倍
- Chunked prefill 把长 prefill 切片以保护 decode 延迟
- 调度器是服务框架的核心差异点
静态批处理要等最长的请求结束，连续批处理在每一步迭代动态加入/移出请求。本章讲解调度策略、prefill 与 decode 的干扰（chunked prefill）、以及优先级与公平性。