SLO 与容量规划

TTFT 与 TPOT 的 P50/P99、每 GPU 的并发上限、排队时间共同决定需要多少实例。本章给出从流量模型到实例数的容量规划方法，以及自动扩缩容对冷启动（模型加载）的处理。