跳转到内容

TTFT / TPOT

定义:TTFT(Time To First Token):首 token 延迟,由 prefill 排队与计算决定;TPOT(Time Per Output Token):每输出 token 的间隔,由 decode 步进决定,抖动比均值更重要。

关键数字:对话类服务的典型 SLO:TTFT P50 < 500ms / P99 < 2s,TPOT P50 < 50ms / P99 < 150ms;prefill(计算受限)与 decode(带宽受限)分开调度是 TTFT/TPOT 分别达标的基础。

出处:统一度量、连续批处理与调度、SLO 与容量规划。