KV Cache

定义：每层注意力的 K、V 在解码时被缓存以避免重复计算，避免每步重算对全部历史的注意力。

关键数字：每 token 几百 KB 到几 MB（结构决定）；总量 = batch × 序列 × 每 token KV，长序列下超过权重本身，是推理显存的第一大户。PagedAttention 按页动态分配，把利用率从 20–40% 提到 90%+。