KV Cache

定义：每层注意力的 K、V 在解码时被缓存以避免重复计算，大小与序列长度、batch 成正比。

出处：KV Cache 与 PagedAttention。