跳转到内容

投机解码

草稿模型一次生成多个候选 token,目标模型并行验证并按接受—拒绝规则保证输出分布不变。本章解释其正确性证明、接受率与加速比的关系,以及 Medusa、EAGLE 等自草稿变体。

  • 加速比取决于接受率与草稿/目标计算比
  • 输出分布与目标模型严格一致
  • 批量大时收益下降