Medusa：Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads

ICML · Princeton University, Together AI

通过在原模型顶层增加多解码头与树状注意力，无需外置草稿模型即可实现无损的自回归并行投机加速。