投机解码：Fast Inference from Transformers via Speculative Decoding

ICML 2023 · Google

用小模型快速起草多个 token，大模型一次并行验证，在输出分布完全不变的前提下加速 2~3 倍。