多 token 预测（MTP）是什么？

一句话速记：除了预测下一个 token，额外用小模块串行预测后面第 2、3 个 token，增加训练信号并可用于投机解码。

训练目标

同章节的其他八股

• Attention 中为什么要除以 √d？
• MHA、MQA、GQA、MLA 的区别？
• RoPE 的原理是什么？为什么能表示相对位置？
• 如何把模型的上下文长度从 4K 扩展到 128K？
• FlashAttention 为什么快？
• Self-Attention 的时间和空间复杂度？有哪些降复杂度的方法？
• 什么是 Attention Sink？
• Decoder 中的 causal mask 是怎么实现的？padding mask 呢？
• ALiBi、PI（位置插值）、NTK-aware、YaRN 有什么区别？
• MLA（多头潜在注意力）是怎么压缩 KV Cache 的？
• 线性注意力的原理和局限？
• 稀疏注意力有哪些做法？