如何把模型的上下文长度从 4K 扩展到 128K？

一句话速记：

长上下文、RoPE

同章节的其他八股

• Attention 中为什么要除以 √d？
• MHA、MQA、GQA、MLA 的区别？
• RoPE 的原理是什么？为什么能表示相对位置？
• FlashAttention 为什么快？
• Self-Attention 的时间和空间复杂度？有哪些降复杂度的方法？
• 什么是 Attention Sink？
• Decoder 中的 causal mask 是怎么实现的？padding mask 呢？
• ALiBi、PI（位置插值）、NTK-aware、YaRN 有什么区别？
• MLA（多头潜在注意力）是怎么压缩 KV Cache 的？
• 线性注意力的原理和局限？
• 稀疏注意力有哪些做法？
• DeepSeekMoE 有哪些设计？