线性注意力的原理和局限？

一句话速记：用核函数 φ 替代 softmax，先算 φ(K)ᵀV 再乘 φ(Q)，复杂度从 O(L²) 降为 O(L)。

注意力

同章节的其他八股

• Attention 中为什么要除以 √d？
• MHA、MQA、GQA、MLA 的区别？
• RoPE 的原理是什么？为什么能表示相对位置？
• 如何把模型的上下文长度从 4K 扩展到 128K？
• FlashAttention 为什么快？
• Self-Attention 的时间和空间复杂度？有哪些降复杂度的方法？
• 什么是 Attention Sink？
• Decoder 中的 causal mask 是怎么实现的？padding mask 呢？
• ALiBi、PI（位置插值）、NTK-aware、YaRN 有什么区别？
• MLA（多头潜在注意力）是怎么压缩 KV Cache 的？
• 稀疏注意力有哪些做法？
• DeepSeekMoE 有哪些设计？