门控注意力（Gated Attention）解决了什么问题？

一句话速记：在注意力输出后加一个与输入相关的 sigmoid 门，引入非线性和稀疏性，缓解 attention sink 和激活值异常。

注意力

同章节的其他八股

• Attention 中为什么要除以 √d？
• MHA、MQA、GQA、MLA 的区别？
• RoPE 的原理是什么？为什么能表示相对位置？
• 如何把模型的上下文长度从 4K 扩展到 128K？
• FlashAttention 为什么快？
• Self-Attention 的时间和空间复杂度？有哪些降复杂度的方法？
• 什么是 Attention Sink？
• Decoder 中的 causal mask 是怎么实现的？padding mask 呢？
• ALiBi、PI（位置插值）、NTK-aware、YaRN 有什么区别？
• MLA（多头潜在注意力）是怎么压缩 KV Cache 的？
• 线性注意力的原理和局限？
• 稀疏注意力有哪些做法？