Transformer 为什么需要位置编码？正弦位置编码是怎么设计的？

一句话速记：自注意力对输入顺序是置换等变的，打乱 token 顺序输出也只是跟着打乱，模型分不出「我爱你」和「你爱我」。正弦编码用不同频率的 sin/cos 给每个位置一个唯一的向量，任意偏移 k 的位置编码可以由当前位置线性变换得到。

位置编码

同章节的其他八股

• 为什么现在的大模型几乎都是 Decoder-only 架构？
• Pre-Norm 和 Post-Norm 有什么区别？大模型为什么用 Pre-Norm？
• RMSNorm 相比 LayerNorm 有什么优势？
• SwiGLU 是什么？为什么 FFN 隐藏层是 8/3 d？
• 如何估算一个 7B 模型的参数量、训练显存和推理显存？
• BPE、WordPiece、Unigram 三种分词算法有什么区别？
• 为什么很多模型要共享输入 embedding 和输出层权重（tie embeddings）？
• MoE 的原理、优势和训练难点？
• Dropout 在大模型预训练中还用吗？
• 大模型训练出现 loss spike（损失突刺）怎么办？
• 讲一下 Transformer 的整体结构和数据流。
• Encoder-only、Decoder-only、Encoder-Decoder 各适合什么任务？