RoPE：RoFormer: Enhanced Transformer with Rotary Position Embedding

Neurocomputing 2024 · 追一科技

对 Q、K 按位置旋转，使注意力分数只依赖相对位置，兼具绝对编码的实现方式和相对编码的性质。