ALiBi：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation

arXiv · University of Washington, Facebook AI Re

提出线性偏置注意力ALiBi，移除显式位置编码，使短序列训练的Transformer可直接高效外推到长序列。