RMSNorm：Root Mean Square Layer Normalization

arXiv · University of Edinburgh

证实 LayerNorm 中的均值重中心化非必需，提出仅用均方根缩放的 RMSNorm，实现无损且提速 7%~64%。