SwiGLU：GLU Variants Improve Transformer

arXiv · Google

将门控线性单元引入 Transformer 的 FFN 层，在等参数与计算量下显著降低困惑度并提升下游表现。

arXiv:2002.05202