Switch Transformer：Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

arXiv · Google

提出单专家路由 Switch 机制与训练稳定技术，在保持单 token 计算量不变下将模型扩展至万亿参数。