DeepSeekMoE：DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

arXiv · DeepSeek-AI

提出细粒度专家切分与共享专家隔离策略，以约40%计算量达到同量级Dense模型效果。