Mixtral 8x7B：Mixtral of Experts

arXiv · Mistral AI

采用Top-2门控的开源稀疏MoE模型，以13B激活参数在多项基准上打平或超越70B稠密模型。

arXiv:2401.04088