DeepSeek-V2：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model

技术报告 · DeepSeek-AI

提出MLA注意力与细粒度MoE架构，以21B激活参数实现顶级性能并大幅降低训练与推理成本。