MiniMax-01：MiniMax-01: Scaling Foundation Models with Lightning Attention

arXiv · MiniMax

首次将线性注意力与 MoE 扩展至 456B 规模，支持 400 万推断上下文并具备极低首字延迟。