Muon：Muon is Scalable for LLM Training

技术报告 · Moonshot AI

通过解耦权重衰减、更新尺度调整和分布式ZeRO-1实现，将Muon成功扩展至万亿token，训练计算效率达AdamW的2倍。