Megatron-LM：Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism

arXiv · NVIDIA

提出针对 Transformer 的层内张量并行方案，仅需插入极少通信算子即可在原生 PyTorch 中高效扩展至数十亿参数。