序列并行和上下文并行是什么？

一句话速记：序列并行把 LayerNorm/Dropout 的激活沿序列切分；上下文并行把整条长序列切到多卡上算注意力。

并行

同章节的其他八股

• 数据并行、张量并行、流水线并行的区别？
• ZeRO 的三个阶段分别切分了什么？
• 训练时显存不够有哪些办法？
• All-Reduce 是怎么实现的？Ring All-Reduce 的通信量是多少？
• 梯度累积和增大 batch size 等价吗？
• 什么是 MFU？怎么提高训练效率？
• 混合精度训练是怎么做的？
• DeepSpeed、Megatron-LM、FSDP 怎么选？
• 激活重计算（Gradient Checkpointing）的原理？
• 常见的集合通信操作有哪些？分别用在哪？
• 千卡训练常见故障怎么排查？