All-Reduce 是怎么实现的？Ring All-Reduce 的通信量是多少？

一句话速记：

通信

同章节的其他八股

• 数据并行、张量并行、流水线并行的区别？
• ZeRO 的三个阶段分别切分了什么？
• 训练时显存不够有哪些办法？
• 梯度累积和增大 batch size 等价吗？
• 什么是 MFU？怎么提高训练效率？
• 混合精度训练是怎么做的？
• DeepSpeed、Megatron-LM、FSDP 怎么选？
• 激活重计算（Gradient Checkpointing）的原理？
• 常见的集合通信操作有哪些？分别用在哪？
• 序列并行和上下文并行是什么？
• 千卡训练常见故障怎么排查？