混合精度训练是怎么做的？

一句话速记：前向反向用 bf16/fp16 算，fp32 保存主权重和优化器状态，fp16 还需动态 loss scaling。

混合精度

同章节的其他八股

• 数据并行、张量并行、流水线并行的区别？
• ZeRO 的三个阶段分别切分了什么？
• 训练时显存不够有哪些办法？
• All-Reduce 是怎么实现的？Ring All-Reduce 的通信量是多少？
• 梯度累积和增大 batch size 等价吗？
• 什么是 MFU？怎么提高训练效率？
• DeepSpeed、Megatron-LM、FSDP 怎么选？
• 激活重计算（Gradient Checkpointing）的原理？
• 常见的集合通信操作有哪些？分别用在哪？
• 序列并行和上下文并行是什么？
• 千卡训练常见故障怎么排查？