CLM 和 MLM 有什么区别？

一句话速记：CLM 从左到右预测下一个词（GPT）；MLM 随机遮住 15% 的词让模型双向预测（BERT）。

训练目标

同章节的其他八股

• Scaling Law 是什么？Chinchilla 的结论是什么？
• 预训练数据怎么清洗和配比？
• 预训练中的学习率调度有哪些？WSD 有什么好处？
• 为什么大模型训练用 bf16 而不是 fp16？
• 继续预训练（CPT）中如何缓解灾难性遗忘？
• 预训练损失函数是什么？SFT 的损失和预训练有什么区别？
• 预训练需要多少算力和时间？怎么估算？
• 预训练中变长序列怎么处理？什么是 packing？
• 预训练数据怎么去重？
• 长时间预训练要监控哪些指标？