预训练中变长序列怎么处理？什么是 packing？

一句话速记：把多条文档拼接成固定长度序列减少 padding，并用文档级 mask 防止跨文档注意力。

数据

同章节的其他八股

• Scaling Law 是什么？Chinchilla 的结论是什么？
• 预训练数据怎么清洗和配比？
• 预训练中的学习率调度有哪些？WSD 有什么好处？
• 为什么大模型训练用 bf16 而不是 fp16？
• 继续预训练（CPT）中如何缓解灾难性遗忘？
• 预训练损失函数是什么？SFT 的损失和预训练有什么区别？
• 预训练需要多少算力和时间？怎么估算？
• CLM 和 MLM 有什么区别？
• 预训练数据怎么去重？
• 长时间预训练要监控哪些指标？