合成数据在预训练和后训练中怎么用?有什么风险?

一句话速记:预训练里用来补高质量的教科书式、推理密集型数据(Phi 系列、数学/代码改写),后训练里几乎是主力(蒸馏、拒绝采样、自我进化)。风险是分布坍缩(模型越训越窄)、错误被放大、评测污染,要和真实数据混合并严格验证。

数据、合成数据

同章节的其他八股