一句话速记:预训练里用来补高质量的教科书式、推理密集型数据(Phi 系列、数学/代码改写),后训练里几乎是主力(蒸馏、拒绝采样、自我进化)。风险是分布坍缩(模型越训越窄)、错误被放大、评测污染,要和真实数据混合并严格验证。
数据、合成数据