在线策略蒸馏（On-Policy Distillation）是什么？为什么用反向 KL？和纯 RL 比有什么取舍？

一句话速记：在线策略蒸馏由学生模型自主生成 rollout 序列，并基于其输出分布计算与教师模型的 Reverse KL 散度进行参数更新。相比传统前向 SFT，它通过 Mode-Seeking 特性缓解自回归暴露偏差；相比纯 RL，它用全词表稠密 Logits 替代稀疏标量 Reward，收敛速度更快且显著降低 Reward Hacking 风险。

蒸馏、在线策略蒸馏

同章节的其他八股

• 讲一下 RLHF 的完整流程。
• DPO 的原理？和 PPO 相比有什么优缺点？
• GRPO 是什么？相比 PPO 有哪些改动？
• 什么是 Reward Hacking？怎么缓解？
• PPO 里的 KL 惩罚起什么作用？β 怎么选？
• 什么是 Constitutional AI / RLAIF？
• ORM 和 PRM 有什么区别？
• Value-based、Policy-based、Actor-Critic 的区别？
• GAE（广义优势估计）是什么？λ 怎么理解？
• 什么是重要性采样？在 PPO 中起什么作用？
• PPO 中有哪四个模型？各自作用？
• PPO 的损失函数怎么写？clip 的作用是什么？