蒙特卡洛（MC）和时序差分（TD）估计回报，在偏差和方差上有什么区别？

一句话速记：MC 是无偏估计但方差较高，需要采样完整轨迹计算累积奖励，步数增加会导致方差累积；TD(0) 引入 Bootstrap，用下一状态的价值估计更新当前状态，虽存在函数逼近偏差，但仅依赖单步随机性，方差相对较低。工程实践（如 RLHF/PPO）通常采用 TD(λ) 或 GAE 在偏差与方差间做权衡。

强化学习基础

同章节的其他八股

• 讲一下 RLHF 的完整流程。
• DPO 的原理？和 PPO 相比有什么优缺点？
• GRPO 是什么？相比 PPO 有哪些改动？
• 什么是 Reward Hacking？怎么缓解？
• PPO 里的 KL 惩罚起什么作用？β 怎么选？
• 什么是 Constitutional AI / RLAIF？
• ORM 和 PRM 有什么区别？
• Value-based、Policy-based、Actor-Critic 的区别？
• GAE（广义优势估计）是什么？λ 怎么理解？
• 什么是重要性采样？在 PPO 中起什么作用？
• PPO 中有哪四个模型？各自作用？
• PPO 的损失函数怎么写？clip 的作用是什么？