REINFORCE++：REINFORCE++: Stabilizing Critic-Free Policy Optimization with Global Advantage Normalization

arXiv · OpenRLHF

通过全局优势归一化解决 GRPO 局部归一化的有偏与不稳定缺陷，实现超越 PPO 的无 Critic 稳定对齐。