RLOO：Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs

arXiv · Cohere For AI

论证传统 PPO 在 LLM 对齐中存在过度设计，提出无 Critic 的 RLOO 算法，大幅省显存且胜率显著超越 PPO 与 DPO。