PPO：Proximal Policy Optimization Algorithms

arXiv · OpenAI

通过截断重要性采样比率限制更新步长，兼顾 TRPO 稳定性的同时大幅简化实现，支持多轮小批量训练。