InstructGPT：Training language models to follow instructions with human feedback

NeurIPS 2022 · OpenAI

SFT + 奖励模型 + PPO 三阶段 RLHF，让 1.3B 的模型在人类偏好上胜过 175B 的 GPT-3。