大模型手撕 · 中等 · 强化学习、RLHF
实现 PPO 的 clipped surrogate 策略损失（token 级，带 mask）：
在 RagCodes 上用 Python / C++ / Java 在线编写并提交，核心代码模式与 ACM 模式均可评测。