大模型手撕 · 中等 · RLHF、对齐、损失函数
实现 Direct Preference Optimization 损失。输入为一个 batch 中每条样本的序列对数概率（已在 token 维求和），形状均为 (N,)：
在 RagCodes 上用 Python / C++ / Java 在线编写并提交，核心代码模式与 ACM 模式均可评测。