SimPO：SimPO: Simple Preference Optimization with a Reference-Free Reward

arXiv · Princeton University

提出基于序列平均对数似然的无参考模型偏好优化算法，引入目标边距，兼具更高显存效率与更优对齐表现。