ORPO：ORPO: Monolithic Preference Optimization without Reference Model

arXiv · KAIST AI

提出无需参考模型的单阶段偏好优化算法，将优势比惩罚融入SFT，兼顾领域适配与偏好对齐。