DPO 和 GRPO 在优化目标上有什么区别？

Question

Accepted Answer

考察点：对比两种偏好优化算法的目标函数与更新机制。回答思路：准确描述 DPO 通过隐式奖励将偏好直接转化为策略优化目标 准确描述 GRPO 基于组内相对奖励估计优势并更新策略 指出 GRPO 无需单独价值模型，DPO 需要参考模型 能说明两者在样本效率和稳定性上的差异

考察说明