从算法原理角度，DPO 与 PPO 相比有哪些优缺点？

Question

Accepted Answer

考察点：考察对偏好优化算法原理和取舍的深入理解。回答思路：说明 DPO 的隐式奖励建模原理与免强化学习特点 说明 PPO 的显式奖励模型和在线采样过程 对比稳定性、计算成本、数据效率和对齐效果 指出 DPO 的分布偏移或对参考模型依赖等局限

考察说明