我要招人

网易有道面试题更新 2026-08-05

DPO 和 GRPO 在优化目标上有什么区别？

网易有道人工智能教育/培训技术原理方案权衡

考察说明

对比两种偏好优化算法的目标函数与更新机制

回答思路

  1. 准确描述 DPO 通过隐式奖励将偏好直接转化为策略优化目标
  2. 准确描述 GRPO 基于组内相对奖励估计优势并更新策略
  3. 指出 GRPO 无需单独价值模型，DPO 需要参考模型
  4. 能说明两者在样本效率和稳定性上的差异