我要招人

人工智能面试题更新 2026-08-05

说明GRPO、DPO、PPO的区别

小鹏汽车人工智能消费品/零售问题拆解技术原理方案权衡

考察说明

考察对强化学习及偏好优化方法的核心原理和适用场景的理解

回答思路

  1. 分别说明PPO、DPO、GRPO的基本思想和目标
  2. 对比三者对奖励模型、策略更新和采样方式的要求
  3. 指出DPO和GRPO在线离线、计算开销、稳定性上的差异
  4. 结合大语言模型训练场景说明各自的适用场景与局限性