美团面试题更新 2026-08-05

请比较 GRPO、DPO、DAPO、GSPO 这几种强化学习微调方法,说明它们的核心区别和适用场景。

美团人工智能互联网/IT技术原理技术选型方案权衡

考察说明

考察对近端策略优化变体与直接偏好优化方法的理解深度

回答思路

  1. 能准确说明 GRPO 对 PPO 的简化动机(去除价值网络)
  2. 能对比 DPO 的直接偏好优化思路与强化学习框架差异
  3. 能区分 DAPO 和 GSPO 在稳定训练、动态采样等方向的改进
  4. 能结合具体场景说明各方法的优劣与选择依据