我要招人

蚂蚁集团面试题更新 2026-08-05

GRPO 与 PPO 在 KL 散度约束上有哪些区别？

蚂蚁集团人工智能互联网/IT技术原理方案权衡

考察说明

考察对两种强化学习算法在策略优化中 KL 惩罚机制的理解

回答思路

  1. 能说明 PPO 通过 KL 惩罚或裁剪限制策略更新幅度
  2. 能说明 GRPO 基于组内相对优势以及分组内计算 KL 的方式
  3. 能对比两者在 KL 约束计算对象、作用位置与计算开销的差异