相比 PPO，GRPO 的“Group”体现在哪一步？
考察说明
考察对 GRPO 与 PPO 算法差异的理解，尤其是优势估计方式
回答思路
- 准确说明 PPO 依赖 Critic 网络估计优势值
- 指出 GRPO 去掉 Critic，改用同一问题的多个采样输出计算基线
- 解释 Group 是指对同一 prompt 或状态的多个采样结果进行组内归一化
- 说明 GRPO 通过组内相对优势减少方差并节省训练资源
- 能指出两者的 actor 更新目标和 clip 机制仍然类似
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。