GRPO 与 PPO 在强化学习算法设计上的主要区别有哪些？

回答思路

1. 指出 PPO 使用 critic 网络估计状态价值，GRPO 去除 critic 并基于组内相对优势
2. 说明 GRPO 通过组内采样计算基线，降低方差且减少内存开销
3. 提及 PPO 的 clip 目标与 GRPO 的组内归一化优势函数的不同
4. 能讨论二者在 RLHF 或大模型训练中的适用场景差异