GRPO 和 PPO 在 RLHF 中的核心区别是什么？为什么选择 GRPO 而不是 PPO？

回答思路

1. 准确阐述 GRPO 与 PPO 在 Critic 模型使用上的核心差异
2. 解释 GRPO 如何通过组内相对优势估计降低训练成本
3. 从效率、稳定性和计算资源角度说明选择 GRPO 的动机
4. 能提及 PPO 的优缺点及适用场景对比