GRPO 和 PPO 在强化学习策略优化中的主要区别是什么？

回答思路

1. 能准确指出 PPO 使用价值网络估计优势，而 GRPO 基于组内相对奖励计算优势
2. 能说明 GRPO 通过组内采样替代 Critic 模型，降低资源消耗和方差
3. 能解释两者在 KL 约束、裁剪或正则化处理上的不同
4. 能结合适用场景说明各自优劣