请比较GRPO与PPO的异同，并说明GRPO的缺点。

Question

Accepted Answer

考察点：考察对两种强化学习算法差异的掌握及对GRPO局限性的认知。回答思路：指出GRPO取代价值模型，使用组内相对奖励估计基线 说明GRPO无需Critic模型，从而降低内存开销 提及GRPO在连续控制或复杂环境中的劣势 能结合训练稳定性或估计偏差分析GRPO的缺点

考察说明