请讲解PPO和GRPO的原理与核心区别。

Question

Accepted Answer

考察点：考察强化学习两大策略优化算法的原理理解与对比能力。回答思路：准确阐述PPO的裁剪目标函数与重要性采样机制 说明PPO中价值网络（critic）与优势估计（GAE）的作用 清楚解释GRPO如何去除价值网络、基于组内相对优势进行优化 条理清晰比较二者在计算开销、稳定性和适用场景上的差异

考察说明