请具体说明GRPO和PPO在算法结构、更新机制和计算开销上有哪些不同。

Question

Accepted Answer

考察点：考察对GRPO与PPO具体差异的深入掌握。回答思路：能指出PPO依赖critic估计优势，而GRPO用组内相对奖励替代 能说明两者在目标函数和损失计算上的区别 能分析计算开销和内存占用的差异

考察说明