请解释GRPO的原理，并说明其损失函数如何计算？

Question

Accepted Answer

考察点：考察对GRPO算法原理和损失函数公式的理解。回答思路：能准确描述GRPO与PPO的区别，特别是组内相对优势的设计 能写出或解释GRPO损失函数的组成和符号含义 能说明优势计算中组内基线的作用 能讨论GRPO的实践意义如节省critic模型

考察说明