讲一讲GRPO的原理，它的loss怎么写的？

Question

Accepted Answer

考察点：考察对GRPO算法原理和损失函数细节的理解。回答思路：准确说明GRPO与PPO的区别及组相对优势的含义 正确描述优势估计方式，即基于组内相对分数归一化 能写出并解释损失函数公式，说明各组件作用 理解参考策略和KL惩罚的目的，以及算力节省的优势

考察说明