请介绍 GRPO（Group Relative Policy Optimization）的基本原理。

Question

Accepted Answer

考察点：考察对 GRPO 算法核心思想与关键机制的理解。回答思路：说明 GRPO 与 PPO 的关键区别 解释组内相对优势估计的计算方式 说明优势归一化和基线的作用 能提到参考模型或 KL 约束相关机制

考察说明