请写出 GRPO 的优化目标函数，并解释其各组成部分的作用。

Question

Accepted Answer

考察点：考察对 GRPO 目标函数构成与数学表达的掌握。回答思路：写出包含组内优势估计、策略比值与 clip 的目标函数 说明 advantage 基于组内奖励归一化的计算方式 解释策略比值与 clip 限制的作用，以及 KL 正则项的存在 能说明参考模型或 KL 项在防止策略崩塌中的作用

考察说明