KL散度的超参数在GRPO中如何设计？包括系数大小、动态调整策略以及不同阶段的设置考量。

Question

Accepted Answer

考察点：考察对KL惩罚系数调参经验与理论依据的理解。回答思路：说明系数初始值选取的常见范围及依据 能讨论动态调整策略如递增或衰减 结合训练阶段和奖励尺度说明调整逻辑 能提及与参考模型质量相关的考量

考察说明