在GRPO训练中，KL散度控制得怎么样？

Question

Accepted Answer

考察点：考察对GRPO中KL散度约束机制的理解与实际调优经验。回答思路：说明KL散度的作用与目标范围 描述实际训练中KL散度的观察值或趋势 关联KL与奖励模型的关系及对策略更新的影响

考察说明