你在使用GRPO训练时发现它有哪些不足之处？后续做了哪些改进工作？可以结合你提到的DAPO、GSPO等方法来谈。

Question

Accepted Answer

考察点：考察对GRPO局限性的理解及改进方案的掌握。回答思路：准确指出GRPO的核心不足，如稳定性、KL控制或方差问题 说明改进思路与实际实施中的关键设计 能对比DAPO、GSPO等方法的改进点和适用场景 体现出对训练细节和工程落地的思考

考察说明