用GRPO训练MoE模型经常效果不好，为什么？

Question

Accepted Answer

考察点：考察对GRPO算法与MoE架构结合训练时稳定性问题的理解。回答思路：能解释GRPO与MoE各自的特点及组合时的冲突 指出负载不均衡与专家利用率问题 分析KL散度约束、方差与训练稳定性 给出可操作的改进方向

考察说明