为什么GRPO在训练MOE时会出问题？原因是啥，怎么改进策略？

Question

Accepted Answer

考察点：考察对GRPO算法在MoE架构下的失效机制理解及改进能力。回答思路：说明MoE路由稀疏性与GRPO组内优势估算的冲突 分析路由选择对优势估计值和策略梯度的影响 提出有效的改进策略并说明理由

考察说明