GRPO采样代替价值函数会带来什么问题，有什么优化方式？

Question

Accepted Answer

考察点：考察对GRPO采样机制的理解及其与价值函数方法的对比与优化。回答思路：准确说明GRPO用组内采样估计优势替代价值函数的动机 分析采样替代带来的偏差、方差、效率及稳定性问题 给出针对性的优化手段，如基线设计、采样策略、裁剪等 能结合实践说明适用场景与权衡

考察说明