互联网/IT行业面试题更新 2026-08-05
为什么 GRPO 的损失函数中要显式加入 KL 散度项？请说明其作用以及如果去掉会带来什么问题。
字节跳动人工智能互联网/IT风险判断技术原理方案权衡
考察说明
考察对 GRPO 中 KL 约束作用及其训练稳定性的理解
回答思路
- 说明 KL 散度项用于约束策略分布与参考策略的偏离
- 解释它抑制奖励过优带来的模式坍塌或分布漂移
- 说明去掉后可能引发策略崩溃、多样性下降或优势估计失真
- 能结合 RL 训练中奖励黑客和探索不足风险说明必要性
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
