百度面试题更新 2026-08-05
KL散度在 RLHF 阶段出现的位置、作用以及过大/过小分别会导致什么现象?
字节跳动百度人工智能互联网/IT专业服务风险判断技术原理方案权衡
考察说明
考察对RLHF中KL散度作用机制及超参数失配影响的理解
回答思路
- 准确说明KL散度在RLHF中约束策略更新的作用位置
- 解释KL散度防止模型偏离初始参考策略过远的核心目的
- 分析KL散度过大时生成多样性下降、奖励被压制的现象
- 分析KL散度过小时生成退化、输出异常或崩溃的现象
- 能结合训练稳定性说明系数选择的权衡
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
