在 RLHF 中，哪些噪声来源可能影响 reward model 的训练效果？

回答思路

1. 识别标注噪音（标注者不一致、主观偏好）
2. 识别数据偏差（覆盖不足、奖励黑客）
3. 说明噪声对 reward model 与后续策略的影响
4. 提出缓解措施